8B-параметрическая модель обошла GPT-5 в многопользовательских стратегических играх: решение In2AI победило в MindGames Arena
На конференции NeurIPS 2025 прошёл турнир MindGames Arena, в котором соревновались языковые модели в многопользовательских стратегических играх. Команда In2AI представила подход, основанный на отложенном присвоении наград (delayed per-step reward attribution) с гейтингом пригодности — механизмом, исключающим из обучения шаги, для которых в момент выполнения нет достоверной информации о последствиях.
Стандартные методы подкрепляющего обучения предполагают, что вознаграждение можно выдать на каждом шаге, но в многопользовательских играх результат одного действия может зависеть от будущих событий, нарушений правил или ходов других игроков. Предложенная система вычисляет награду только в конце эпизода, а затем распространяет её обратно на те шаги, которые действительно повлияли на итог.
Для ускорения обучения использовалась асинхронная генерация игровых сценариев с помощью непрерывного батчинга от vLLM, а также выбор оппонентов на основе учебной программы и многоуровневая стратификация наборов данных. Это позволило добиться стабильного и эффективного обучения без необходимости в миллиардах параметров.
Модель, обученная этим методом, имеет всего 8 миллиардов параметров и является открытой. На турнире она не уступила значительно более крупным проприетарным системам, включая GPT-5, а в некоторых партиях даже превзошла их. Результат: первое место сразу в двух треках — Open (без ограничений по размеру) и Efficient (модели до 8B параметров).
Разработчики отмечают, что ключевым элементом стало именно отсроченное присвоение наград: оно позволяет не тратить вычислительные ресурсы на шаги, не влияющие на результат. По словам команды, их подход может быть полезен не только для игр, но и для любых задач, где взаимодействие агентов растянуто во времени.
Хотя работа пока представлена как препринт на arXiv (2606.00017), она уже привлекла внимание исследовательского сообщества. Возможно, в ближайшем будущем подобные техники позволят запускать сложные симуляции с участием множества ИИ-агентов на относительно скромном оборудовании.
