SMAC-Talk: новый бенчмарк оценил LLM-агентов в кооперативной игре StarCraft
Исследователи выпустили SMAC-Talk — новый бенчмарк для оценки крупных языковых моделей (LLM) в условиях кооперативного мультиагентного взаимодействия. Платформа расширяет известную среду StarCraft Multi-Agent Challenge (SMAC), добавляя возможность общения на естественном языке.
В SMAC-Talk реализовано несколько ключевых особенностей: децентрализованное управление, частичная наблюдаемость и долгосрочное принятие решений. Основное нововведение — канал связи на естественном языке, через который агенты могут обмениваться информацией и координировать действия.
Разработчики создали несколько оценочных сценариев, включая ситуацию с внедрённым обманчивым коммуникатором. Такой агент пытается дезориентировать союзников и нарушить взаимодействие, используя только речевые сообщения. Это позволяет проверить способность LLM-агентов выявлять ложь и адаптироваться к ненадёжной информации.
В качестве базовых решений представлены три агента, построенные на основе четырёх моделей семейства Qwen3.5. Эксперименты показали, что на координацию влияют такие факторы, как структура рассуждений, наличие памяти и масштаб модели. Размер модели в ряде случаев оказался менее важен, чем способность агента логически обосновывать свои решения.
SMAC-Talk публикуется как открытый бенчмарк, чтобы дать исследовательскому сообществу инструмент для разработки и тестирования LLM-агентов в кооперативных многопользовательских средах. Платформа доступна для изучения и использования.
