MetaSpace: выявлены десятки тысяч ошибок пространственного мышления у ИИ-агентов

Научная группа представила на arXiv описание MetaSpace — нового подхода к оценке пространственного познания у воплощённых ИИ-агентов. Такие агенты действуют в физической или симулированной среде через виртуальное тело и должны согласовывать восприятие с действиями.

Традиционно качество работы таких систем оценивают двумя способами: вручную размеченными парами вопрос-ответ (VQA) и метриками выполнения задач, например успешностью навигации или манипуляций. Как указывают авторы, оба подхода имеют недостатки. Ручная разметка требует больших трудозатрат и страдает от неоднородности качества. А итоговый показатель успешности может скрывать серьёзные уязвимости: агент способен решить задачу неоптимальными или даже опасными способами.

Поскольку пространственное мышление — основа для выполнения большинства воплощённых задач, авторы предлагают тестировать именно его. За основу взяты принципы метаморфного тестирования из разработки программного обеспечения. MetaSpace использует пространственно-временные мультимодальные состояния из реальных траекторий агента и автоматически генерирует тестовые примеры на основе метаморфных отношений, которые опираются на логические правила и физические законы.

Эти отношения закодированы как исполняемые правила на языке логического программирования Prolog. Если в процессе выполнения агент нарушает такие отношения, фиксируется ошибка пространственного познания. Такой подход позволяет автоматизировать проверку и не требует ручной аннотации новых данных.

Эмпирическая оценка проводилась в трёх сценариях с участием современных мультимодальных больших языковых моделей. MetaSpace обнаружил 90 422 ошибки пространственного познания у этих систем. Для количественной оценки авторы ввели специальный показатель — Spatial Cognition Score (SC). Средние результаты всех протестированных моделей составили от 0,44 до 0,52 балла, тогда как у человека этот показатель достигает 0,96.

Полученные результаты показывают существенный разрыв между текущими ИИ-агентами и человеком в понимании пространства и физических взаимодействий. По мнению исследователей, предложенный фреймворк может стать дополнительным инструментом для выявления скрытых рисков и повышения безопасности при развёртывании воплощённых агентов.

Статья размещена в открытом доступе на arXiv под идентификатором 2608.07533. Исследование носит академический характер, и его выводы основаны на данных, полученных в рамках описанных экспериментов.