BilliardPhys-Bench: новый бенчмарк выявил слабости ИИ в физике

Исследователи из нескольких университетов разработали бенчмарк BilliardPhys-Bench для оценки способности мультимодальных языковых моделей (MLLM) понимать физику движения. В отличие от статического распознавания изображений, задачи на предсказание динамики объектов остаются для ИИ сложными.

Бенчмарк построен на синтетической среде бильярда, где процедурный генератор создаёт случайные сценарии с учётом трения и упругих столкновений. Модели должны решить три типа задач: предсказать столкновения шаров друг с другом, отскоки от стенок и конечное положение шаров после остановки.

В тестировании приняли участие популярные MLLM из семейств GPT (OpenAI), Claude (Anthropic), Gemini (Google DeepMind) и Qwen (Alibaba). Учёные оценивали точность предсказаний в зависимости от длительности симуляции и сложности геометрии сцены.

Результаты показали, что производительность всех моделей заметно падает при увеличении времени моделирования и добавлении большего количества объектов. Особенно трудными оказались сценарии с множественными взаимодействиями.

Кроме того, исследователи обнаружили характерную ошибку, названную «stasis bias» (смещение к статике): когда правильный физический исход трудно определить, модели склонны предсказывать отсутствие движения или взаимодействия. Это говорит о том, что текущие архитектуры не обладают встроенными физическими индуктивными предпосылками.

Выводы работы указывают на необходимость интеграции более глубоких физических знаний в мультимодальные модели. Результаты могут быть полезны для разработки систем, работающих в реальном мире — от робототехники до автономных транспортных средств.

Полный текст исследования доступен на arXiv под номером 2605.30900.