ИИ-модели научились собирать конструкции из блоков: Brick-Composer повышает точность втрое
Учёные из нескольких институтов опубликовали работу, посвящённую обучению мультимодальных больших языковых моделей (MLLM) сборке реальных объектов из разнообразных строительных блоков. Для этого они разработали специальный фреймворк Brick-Composer.
Сборка из блоков была сформулирована как задача последовательного принятия решений: на каждом шаге модель должна выбрать нужный кирпичик из набора кандидатов и точно определить его положение и ориентацию при установке.
Чтобы оценить способности текущих MLLM, авторы создали первый бенчмарк BC-Bench (Brick Construction Benchmark). Эксперименты показали, что даже самые современные модели пока далеки от надёжных сборщиков: они плохо справлялись с выбором подходящего кирпичика и допускали грубые ошибки при оценке позы.
Для преодоления этого разрыва был предложен Brick-Composer. Фреймворк обучает модель с помощью трёх типов сигналов: Human Design Sparks — демонстрации сборок с акцентом на функциональные свойства деталей; World Feedback — обратная связь от визуальных и физических последствий действий; и Synthetic Experience — синтетические данные, расширяющие опыт за пределы существующих конструкций.
Результаты оказались впечатляющими. Brick-Composer улучшил точность выбора кирпичика более чем в три раза, существенно снизил ошибки оценки позы, а успешность сборки на уровне отдельных шагов выросла с менее 1% до около 15%.
После обучения небольшая модель Qwen-3-8B смогла правильно выполнить до 42% шагов при сборке целого объекта. Исследователи делают вывод, что мультимодальные языковые модели способны овладеть навыками сборки благодаря целенаправленному физически обоснованному обучению.
