Alibaba представила Qwen-Robot Suite: три нейросети для навигации и управления роботов
Alibaba представила Qwen-Robot Suite — набор из трёх фундаментальных AI-моделей для роботов и физических агентов. Модели не только понимают текст и изображения, но и могут действовать в физическом мире. Все разработки открыты и доступны на официальной странице проекта.
Первая модель, Qwen-RobotNav, объединяет несколько навигационных сценариев: следование инструкциям, движение к заданной точке, поиск объектов, отслеживание цели и автономное вождение. Модель поддерживает настраиваемый протокол наблюдения, позволяющий регулировать объём токенов или вес разных камер. Она обучена на 15,6 млн примеров, а размер варьируется от 2 до 8 млрд параметров.
Вторая модель, Qwen-RobotManip, представляет собой vision-language-action-модель на базе Qwen-VL. Она отвечает за физическое взаимодействие с объектами и решает проблему разнородности робототехнических данных за счёт механизма выравнивания представлений, движений и поведения. Это упрощает перенос навыков между роботами разных конструкций. Модель обучалась на корпусе из 38 тыс. видео, робототехнических и синтетических данных.
Третья модель, Qwen-RobotWorld, является моделью мира: она по наблюдениям в реальном времени и текстовым инструкциям предсказывает развитие физической среды. Проще говоря, модель генерирует будущие визуальные траектории для различных сценариев.
Все три модели из набора Qwen-Robot Suite открыты. Инженеры отмечают, что внешний планировщик может разбить большую задачу на серию мелких и переключать режимы модели по мере выполнения. На официальной странице проекта представлена демонстрация работы моделей.
Выпуск Qwen-Robot Suite знаменует очередной шаг в развитии открытых AI-решений для робототехники, делая передовые алгоритмы навигации и манипуляции доступными для исследователей и разработчиков.
