OpenSkill: новая платформа для самообучения ИИ-агентов без внешнего контроля

Группа исследователей опубликовала на arXiv препринт, описывающий фреймворк OpenSkill для самообучения агентов на основе больших языковых моделей (LLM). Ключевая особенность — способность системы адаптироваться и совершенствоваться в реальных открытых средах без заранее подготовленных обучающих примеров, успешных траекторий или сигналов верификации.

Традиционные подходы к саморазвитию агентов предполагают наличие готового цикла обучения: подборка навыков, записи успешных действий или встроенный верификатор. Однако в реальных развертываниях, как отмечают авторы, агент часто получает лишь описание задачи — промпт. OpenSkill решает эту проблему, полностью обходясь без целевого контроля.

Фреймворк работает в три этапа: извлечение знаний из открытых источников (документация, репозитории кода, веб-сайты), синтез этих знаний в переносимые навыки и оттачивание навыков на самодельных виртуальных задачах. Эти задачи строятся на основе извлеченных «якорей» проверки, а не на правильных ответах, что делает обучение полностью независимым от внешнего контроля.

Эксперименты проводились на трех бенчмарках с двумя разными целевыми агентами. OpenSkill показал наилучшую автоматическую оценку прохождения (pass rate) среди всех сравниваемых методов, при этом строго соблюдая ограничение «без контроля». Анализ также продемонстрировал, что навыки, выработанные одной моделью, переносятся на другую без какой-либо адаптации под конкретную модель.

Отдельно исследователи отметили, что встроенный верификатор OpenSkill, построенный на самосозданных якорях, хорошо согласуется с истинными результатами (ground truth), хотя никогда не имел к ним доступа. Это подтверждает эффективность подхода к обучению без учителя.

Работа является шагом к созданию truly autonomous agents, способных действовать в непредсказуемых условиях. Открытый код и детали реализации не раскрыты, но авторы планируют опубликовать их в ближайшее время.