SkillGen: генерация навыков для ИИ-агентов с эмпирической верификацией
Исследователи представили SkillGen — новый мультиагентный фреймворк для автоматической генерации навыков для агентов на основе больших языковых моделей (LLM). Навыки позволяют улучшать возможности агента без переобучения, делая процедуру повторно используемой и контролируемой, однако до сих пор создание качественных навыков в значительной степени оставалось ручной работой.
SkillGen синтезирует отдельный проверяемый навык из траекторий, сгенерированных базовым агентом. Результат представляет собой читаемый человеком артефакт, который можно проверить перед использованием. В отличие от методов, просто обобщающих траектории, SkillGen применяет контрастную индукцию как по успешным, так и по неудачным траекториям. Это позволяет выявить повторяющиеся шаблоны успеха, типичные сценарии отказов и поведение, присутствующее в близких успешных случаях, но отсутствующее в неудачных.
На основе этих паттернов фреймворк генерирует кандидатные навыки и итеративно их уточняет. Ключевая новинка — моделирование навыков как вмешательств: для каждого навыка эмпирически измеряется его чистый эффект на общую производительность. Для этого сравниваются результаты на одних и тех же примерах с навыком и без него — это позволяет учесть как исправления (случаи, когда навык исправляет базовый сбой), так и регрессии (случаи, когда навык ломает базовый успех).
Эксперименты проводились на широком спектре агентов и наборов данных. SkillGen стабильно улучшает производительность на отложенных тестах, превосходит существующие базовые методы генерации навыков и создаёт навыки, которые переносятся между разными моделями. Это открывает путь к более быстрой и надёжной настройке агентов на основе LLM.
