LAPO: метод самообучения ИИ для многошагового поиска с рекордной точностью
Исследователи представили новый метод обучения с подкреплением для многошагового поискового мышления искусственного интеллекта — LAPO (Leave-One-Turn Attribution for Self-Generated Process Rewards). Разработка опубликована на arXiv.
Традиционные подходы к обучению многошаговому поиску часто полагаются только на конечный результат, что не позволяет отличить полезные шаги от избыточных или вредных. LAPO решает эту проблему за счёт атрибуции каждого шага в обратном порядке: он заменяет конкретный шаг и его результат на фиксированный маркер [DELETE] и измеряет изменение вероятности правильного ответа (Answer-Likelihood Gain).
Такой метод оценивает вклад каждого шага в контексте всей цепочки рассуждений, сохраняя все последующие взаимодействия. Дополнительно применяется фильтрация по знаку (sign-consistency gating), которая оставляет только те преимущества, чьё направление совпадает с сырой оценкой.
Важное преимущество LAPO — отсутствие необходимости в дополнительной модели вознаграждения, верификаторе или внешней оценке. Все вычисления выполняются на основе текущей политики ИИ.
Тестирование на семи наборах данных для вопросно-ответных систем с локальным поиском показало среднюю точность точного совпадения (exact match) 0.326. Это на 0.053 пункта выше, чем у предыдущего сильного метода IGPO. Анализ подтвердил, что обратная атрибуция и фильтрация по знаку дают взаимодополняющий эффект.
Разработчики отмечают, что LAPO демонстрирует, как ретроспективная атрибуция на основе политики может обеспечить эффективное промежуточное обучение для многошаговых поисковых агентов. Метод может быть полезен для улучшения систем, требующих последовательных рассуждений с доступом к внешним источникам данных.
