ASK+: SLM-ассистент повышает успех RL в частично наблюдаемых средах

Исследователи из arXiv представили новый метод ASK+, который позволяет малым языковым моделям эффективно помогать агентам обучения с подкреплением (RL) в частично наблюдаемых средах. В таких условиях агент получает лишь неполную информацию о состоянии среды, что делает его естественным кандидатом для использования широких рассуждений, заложенных в языковых моделях.

Ранее предлагаемый подход ASK (vanilla uncertainty-gated) показал низкую эффективность: частота перезаписи действий SLM была близка к нулю, то есть модель почти никогда не предлагала самостоятельных действий. Авторы выяснили, что проблема кроется не в ёмкости модели, а в недостатке контекста в запросе — так называемая проблема контекста, а не проблема способностей.

ASK+ решает эту проблему, предоставляя SLM контекст траектории: частично открытую карту, посещённые позиции и историю действий. Кроме того, введена структурированная цепочка рассуждений (chain-of-thought), превращающая модель из пассивной проверки избыточности в информативного консультанта, который иногда корректирует действия агента.

Эксперименты проводились на трёх средах: DoorKey, FourRooms и HigherLower. В DoorKey ASK+ достиг 93% успеха против 89% у PPO и ASK. В FourRooms успешность выросла с 53% до 70%. В HigherLower точность составила 73.7%, что соответствует верхней границе, достижимой самой SLM.

Примечательно, что модель Qwen3.5-2B не уступала или превосходила Qwen3.5-4B во всех средах. Это подтверждает, что дизайн промпта и механизм селективного запроса оказывают большее влияние, чем размер модели, позволяя обходиться без крупных вычислительных ресурсов.

Авторы также установили, что сигнал предсказательной энтропии, используемый для селективного запроса, измеряет неопределённость действий, а не неопределённость состояния. Это делает такой подход применимым в частично наблюдаемых марковских процессах принятия решений (POMDP), расширяя область использования ассистентов на основе неопределённости.