SOLAR AI: самообучающийся агент превзошел модели в lifelong learning

Научная работа, опубликованная на arXiv, представила Self-Optimizing Lifelong Autonomous Reasoner (SOLAR) — агента, способного к непрерывному обучению без ручного вмешательства. Разработка решает ключевую проблему современных LLM: адаптацию к изменяющимся данным.

SOLAR работает в парадигме lifelong learning. В отличие от традиционного fine-tuning, который требует постоянного сбора данных и рискует катастрофическим забыванием, SOLAR использует параметрическое мета-обучение. Он рассматривает веса модели как среду для исследования и самостоятельно находит стратегии адаптации.

Механизм основан на многоуровневом обучении с подкреплением. Агент не только подстраивается под новые задачи, но и сохраняет полученные знания в эпизодическом буфере памяти. Это позволяет балансировать пластичность (освоение нового) и стабильность (сохранение старого).

Эксперименты показали, что SOLAR превосходит сильные базовые модели на задачах здравого смысла, математики, медицины, программирования, социального и логического рассуждения. Агент эффективно адаптируется к невиданным ранее доменам без дополнительного обучения на больших наборах данных.

Разработчики отмечают, что SOLAR не требует градиентных вычислений для адаптации, что снижает вычислительные затраты. Это делает его пригодным для развертывания в динамичных real-world сценариях, таких как робототехника или персональные ассистенты.

Работа приближает создание автономных агентов, способных к пожизненной адаптации в меняющейся среде. Дальнейшие исследования могут улучшить масштабируемость и обобщающую способность SOLAR.