Исследование: средние языковые модели выигрывают от самоэволюции больше, чем сильные
Новое исследование, опубликованное на arXiv, проливает свет на то, как языковые модели (LLM) учатся улучшать себя в процессе работы. Авторы работы разделили способность к самоэволюции на две составляющие: умение генерировать полезные обновления (harness-updating) и умение извлекать выгоду из этих обновлений при решении задач (harness-benefit).
Результаты оказались неожиданными. Оказалось, что качество создаваемых обновлений почти не зависит от базовой мощности модели: даже Qwen3.5-9B, относительно слабая модель, генерирует обновления, которые дают прирост эффективности, сравнимый с обновлениями от сильнейшего Claude Opus 4.6.
Однако польза от этих обновлений распределяется неравномерно. Слабые модели практически не выигрывают от модификации своих «обвязок» (prompts, skills, memories, tools). Средние модели демонстрируют наибольший прирост, а сильные — меньший, чем средние. Таким образом, зависимость benefit от базовой способности оказалась немонотонной.
Исследователи выделили две причины неудач слабых моделей: они либо не активируют нужные артефакты из обновленной обвязки, либо активируют их, но не следуют инструкциям достаточно точно. В результате такие модели не могут использовать потенциал улучшений.
Практический вывод работы: при ограниченных вычислительных ресурсах имеет смысл вкладывать их в саму модель-исполнитель, а не в механизм эволюции. Кроме того, авторы рекомендуют во время обучения агентов уделять внимание правильному вызову инструментов и долгосрочному следованию инструкциям.
Код для экспериментов опубликован на GitHub. Исследование может помочь разработчикам AI-агентов более рационально распределять ресурсы при создании систем с самообучением.
