Обзор: непрерывное обучение промышленных LLM нуждается в экосистемном подходе
Группа исследователей представила на arXiv новый обзор, посвященный непрерывному обучению промышленных больших языковых моделей (LLM). Авторы предлагают отказаться от традиционного взгляда на дообучение как на разовую задачу и рассматривать его как часть постоянно обновляемой экосистемы с версиями.
Согласно работе, промышленные LLM должны обновляться непрерывно, чтобы соответствовать меняющимся требованиям и средам, а не переучиваться с нуля. Однако существующие исследования, как правило, сосредоточены на статичных бенчмарках и не отражают реальных потребностей индустрии.
Авторы переформулируют промышленное непрерывное обучение (ICL) как проблему замкнутого цикла обновлений и релизов в версионированной экосистеме. Обновления распространяются иерархически на отраслевые модели и приложения, с наследованием и переносом способностей между версиями и семействами моделей.
В рамках такого экосистемного подхода выделены три главные проблемы: повторная адаптация снижает пластичность модели, обновления фундаментальных моделей нарушают наследование способностей, а долгосрочная устойчивость ограничена требованиями развертывания.
Для решения этих проблем исследователи сформулировали пять принципов жизненного цикла: сохранение резерва пластичности, трактовка обновлений как переноса способностей, обеспечение доверенного непрерывного обучения с подкреплением, самооптимизация рецептов обучения и создание подотчётности как базового слоя для долгосрочной итерации.
По каждому принципу авторы синтезировали репрезентативные технические направления. Они также оценили зрелость каждого принципа и его компонентов, выявили ключевые пробелы, мешающие реальному внедрению, и наметили практический план развёртывания ICL.
Обзор призван соединить промышленные реалии с академическими исследованиями, предоставив дорожную карту для создания устойчивых и масштабируемых систем непрерывного обучения LLM в индустрии.
