ShortOPD: новый метод восстанавливает качество сжатых LLM за четверть времени
Структурное сжатие (pruning) больших языковых моделей (LLM) популярно благодаря аппаратной эффективности, однако часто приводит к резкому падению качества свободной генерации текста. Исследователи из arXiv выявили две причины этого разрыва: после сжатия резко падает показатель greedy pass@1 (успех с первой попытки), но pass@k (успех при k попытках) восстанавливается — полезные генерации не исчезают, а лишь становятся менее вероятными. Вторая проблема — преимущественно повторяющиеся суффиксы, которые мешают обучению.
Авторы работы предложили метод On-Policy Distillation (OPD), который использует исходную (несжатую) модель как замороженного учителя и тренирует сжатую модель на её собственных он-политических состояниях с плотным токен-уровневым контролем. Однако длинные он-политические развёртки тратят начальный бюджет восстановления на низкоинформативные повторяющиеся суффиксы, замедляя снижение потерь.
Чтобы устранить этот недостаток, разработан ShortOPD — расписание коротко-длинной дистилляции. Оно выявляет подтверждённые учителем повторяющиеся суффиксы, считает оставшийся префикс эффективной длиной каждого развёртки и распределяет будущие бюджеты только на те длины, которые модель может использовать в данный момент. Это позволяет избежать обучения на бесполезных повторах и ускоряет сходимость.
Эксперименты на задачах математики, кода и открытой генерации показали, что ShortOPD повышает оценку сжатой модели примерно в 9 раз по сравнению с невосстановленным состоянием и в 1,6–4,4 раза по сравнению со стандартными методами восстановления (SFT без дистилляции, KD и SeqKD). При этом метод достигает качества, сопоставимого с фиксированным горизонтом развёртки в 8192 токена, используя четверть времени обучения (8,5 часа против 35,9) и на 71% меньше токенов развёртки.
Авторы надеются, что ShortOPD поможет перенести структурное сжатие за пределы маргинальных улучшений на тестах перплексии и множественного выбора — ближе к качеству генерации, пригодному для реального развёртывания.
