Ученые выявили общий механизм дистилляции знаний в LLM и предложили новый метод

Группа исследователей опубликовала на arXiv препринт, в котором предлагает единый подход к интерпретации механизма дистилляции знаний (KD) для больших языковых моделей (LLM). Несмотря на широкое применение, долгое время оставалось неясным, почему различные методы KD работают одинаково эффективно.

Авторы разложили выходные оценки LLM на сумму множества взаимодействий — нелинейных отношений между группами входных переменных, таких как слова. Анализ показал, что общий принцип всех методов KD заключается в разреживании (sparsification) взаимодействий: студенческая модель сохраняет лишь часть взаимодействий для вывода, обнуляя остальные.

Кроме того, разница в производительности между методами, как выяснили учёные, связана с их способностью обрабатывать сложные взаимодействия. Чем выше разреживание сложных взаимодействий достигает студент, тем лучше результат.

На основе этого открытия авторы предложили новую функцию потерь — Complex Interaction Penalty (CIP), которая явно поощряет разреживание сложных взаимодействий в процессе дистилляции. CIP является «подключи и работай» (plug-and-play) и может быть добавлена к любому существующему методу KD.

Эксперименты показали, что интеграция CIP последовательно улучшает производительность различных методов дистилляции как на внутридоменных тестах, так и на тестах с распределением, отличным от обучающего (out-of-distribution). Это подтверждает универсальность и практическую ценность предлагаемого подхода.

Работа вносит вклад в теоретическое понимание дистилляции знаний и предлагает конкретный инструмент для повышения эффективности LLM-компрессии, что особенно важно для применения моделей в условиях ограниченных вычислительных ресурсов.