Новый метод выявляет дистилляцию в LLM с точностью почти 100%
Группа исследователей опубликовала в архиве arXiv препринт, посвящённый детектированию дистилляции в больших языковых моделях (LLM). Дистилляция — это техника обучения, при которой студенческая модель обучается на выходах более мощной модели-учителя. Она широко применяется для повышения производительности, но может нарушать политики использования и давать несправедливые преимущества.
Авторы работы показали, что идентифицировать учителя по одной изолированной студенческой модели крайне сложно. Однако ситуация меняется, если есть доступ к контрольной точке ранней версии той же линии моделей. В этом случае можно достоверно определить, какой именно учитель использовался для обучения поздней версии.
Предложенный метод основан на референсном анализе членства в наборе данных. Сравнивая, насколько сильно студенческая модель предпочитает выходы различных кандидатов в учителя относительно референсной контрольной точки, алгоритм определяет наиболее вероятного учителя. Для неизвестных пайплайнов дистилляции, например со скрытыми промптами, авторы извлекли шаблоны промптов непосредственно из выходов моделей.
В экспериментах с контролируемой дистилляцией метод восстановил истинного учителя с точностью, близкой к 100%, даже когда детали пайплайна были в значительной степени неизвестны. Дополнительно исследователи обнаружили характерный глиф-уровневый сигнал, специфичный для моделей серии o1/o3.
Для оценки метода в реальных условиях авторы разработали гибридную схему: часть экспериментов проводилась с искусственно созданными дистилляционными парами, часть — с реально существующими моделями. В обеих ситуациях подход показал высокую эффективность. Введены также статистические тесты для атрибуции учителя и детекции дистилляции, включая сценарии открытого мира, где среди кандидатов может не быть истинного учителя.
Применение метода к современным моделям дало новые свидетельства о возможных дистилляционных связях с участием QwQ, DeepSeek-R1 и GPT-OSS. Работа доступна на arXiv под номером 2607.09692.
