Новый метод tPD извлекает механизмы нейросетей в 7 раз быстрее
Группа учёных опубликовала на arXiv препринт, в котором описывает новый подход к интерпретации нейронных сетей — целевую декомпозицию параметров, или tPD. В отличие от стандартной параметрической декомпозиции (PD), требующей огромных вычислительных ресурсов, tPD выделяет только те компоненты, которые обрабатывают интересующие исследователя данные — от отдельных запросов до крупных подзадач.
Для этого авторы вводят специальный «высокоранговый всеобъемлющий компонент», который отвечает за все нецелевые данные. Это позволяет существенно сократить объём вычислений. Метод валидирован на игрушечных моделях и на моделях-трансформерах, обученных на датасете The Pile.
В экспериментах tPD восстанавливает воспроизводимые и механистически точные схемы работы нейросетей. Например, учёные извлекли подмодель, содержащую только слои CSS, из 4-блочного трансформера, затратив всего 7% от FLOPs полной декомпозиции. Для 12-блочного трансформера удалось хирургически удалить и перепрограммировать запомненные последовательности с минимальным влиянием на другие входные данные.
Авторы отмечают, что tPD открывает путь к более эффективному анализу крупных языковых моделей, делая интерпретацию их работы менее затратной и более доступной. Метод может помочь в отладке, а также в целенаправленной модификации поведения нейросетей без переобучения всей модели.
Работа опубликована под идентификатором arXiv:2607.13047 и доступна для ознакомления на сайте препринтов. Результаты демонстрируют практическую применимость подхода для современных трансформеров с сотнями миллионов параметров.
