Информационная тень: исследователи нашли три необучаемых класса для языковых моделей

Группа исследователей представила на arXiv препринт, в котором вводится концепция «информационной тени» — набора структурных ограничений, не позволяющих языковым моделям (ЯМ) усваивать определённые знания вне зависимости от объёмов обучающих данных. Авторы утверждают, что часть пробелов в знаниях ИИ является не просто нехваткой данных, а фундаментальным свойством обучения на тексте.

В работе выделены три типа таких барьеров. Первый — структуры, которые язык не способен выразить. Для его проверки используется метод Language Compression Residuals: сравнивают модель, обучаемую только на текстоподобном представлении сигнала, и модель, получающую сигнал напрямую. Текстовая модель упирается в потолок выразимости, который не преодолевается даже при 300-кратном увеличении данных.

Второй тип — функции, которые невозможно статистически идентифицировать по распределению обучающей выборки. Для этого применяется Counterfactual Distinction Test: модель тренируется на данных, одинаково согласованных с двумя взаимоисключающими правилами. Исследователи показали, что всего 5% однозначных данных способны направить обучение к любому из целевых правил с корреляцией до 1,0.

Третий тип — функции, которые представимы в архитектуре модели, но недостижимы при обучении градиентными методами. Тест Basin Escape Mapping демонстрирует, что такая функция может быть вручную построена с точностью 100%, но стандартное обучение находит её в 0% запусков. При этом изменение инициализации решает проблему, а увеличение ширины слоёв не помогает.

Авторы подчёркивают, что каждый эффект изолирован с помощью контрольного эксперимента, исключающего артефакты ёмкости модели или модальности данных. Выпущен также набор тестовых заданий (probe suite).

Результаты важны для проектирования бенчмарков, аудита возможностей ИИ-систем и учёта «теневой» неопределённости при оценке доверия к моделям. Работа размещена в открытом доступе на платформе arXiv.