Маленькие ИИ-модели копируют числа вместо логических рассуждений
Новое исследование, опубликованное на arXiv, раскрыло неожиданное поведение маленьких языковых моделей при решении арифметических задач. Оказалось, что модели с 1–3 миллиардами параметров (Qwen, Llama, Gemma) часто не следуют логике, а просто копируют последнее число из цепочки рассуждений (Chain-of-Thought, CoT).
Учёные изучили три инструктивно-настроенные модели на наборе данных GSM8K. Они обнаружили, что если перемешать шаги CoT, производительность почти не падает. Это натолкнуло на мысль, что логическая последовательность не так важна, как наличие правильного ответа в конце.
Детальный анализ показал: в 95–96% случаев финальный ответ совпадает с последним числом в цепочке рассуждений, независимо от того, правильное ли это число. Даже если промежуточные шаги содержат ошибки, модель всё равно копирует финальное число.
Исследователи провели эксперимент: заменили правильное число на неправильное в конце цепочки — точность упала почти до нуля, хотя все промежуточные шаги были верными. Если же убрать это число, точность повышалась на 5–32 процентных пункта. Это указывает на доминирование механизма копирования над другим контекстом.
Модели Qwen и Llama копировали даже незнакомые числа-дистракторы в 87–95% случаев. Модель Gemma проявляла избирательность: она копировала только числа, которые выглядят релевантно. Учёные также выявили специфические наборы нейронов, отвечающих за это поведение.
При решении неарифметических задач из набора BBH эффект почти исчезал: перемешивание шагов сильно снижало точность. На более крупных моделях (7–8 миллиардов параметров) также появлялась избирательность. Это говорит о том, что механизм копирования характерен именно для маленьких моделей и для арифметики.
Авторы предупреждают: оценка правдоподобия шагов CoT может ошибочно приписывать это копирование настоящему рассуждению. Это важно для тех, кто использует CoT для контроля работы моделей. Исследование открывает путь к разработке более надёжных методов верификации.
