MUX: компактное рассуждение через мультиплексированные токены в латентном пространстве
Группа исследователей представила MUX — метод непрерывных рассуждений для языковых моделей, основанный на мультиплексированных токенах в латентном пространстве. Новая техника позволяет значительно ускорить процесс генерации ответов на сложные задачи, требующие многошагового логического вывода.
Обычно языковые модели формулируют промежуточные шаги рассуждения в виде последовательности дискретных токенов (субслов). Это эффективно, но каждый такой токен передаёт лишь один элемент мысли, и многие из них тратятся на выражение идеи, а не на само вычисление. MUX решает эту проблему, переводя рассуждения в латентное пространство, где один токен может представлять взвешенную линейную суперпозицию (мультиплексирование) целого диапазона дискретных субслов.
Ключевая особенность MUX — потеря информации при таком сжатии отсутствует. Авторы доказали, что простые позиционно-зависимые веса (например, подходящий геометрический спад) обеспечивают безошибочное восстановление исходных шагов (демультиплексирование). Это предотвращает сокращённое поведение (shortcut behaviour), которое часто возникает при коллапсе латентного представления.
Кроме того, мультиплексированные рассуждения позволяют параллельно исследовать несколько вариантов в задачах поиска, что ещё больше ускоряет решение. В экспериментах на 32 конфигурациях с четырьмя разными языковыми моделями MUX превзошёл сильные базовые методы латентных рассуждений.
Анализ абляций и зондирования показал, что изученные латентные токены кодируют осмысленные и интерпретируемые рассуждения. Результаты указывают на то, что безошибочная суперпозиция в качестве локальных целей обучения является достаточным условием для построения сильных и эффективных непрерывных рассуждений в латентном пространстве.
Разработка может найти применение в системах, где требуется быстрый и надёжный логический вывод, — от вопросно-ответных систем до аналитических помощников. Дальнейшие исследования будут направлены на масштабирование метода и его интеграцию в коммерческие модели.
