Rotate2Think: геометрическая подсказка улучшает логику ИИ в 30 из 32 тестов

Группа исследователей представила на arXiv препринт метода Rotate2Think, который улучшает рассуждения языковых моделей без дополнительного обучения. Работа основана на наблюдении, что скрытые представления нейросети во время генерации цепочки рассуждений (thinking embeddings) занимают другую область пространства по сравнению с входными эмбеддингами.

Авторы обнаружили, что как входные, так и мыслительные эмбеддинги обладают высокой коничностью — все векторы сходятся к одному среднему направлению. Однако эти средние направления для входа и рассуждений не совпадают, образуя угол. Это позволило сформулировать переход от входа к рассуждению как задачу поворота, имеющую аналитическое решение через ортогональный анализ Прокруста.

Rotate2Think оценивает матрицу поворота на небольшом наборе правильно решённых примеров, а затем на этапе инференса вставляет синтетический вектор рассуждения в начало цепочки размышлений между разделителями. Этот вектор служит геометрическим праймером, задающим направление для последующего вывода.

Метод протестирован на нескольких наборах данных и семействах моделей. Результаты показали улучшение точности в 30 из 32 конфигураций модель-бенчмарк, охватывающих задачи по математике, естественным наукам и программированию. Более того, Rotate2Think обобщается на мультимодальное рассуждение, что продемонстрировано на наборе MATH-Vision.

Авторы подчёркивают, что геометрия скрытых состояний может служить эффективным инструментом улучшения рассуждений без затрат на дополнительное обучение. Данное исследование открывает путь к более глубокому пониманию внутренней структуры репрезентаций при рассуждении, и, возможно, подобные геометрические приёмы станут частью стандартных методов инференса больших языковых моделей.