Anthropic открыла J-space: ИИ Claude думает словами, которые не говорит вслух

Исследователи из компании Anthropic обнаружили внутри языковой модели Claude новый тип нейронных паттернов, который они назвали J-space. Каждый такой паттерн связан с конкретным словом, однако его активация не означает, что модель произносит это слово — оно просто «у неё на уме».

По данным исследователей, J-space не был спроектирован разработчиками, а возник самостоятельно в процессе обучения Claude. В отличие от привычной цепочки рассуждений (chain of thought), которая записывается текстом, J-space работает молча, через внутренние активации нейронов.

В ходе экспериментов по анализу внутренних состояний модели команда Anthropic выявила согласованные паттерны, соответствующие отдельным словам. Каждый паттерн активируется, когда модель «обдумывает» соответствующее слово, даже если оно не появляется в её ответе.

Отличие от цепочки рассуждений в том, что последняя генерируется моделью в виде текста и видна пользователю. J-space же работает на уровне нейронов, не проявляясь в выходном тексте. По мнению исследователей, это может быть более глубоким уровнем обработки.

Значение этого открытия в том, что оно может помочь лучше понять, как языковые модели формируют свои ответы. Если внутренние паттерны можно интерпретировать, это откроет путь к более прозрачным ИИ-системам. Также это может объяснить некоторые неожиданные поведения моделей.

Пока что J-space обнаружен только у Claude, но исследователи предполагают, что аналогичные пространства могут существовать и в других больших языковых моделях. Дальнейшие работы направлены на проверку этого предположения и изучение свойств J-space.