Язык плюс программный код: новая модель повторяет ход человеческого мышления при обучении
Учёные предложили новый взгляд на то, как люди формируют абстрактные знания из непрерывного потока неполных и зашумленных данных. Вместо простого запоминания фактов модель представляет усвоенные понятия как ментальные программы, сочетающие естественный язык и исходный код.
Разработчики описали алгоритм, который последовательно выводит такие программы с помощью байесовского обучения, направляемого большой языковой моделью. Благодаря этому подход удаётся сделать эффективным по объёму данных и вычислительным ресурсам, а также сохранить гибкость для широкого круга понятий.
В рамках серии поведенческих экспериментов модель воспроизвела ключевые особенности человеческого индуктивного обучения: эффект привязки, явление садовой тропы и другие когнитивные закономерности. Исследователи сравнивали её с чистыми большими языковыми моделями и классическими байесовскими подходами.
Как показало сравнение, стандартные LLM без специального механизма не справляются с поставленными задачами или не отражают поведение людей. Классические байесовские модели либо дают неверные результаты, либо требуют чрезмерных вычислительных затрат. Новая схема, по словам авторов, совмещает точность и доступность.
Описанная архитектура исходит из того, что человек удерживает в уме сразу множество гипотез: часть из них похожа на языковые конструкции, часть — на исполняемый код. При поступлении новой информации эти гипотезы пересматриваются приближённо к байесовскому обновлению.
Ключевую роль играет низкоуровневый нейронный механизм, реализованный на базе LLM. Он делает правдоподобный перебор гипотез вычислительно реальным и обучаемым, что приближает модель к особенностям естественного познания.
Данные о поведении испытуемых указывают: представление знаний в виде гибрида языка и кода может объяснить, почему люди быстро учатся на редких примерах и при этом осознанно ищут недостающую информацию. Точные детали работы опубликованы в репозитории arXiv.
