CreativityNeuro повышает креативность LLM на 14 процентилей без дообучения

Большие языковые модели нередко страдают от «эффекта искусственного улья», генерируя однотипные ответы на открытые вопросы. Новая работа на arXiv предлагает метод CreativityNeuro, который улучшает дивергентное мышление без переобучения.

CreativityNeuro использует контрастное взвешивание весов модели, не требуя дополнительных данных, градиентного дообучения или сбора поведенческих примеров. Авторы протестировали подход на нескольких тестах креативности.

В тесте дивергентных ассоциаций (DAT), оценивающем словарный запас, CreativityNeuro поднял производительность на 14 человеческих процентилей. Это значимый скачок по сравнению со стандартными моделями.

В крупномасштабной человеческой оценке (720 участников) на тесте альтернативного использования (AUT) и Task Task метод показал улучшение оригинальности, неожиданности и креативности. Эти задачи требуют более длинных и открытых ответов.

Важно, что во всех трёх тестах CreativityNeuro заметно снизил показатели коллапса мод — склонности модели к повторению одних и тех же паттернов. At the same time, активационное взвешивание показало сравнимый результат только на DAT, не обобщаясь на другие задачи.

Таким образом, метод эффективен в пространстве весов, что позволяет ему переноситься на новые сценарии. CreativityNeuro предлагает простой способ повысить креативность LLM без сбора данных или сложного дообучения.