Исследование: LLM-мутации программ приводят к однообразию, а не к разнообразию
Исследователи изучили, как большие языковые модели (LLM) мутируют программы при отсутствии отбора. Они запускали цепочки мутаций в доменно-специфическом языке, меняя промпты, модели и число повторов. Результат оказался устойчивым: LLM-мутации быстро сходятся к ограниченному набору структур.
В 87% цепочек более 93% мутаций возвращали программу к ранее виденной форме. Большая часть изменений касалась лишь подстановки терминалов внутри повторяющихся шаблонов. Анализ циклов показал преобладание коротких циклов и петель, указывающих на застревание в аттракторах.
Скорость сходимости менялась в зависимости от формулировки запроса и выбора модели, но сам феномен наблюдался во всех условиях. Для сравнения: классический оператор поддерева в генетическом программировании не демонстрировал подобной сходимости.
Авторы видят в этом внутреннее противоречие LLM-эволюции: способность к семантически осмысленным трансформациям сопровождается систематическим уклоном в сторону структурной однородности. Это мешает открытому исследованию пространства программ.
Исходный код экспериментов опубликован на GitHub. Работа доступна на arXiv под номером 2606.05408. Выводы важны для всех, кто использует LLM для автоматической генерации и оптимизации кода.
