LLM-эволюция ядер: новый подход к байесовской оптимизации в высоких размерностях
Научная группа представила метод Kernel Discovery, использующий большие языковые модели (LLM) для автоматического поиска ядер гауссовских процессов (GP) в задачах байесовской оптимизации (BO) высокой размерности. Работа опубликована на arXiv и предлагает решение двух ключевых узких мест существующих автоматизированных подходов.
Традиционные методы поиска ядер ограничены только сложением и умножением базовых ядер, а LLM-подходы требуют «сырых» наблюдений, что становится нецелесообразным из-за длины контекста и сложности извлечения паттернов. Kernel Discovery преодолевает эти ограничения: LLM на первом этапе предлагает новые математические формы, а на втором — преобразует их в исполняемый код.
Кроме того, авторы предложили критерий отбора LOO-CRPS (leave-one-out continuous ranked probability score), который штрафует переобученные ядра. Это позволяет отсеивать неэффективные варианты и повышает обобщающую способность.
На пяти бенчмарках высокой размерности новый метод занял среднее 1,2-е место из 17, значительно опередив конкурентные базовые линии. Исследователи также проанализировали найденные ядра, чтобы выявить, какие из них приводят к улучшению BO в высоких размерностях.
Разработка может упростить проектирование ядер для инженерных и научных задач, где ручной подбор становится непрактичным. Использование LLM для генерации новых математических форм открывает путь к более гибким и эффективным алгоритмам оптимизации.
