Новый метод байесовской оптимизации использует исторические данные дорогих экспериментов
В препринте на arXiv представлен новый подход к многофидельной байесовской оптимизации (MF-BO). Этот класс методов применяется для задач чёрного ящика, где целевая функция дорога, но существуют более дешёвые приближения. Классический подход использует корреляцию между разными уровнями точности, чтобы сократить число дорогих запросов.
Однако в ряде реальных случаев самая точная функция оказывается настолько дорогой, что её невозможно включить непосредственно в цикл оптимизации. В таких ситуациях у исследователей часто есть исторические данные — например, предыдущие измерения истинных значений. Так, в молекулярной оптимизации химики сначала отбирают топ-кандидатов с помощью компьютерных симуляций, а затем раскрывают их настоящие значения в лаборатории.
Авторы работы показали, что стандартные алгоритмы MF-BO в подобных сценариях дают неоптимальные результаты, даже если выполняются все теоретические допущения. Это ограничение побудило исследователей предложить новый метод, который включает исторические данные высокой точности в модель, используя дескрипторы задач. Такие дескрипторы могут быть заданы явно или извлечены из неструктурированных метаданных.
Разработанный метод был протестирован на синтетических функциях, а также на реальных задачах из химии и настройки гиперпараметров. Во всех случаях он продемонстрировал улучшение по сравнению с традиционными подходами, особенно когда доступ к самой точной функции ограничен.
Исследование подчёркивает важность использования накопленных данных в оптимизационных задачах, где дорогие измерения возможны лишь вне основного цикла. Это открывает путь к более эффективному решению практических проблем в науке и инженерии.
