Отбор ИИ-моделей по принципу взаимодополняемости повышает точность ансамбля

В новой научной работе, опубликованной на arXiv, описан метод отбора языковых моделей для ансамблевого обучения, основанный на их взаимодополняемости. Авторы предложили рассматривать задачу выбора участников ансамбля как комбинаторную оптимизацию, аналогичную отбору признаков.

Традиционные подходы к формированию ансамблей ИИ обычно ориентируются либо на точность (выбор самых сильных моделей), либо на разнообразие (обеспечение различий между ними). Однако они упускают из виду взаимодействия между моделями и с итоговым суммаризатором, что может снижать эффективность.

Учёные переформулировали задачу: ценность модели для ансамбля определяется тем, насколько она дополняет остальные. Прямое применение классических алгоритмов отбора признаков оказалось слишком затратным по времени, поэтому авторы исследовали ряд вычислительно реализуемых жадных алгоритмов, которые оценивают взаимодополняемость с помощью небольшого размеченного набора данных.

Эксперименты показали, что взаимодополняемость действительно может служить руководящим принципом при отборе моделей. Некоторые из предложенных методов достигли наилучшего баланса между производительностью и вычислительными затратами.

Результаты работы могут найти применение в системах многопользовательского ИИ, где требуется агрегировать ответы нескольких моделей для получения более точного результата. Метод потенциально способен улучшить качество работы ансамблей без существенного увеличения времени вычислений.

Поскольку статья является препринтом, полученные выводы ещё предстоит проверить в более широком спектре задач и на разных наборах моделей. Однако предложенная концепция открывает новое направление в оптимизации коллаборативных систем искусственного интеллекта.