Протокол Consilium: дешёвые модели ИИ догнали дорогие в коллективных рассуждениях

Группа исследователей представила новый протокол для много-модельного ИИ под названием Consilium. Он основан на принципах устойчивости к византийским ошибкам (BFT) и рассматривает разногласия между моделями не как ошибки, а как ценный сигнал. Вместо простого усреднения ответов протокол организует структурированное совещание, где каждая модель получает искусственно созданную когнитивную персону — это отделяет то, чем модель является, от того, как она рассуждает.

В рамках эксперимента было проведено 1478 сессий по 32 темам из 10 категорий. Ключевой результат: модели с бесплатным выводом стоимостью всего 0,0002 доллара за партию показали аналитические результаты, сопоставимые с флагманскими моделями стоимостью 10,69 доллара. Это стало возможным благодаря персональной настройке, которая компенсирует разницу в вычислительной мощности.

Протокол также обнаружил измеримые слепые зоны в моделях, вызванные RLHF-обучением. Например, на спорных политических темах модели проявляли на 12,3 процентных пункта меньше готовности к конструктивной критике, чем на устоявшихся научных темах. В сфере безопасности ИИ асимметрия составила 11,6%: модели активнее оспаривали утверждения об опасности ИИ, чем тезисы о преувеличении рисков.

Сам протокол не продемонстрировал направленной предвзятости: разница между позициями по иммиграции составила 2,3%, по возобновляемой энергии — 1,2%. Дополнительно была внедрена процедура проверки на основе внешних данных (out-of-sample): она подтвердила 239 утверждений со 100% успехом и выявила 167 слепых зон, невидимых при обычном анализе.

Воспроизводимость результатов оценили в ±2,2% стандартного отклонения при случайном перераспределении моделей и персон. Полная стоимость эксперимента, включая все накладные расходы, составила 217 долларов. Исследователи опубликовали спецификацию протокола под лицензией MIT для независимой верификации.

Разработка может существенно снизить затраты на использование ИИ в экспертных системах, где требуется коллективное обсуждение. Метод позволяет обходиться дешёвыми моделями без потери качества, а также выявлять систематические искажения, заложенные в процессе обучения.