PEAR: протокол дебатов для ИИ, устраняющий позиционные искажения

Многоагентные дебаты — популярный подход для повышения надежности больших языковых моделей (LLM): агенты критикуют друг друга и уточняют ответы. Однако фиксированные топологии часто приводят к устойчивым позиционным смещениям, усиливают влияние ненадежных агентов и делают систему чувствительной к начальному распределению ролей.

Исследователи из группы EVIE Hub предложили новый протокол PEAR (Permutation-Equivariant Adaptive Routing Multi-Agent Debate), который решает эти проблемы. PEAR динамически переназначает роли агентам и реконфигурирует разреженную топологию связей между раундами дебатов, опираясь на текущее состояние каждого участника. Это не позволяет ни одному агенту постоянно занимать привилегированную позицию в сети и распределяет влияние более равномерно.

Авторы теоретически охарактеризовали PEAR как эквивариантный разреженный маршрутизатор: он сохраняет точность при переименовании агентов, снижает сложность маршрутизации и улучшает обобщение. Практические эксперименты на четырех бенчмарках с использованием шести различных LLM (включая модели разных размеров) показали, что PEAR существенно повышает среднюю точность по сравнению с сильнейшими базовыми методами дебатов.

Код протокола открыт и доступен на GitHub. Разработчики отмечают, что PEAR можно применять как готовое решение для любых сценариев, где требуется коллективное принятие решений несколькими агентами на основе диалога. Это может быть полезно для задач рассуждения, фактчекинга и генерации контента, требующих высокой надежности.

Работа опубликована на arXiv и привлекла внимание сообщества благодаря простой идее и убедительным результатам. Дальнейшие исследования могут быть направлены на масштабирование протокола для большего числа агентов и интеграцию с другими техниками повышения качества работы LLM.