Мультиагентные ИИ путают дублирующиеся данные с новой информацией — исследование
Мультиагентные системы на базе больших языковых моделей становятся все популярнее для анализа данных. Однако добавление новых агентов не всегда означает добавление новой информации. Новая работа, опубликованная на arXiv, формализует это явление как «эпистемическую сибил-проблему».
Суть проблемы в том, что внешне независимые отчеты агентов могут происходить из одних и тех же данных, а независимые источники иногда дают почти идентичные формулировки. Авторы показывают: ни один агрегатор, работающий только с текстом отчетов, не может отделить повторение от независимого подтверждения без знания скрытой структуры происхождения данных.
В ходе экспериментов было выполнено более 20 тысяч контролируемых обращений к LLM-агентам на синтетических документах. Когда один корневой источник оставался неизменным, а число отчетов росло с 1 до 32, наивное покрытие апостериорной вероятности падало с 0.940 до 0.263.
Если же число независимых корневых источников увеличивали с 1 до 16 при фиксированном числе отчетов, разрыв в точности сокращался. Уже при k = 16 различные агрегаторы показывали статистически неразличимые результаты.
Отдельно исследователи оценили корреляцию ошибок извлечения у агентов. Оценка gamma_cal составила 0.719, что подтверждает влияние общей базовой модели на скоррелированные ошибки. Агрегатор, учитывающий эффект коррелированных извлечений, восстанавливает калибровку системы.
Контролируемый эксперимент показал, что механизм дедупликации в пространстве отчетов слишком чувствителен к схожести представлений и почти не реагирует на реальное число источников. Изменение схожести представлений приводило к сдвигу среднего числа кластеров на 1.425, тогда как четырехкратное изменение числа независимых корней — лишь на 0.040.
Авторы делают вывод: коллективное мышление ИИ-агентов должно ориентироваться на происхождение данных и зависимости между агентами, а не на количество отчетов или их визуальное сходство. Это важно для проектирования систем, где применяются группы LLM-агентов для исследования, верификации фактов или аналитических задач.
