Новый подход к оценке вклада агентов в мультиагентных LLM-системах

В мультиагентных системах на основе больших языковых моделей (LLM) часто возникает проблема атрибуции вклада: какой агент повлиял на итоговый вывод и насколько. Существующие методы, основанные на контрфактическом оценивании, требуют многократного запуска модели, что приводит к высокой вычислительной нагрузке и нестабильности результатов.

Исследователи предложили новый подход — Semantic Cooperative Games (SCG). В его основе лежит представление языкового потока как семантического гиперграфа, на котором вводится агентская семантическая функция ценности. Для распределения вклада используется Семантическое значение Шепли (Semantic Shapley Value, SSV), которое учитывает логику семантической поддержки.

Разработан алгоритм SLIC, который строит семантический гиперграф, выделяет минимальные семантические поддержки, применяет булево поглощение и вычисляет SSV без повторного перебора подмножеств агентов. Это кардинально сокращает затраты: на медицинском эталонном наборе данных SLIC снизил вычислительную стоимость на 93,3%, сохранив высокую согласованность с эталоном Монте-Карло Шепли.

Теоретически доказано, что SSV сводится к классическому значению Шепли при соблюдении условий стандартной множественной наблюдаемости и отсутствия зависимости от порядка. На практике в многоролевых сценариях SSV хорошо согласуется с профилями падения оценки при возмущениях.

Авторы отмечают, что новый метод не использует контрфактические сценарии и даёт интерпретируемые результаты. Это упрощает анализ сложных систем, где агенты обмениваются сообщениями и работают в определённом порядке.

Работа открывает путь к более прозрачному и эффективному управлению мультиагентными системами на LLM, что важно для приложений в медицине, обработке естественного языка и автоматизации.