Новый метод BOHM оценивает вклад компонентов ИИ-систем без затрат и доступа к внутренностям
Учёные разработали новый подход к атрибуции в составных ИИ-системах — BOHM. Метод извлекает иерархическое дерево атрибуции напрямую из весов маршрутизации, которые такие системы уже ведут. Это позволяет оценить вклад каждого компонента без необходимости запускать систему на произвольных подмножествах, что требуется для Shapley-методов.
Традиционные методы, такие как SHAP, разлагают функцию ценности коалиции на маржинальные вклады компонентов. Но для многих реальных систем — например, сторонних API, непрозрачных точек входа или агентных оркестраторов — такая оценка невозможна или крайне затратна. BOHM решает эту проблему: он имеет нулевую предельную стоимость и не требует доступа к внутренностям компонентов.
BOHM предоставляет многоразрешающую атрибуцию на всех уровнях иерархии одновременно. Плоские методы, такие как SHAP, не могут этого сделать ни при каком бюджете вычислений. BOHM и SHAP отвечают на разные вопросы, но сходятся, когда развёрнутый маршрутизатор работает околоптимально.
Эксперименты подтвердили эффективность метода. На 18 LLM в трехуровневой иерархии по 880 задачам LiveCodeBench BOHM достиг Kendall tau = 0,928, в то время как SHAP — 0,980, но потребовал в 9000 раз больше оценок коалиций на один seed. В агентном исследовании с 5 драйверами и 7 бенчмарками (35 ячеек) драйверы концентрировали маршрутизацию на одном инструменте (медиана доли — 0,65). Значение tau(BOHM, SHAP) на уровне ячейки выше, если выбор драйвера совпадает с эмпирически лучшим инструментом (+0,22 против ~+0,01).
На иерархии US Census (475 листьев, 4 уровня) BOHM восстановил истинные ранги на каждом уровне (tau до 0,722). Метод удовлетворяет свойствам эффективности, монотонности, симметрии и слабого подавления, но не аддитивности Shapley. Авторы подчёркивают, что BOHM — это комплементарный примитив: многоразрешающее разложение, вычислимое везде, где существует состояние маршрутизации, а его расхождения с Shapley сами по себе диагностичны.
Разработка позволяет анализировать сложные ИИ-системы без дополнительных вычислительных затрат и может быть полезна для отладки, интерпретации и оптимизации составных моделей. Результаты опубликованы на arXiv.
