Формат сообщения в многозвенных LLM-агентах влияет на точность передачи данных
Новое исследование, опубликованное на arXiv, показало, что формат сообщения в многозвенных ретрансляциях LLM-агентов существенно влияет на точность передачи данных, но этот эффект зависит от уровня модели. Ученые провели контролируемые эксперименты, в которых агенты передавали друг другу краткие факты в пяти различных форматах: свободный естественный язык, инструктивный естественный язык, JSON, тройки и ключ-значение — на протяжении шести звеньев.
В ходе тестов использовались два типа реле: сильное (крупная модель) и слабое (модель с 1,5 млрд параметров). Оказалось, что при использовании сильного реле с инструкциями на точную ретрансляцию потери данных практически отсутствуют — известный эффект «испорченного телефона» не наблюдается. Даже при добавлении когнитивной нагрузки (дополнительная задача на каждом звене) точность оставалась стабильной (отклонение в пределах ±1,8 процентных пункта), хотя затраты на генерацию росли на 24–53%.
Слабое реле показало совершенно иную картину: разброс точности между форматами на шестом звене увеличился в 8,7 раза — с 2,3 до 20,5 процентных пунктов. Это связано с двумя механизмами: жесткие форматы (JSON, ключ-значение) несут «налог на кодирование», снижающий точность на ранних этапах, но затем демонстрируют устойчивость к дрейфу. В результате рейтинг форматов меняется по ходу цепочки: если на первых звеньях лидирует свободный естественный язык, то к концу — структурированные форматы.
Отдельно исследователи протестировали сценарий внедрения ошибочного значения в одном из звеньев («форк-инъекция»). Результаты показали, что ошибка, однажды появившись, сохраняется до финального звена в 83–100% случаев во всех форматах. При этом соседние факты не страдают — коллатерального ущерба не зафиксировано.
Авторы делают вывод: структурированный формат не является кодом, исправляющим ошибки, а скорее — надежным каналом, который не искажает информацию, но и не исправляет её. Выбор формата сообщения следует определять исходя из самого слабого звена в цепочке агентов.
Результаты подчеркивают важность учёта архитектуры ретрансляции при проектировании многозвенных LLM-систем, особенно в задачах, где критична точность передачи данных.
