Рефлексивные ИИ-агенты превзошли фиксированные алгоритмы в извлечении данных
Новое исследование, опубликованное на arXiv (препринт 2607.15715), посвящено сравнению фиксированных алгоритмов и рефлексивных ИИ-агентов на основе больших языковых моделей (LLM) в задаче извлечения структурированных данных из научных PDF-файлов.
Ученые построили систему, которая должна находить упоминания наборов данных в статьях конференций и формировать структурированные записи. В качестве базовой линии использовался фиксированный workflow, а в качестве экспериментальных — агенты с возможностью рефлексии, повторных попыток и использования памяти.
Особое внимание было уделено так называемому оптимизированному агенту (S2), который помимо базовых функций получал более богатые инструменты для работы с PDF и динамический выбор инструментов в процессе выполнения задачи.
Оценка проводилась в первую очередь по поведенческим показателям: выполнение вызовов инструментов, количество повторных попыток, случаи рефлексии, использование памяти, время работы и восстановление после сбоев. Показатели охвата извлечения и полноты полей рассматривались как вторичные.
Результаты показали, что рефлексивные агенты демонстрируют более устойчивое поведение при возникновении ошибок и лучше адаптируются к сложным задачам. В то время как фиксированные алгоритмы проще и предсказуемее, они уступают в гибкости и способности к самокоррекции.
В работе описано, при каких условиях агентные механизмы меняют поведение системы, как эти изменения влияют на успешность выполнения задачи и какие типы сбоев стимулируют переход к оптимизированной архитектуре.
Данное исследование вносит вклад в понимание того, как проектировать LLM-агентов для надежного извлечения структурированных данных, что может быть полезно для автоматизации обработки научной литературы и создания баз данных.
