AgentFAIR: мультиагентная система ИИ точнее оценивает FAIR-совместимость геоданных
Группа исследователей разработала AgentFAIR — мультиагентный фреймворк для автоматизированной оценки FAIR-совместимости (Findability, Accessibility, Interoperability, Reusability) геопространственных данных. Работа опубликована в репозитории arXiv.
Существующие инструменты оценки FAIR страдают от несогласованности: для 50 наборов данных из 10 хранилищ стандартное отклонение нормализованных баллов между инструментами достигало 30,3 процентных пунктов. Это затрудняет объективное сравнение данных.
AgentFAIR объединяет структурированное извлечение метаданных с 13 субпринцип-специфичными оценщиками на основе LLM. Каждый оценщик выставляет балл от 0 до 3, приводит обоснование и рекомендации. Отдельный компонент-критик проверяет доказательства и согласованность, при необходимости запрашивая переоценку.
Средние баллы по компонентам FAIR: Findability — 79,7%, Accessibility — 70,4%, Interoperability — 45,3%, Reusability — 72,0%. Ранговая корреляция с четырьмя базовыми инструментами варьировалась от 0,31 до 0,61, но статистически значимого превосходства над ними достигнуто не было.
На повторном запуске 10 наборов данных согласованность между субпринципами составила 89% (стандартное отклонение 3 п.п.) по сравнению с 71% без использования критика. Предварительное экспертное исследование на 15 наборах показало коэффициент Флейсса ? = 0,71 и 82% совпадение с консенсусом экспертов.
Стоимость использования API для оценки одного набора данных составляет примерно $0,054. Это делает систему пригодной для аудита и массового применения, хотя авторы отмечают ограниченность бенчмарка и необходимость дальнейшей валидации.
