AI проверяет LEED-сертификацию: нейро-символический пайплайн показал 67% точности, а картинки только мешают
Процесс сертификации по стандарту LEED v4.1 требует ручного просмотра сотен страниц проектной документации. Группа исследователей предложила нейро-символический пайплайн для автоматического скрининга документов, сочетающий языковые модели и детерминированные числовые проверки. Результаты опубликованы в препринте на arXiv.
Пайплайн выравнивает PDF-файлы по разделам LEED, извлекает релевантные доказательства с помощью ключевых сигнатур, затем передаёт их локально развёрнутой языковой модели. Отдельный модуль выполняет числовую верификацию пороговых значений, например, по энергоэффективности.
Тесты на четырёх университетских зданиях (484 PDF, 153 кредитных решения) показали, что модель gemma3:4b с 4 миллиардами параметров стала лучшим текстовым верификатором с точностью 67,3 %, обойдя более крупную 8-миллиардную llama3.1:8b. Полный же пайплайн достиг 61,6 % — отставание объясняется ошибками извлечения данных и консервативным поведением на качественных категориях.
Особый интерес представляет работа числового модуля: на ключевом кредите EA-p2 (энергосбережение) он исправил арифметические ошибки, подняв точность с 50 до 100 %. Аналогичные улучшения отмечены на нескольких других кредитах при условии надёжного извлечения значений.
Систематические эксперименты с мультимодальностью показали, что добавление низкоразрешенных чертежей (150–300 dpi) последовательно снижает точность модели. Исследователи отмечают, что в рамках данной задачи мультимодальность скорее вредит, чем помогает.
Отдельно изучены типы подсказок: рубричные инструкции лучше работали на проектах с богатой документацией, а цепочка рассуждений — на проектах с ограниченными данными. Эффективность подсказок коррелировала с истинным уровнем проходных баллов здания.
Работа задаёт воспроизводимый реперный ориентир для автоматизации LEED-верификации и показывает, что небольшие локальные языковые модели могут быть эффективным инструментом в документоёмких процессах.
