Новый фреймворк TwinBI повышает точность BI-аналитики на 20 процентных пунктов
Разработчики из исследовательского сообщества представили TwinBI — фреймворк, который решает проблему рассинхронизации между голосовыми запросами к LLM-ассистентам и прямым управлением BI-дашбордами. Новая система создает цифрового двойника дашборда, который отслеживает все действия пользователя и поддерживает единое аналитическое состояние.
В основе TwinBI лежит агентная архитектура: LLM-агент взаимодействует с исполнительной копией состояния дашборда. Фреймворк объединяет четыре ключевых механизма: диалоговое взаимодействие, манипуляции с дашбордом, семантическую привязку к данным и отслеживание происхождения запросов. Все это достигается за счет единого лога взаимодействий, на основе которого восстанавливается контекст.
Для оценки эффективности авторы провели два этапа тестирования. В контролируемом A/B-эксперименте с одним и тем же базовым агентом TwinBI показал значительное улучшение: точность совпадения ответов (exact-match) выросла с 43,3% до 63,3%, частичное совпадение — с 48,3% до 70,8%. Количество тайм-аутов удалось сократить с 40% до 10%.
В ходе юзабилити-исследования участники отметили преимущества интегрированного рабочего процесса с дашбордом и чатом. Пользователи показали высокую точность выполнения задач, умеренную нагрузку и положительно оценили механизмы взаимодействия, учитывающие текущее состояние дашборда.
TwinBI также предоставляет полезные артефакты: схему данных, SQL-запросы, логи и команду /insights для получения аналитических сводок, основанных на текущем состоянии. Это позволяет аналитикам глубже понимать, как строится каждый ответ.
Исходный код и набор данных доступны в открытом репозитории на GitHub. Авторы планируют дальнейшее развитие фреймворка, включая интеграцию с другими BI-платформами.
