ИИ TRACE-TS объясняет свои решения при анализе носимых датчиков
Группа исследователей представила TRACE-TS — новую систему искусственного интеллекта, которая анализирует данные с носимых датчиков и объясняет логику своих выводов. Разработка решает давнюю проблему: стандартные модели распознают активность, но не могут пояснить, почему приняли то или иное решение.
TRACE-TS использует атрибуцию от экспертного классификатора, чтобы выделять значимые пространственно-временные области в сигналах датчиков. На основе этих данных модель строит структурированные цепочки рассуждений (DAG-графы), где каждый шаг привязан к конкретным участкам сигнала. Это позволяет отслеживать, как именно ИИ пришёл к выводу о действии пользователя.
Для обучения применяется компактная языковая модель с перекрестным вниманием к токенам сенсорной памяти. В процессе работы модель одновременно выдаёт прогноз активности и поясняющий комментарий. При этом на этапе вывода не требуются дополнительные вычисления атрибуции или внешние учителя — система полностью автономна.
Особое внимание авторы уделили проверке качества объяснений. Они разработали метрику Semantic Node Match (SNM), которая использует LLM-судью для диагностики рассуждений на трёх уровнях: наблюдение, умозаключение и синтез. Согласно авторам, SNM выявляет галлюцинированные наблюдения и разрывы в цепочках доказательств, которые обычные метрики NLG пропускают.
В экспериментах на семи наборах данных для носимых устройств TRACE-TS показала среднюю точность 84,43% и F1-меру 81,24%. Это лучший результат среди всех протестированных методов. По F1 модель превзошла лучший базовый подход на основе языковой модели на 17,96 процентного пункта.
Разработчики опубликовали код проекта в открытом доступе на GitHub. Это позволит другим исследователям воспроизвести результаты и применить TRACE-TS в своих задачах, связанных с пониманием поведения человека по сигналам датчиков.
