Представлена EARL — библиотека для объяснения решений ИИ в самоадаптивных системах
Системы на основе обучения с подкреплением (RL) всё чаще используются в автономных и самоадаптивных решениях, однако их поведение остаётся зачастую непрозрачным. Особенно это касается глубоких RL-политик, опирающихся на нейронные сети, которые трудно интерпретировать. Это снижает доверие пользователей и усложняет верификацию таких систем.
Для решения этой проблемы исследователи представили EARL (Explanations using Alternative Realities for Reinforcement Learning) — библиотеку на Python, которая генерирует контрфактические объяснения в сценариях RL. Она позволяет пользователям изучать сценарии "что если", чтобы прояснить поведение агента, сравнивая возможные исходы.
Контрфактические объяснения хорошо зарекомендовали себя в психологических исследованиях, но в области RL они стали применяться лишь недавно. При этом существующие реализации часто ограничиваются игрушечными примерами и синтетическими бенчмарками. EARL ориентирована на реалистичные самоадаптивные системы.
В качестве демонстрации авторы использовали симуляцию CitiBikes — самоадаптивной системы аренды велосипедов. Оценки показали, что библиотека работоспособна в реальных приложениях, а не только в лабораторных условиях.
Разработка подобных инструментов важна для повышения прозрачности ИИ. Когда пользователи понимают, почему система принимает решения, это укрепляет доверие к технологии и упрощает её проверку на корректность и безопасность.
Исследование размещено на arXiv, что позволяет специалистам ознакомиться с методологией и применить библиотеку в своих проектах. EARL может стать шагом к более широкому внедрению объяснимого ИИ в практические системы.
