HCRA: рефлексивная архитектура для согласования AI с предпочтениями человека

Группа исследователей опубликовала на arXiv препринт, в котором представила Human-Centric Reflective Architecture (HCRA) — фреймворк для совместного принятия решений человеком и искусственным интеллектом. Работа направлена на преодоление одной из ключевых проблем современных AI-систем: несоответствия между рекомендациями AI и реальными ожиданиями пользователя.

Как отмечается в статье, люди часто либо чрезмерно полагаются на AI, либо, наоборот, игнорируют его советы, что снижает общую эффективность. Текущие системы плохо калиброваны под человеческие предпочтения, особенно в задачах, требующих баланса между автономией и контролем.

HCRA решает эту задачу, формулируя процесс совместного принятия решений как стохастическую игру между AI-агентом и человеком-игроком. Архитектура объединяет модели, калиброванные под поведение человека (human-calibrated models), с агентами обучения с подкреплением, которые используют лингвистическую обратную связь в итеративном рефлексивном процессе.

Такой подход позволяет системе постепенно адаптироваться к стилю и предпочтениям конкретного пользователя, а также снижать неопределенность, связанную с недетерминированностью AI. В ходе экспериментов HCRA продемонстрировала улучшение показателей эффективности принятия решений и генерацию рекомендаций высокого качества.

Разработка может найти применение в широком спектре областей — от повседневных задач до критически важных систем, где требуется надежное взаимодействие человека и AI, например в медицине, управлении транспортом или финансах. Авторы планируют дальнейшее развитие архитектуры и ее интеграцию в реальные приложения.