ИИ-агенты вытесняют человека из контура управления: научный обзор

Научное сообщество обратило внимание на проблему, связанную с увеличением автономии ИИ-агентов. Согласно позиционному документу, опубликованному на arXiv, человеческий надзор, который часто предлагают как решение, не работает должным образом. Авторы утверждают, что современные подходы к разработке и внедрению ИИ-агентов не поддерживают эффективный контроль, а наоборот, способствуют его ухудшению.

Ключевая мысль работы: когнитивные способности, необходимые для контроля за системами ИИ, деградируют при длительном использовании таких систем. Человек, который полагается на автоматизацию, постепенно теряет навыки критического суждения и ситуационной осведомленности. Это создает порочный круг: чем больше мы доверяем ИИ, тем хуже мы способны его контролировать.

Авторы предлагают сместить приоритеты в развитии ИИ. Вместо наращивания вычислительной мощности и сложности алгоритмов, необходимо уделить равное внимание человеческим потребностям операторов. В частности, они рекомендуют внедрять на уровне дизайна специальные элементы управления и организационные протоколы, которые поддерживают критическое мышление и предотвращают атрофию навыков.

Это не просто теоретическое рассуждение. Работа связывает существующие наработки в области автоматизации и человеко-машинного взаимодействия с процессами разработки ИИ-агентов. Речь идет о конкретных инструментах: например, интерфейсах, которые требуют активного участия человека, а не пассивного наблюдения, и регламентах, которые ограничивают чрезмерное доверие к автоматическим решениям.

Особую значимость проблема приобретает в таких сферах, как здравоохранение, финансы и государственное управление, где решения ИИ могут иметь серьезные последствия. Авторы призывают разработчиков и организации, внедряющие ИИ-агентов, пересмотреть свои подходы. Без явной поддержки когнитивных требований взаимодействия человека и ИИ, системы будут продолжать подрывать те самые навыки, на которые они опираются.

Исследование носит предупреждающий характер и не предлагает готовых рецептов, но задает важные ориентиры. По мнению авторов, будущее развитие ИИ должно идти рука об руку с развитием человеческого потенциала, а не замещать его.

Документ доступен на arXiv под номером 2608.23642 и является частью дискуссии о безопасном внедрении искусственного интеллекта.