Новый бенчмарк NormAct выявил: ИИ-агенты игнорируют скрытые социальные нормы в 73% случаев

Исследователи из нескольких университетов разработали бенчмарк NormAct, предназначенный для проверки способности мультимодальных больших языковых моделей (MLLM) учитывать скрытые социальные нормы при планировании действий в эгоцентричной среде. Работа опубликована на arXiv.

NormAct моделирует ситуации, в которых задача имеет явную цель (например, «приготовить кофе»), но одновременно существуют неявные социальные ограничения (не использовать чужую кружку). Бенчмарк оценивает три критерия: достижение цели, соблюдение нормы и общий успех задачи.

Тестирование трёх передовых моделей — GPT-5.4 (OpenAI), Claude Opus 4.7 (Anthropic) и Gemini 3 Pro (Google DeepMind) — выявило значительный разрыв. В 67,3% случаев модели успешно выполняли явные указания, но скрытые социальные нормы соблюдали лишь в 26,4% задач. Это означает, что агенты действуют социально неприемлемо почти в трёх случаях из четырёх, когда требуется следовать неявным правилам.

Для выяснения причин исследователи провели эксперименты с дополнительными подсказками. Оказалось, что модели обладают общими знаниями о социальных нормах, но не могут активировать и применить их в конкретном контексте. Проблема не в отсутствии знаний, а в их ситуативном задействовании.

В ответ на это авторы разработали NormPerceptor — модуль, который генерирует контекстно-зависимые подсказки о нормах до начала планирования. Его интеграция повысила общий показатель Task Success с 24,2% до 46,7%, то есть почти вдвое.

По мнению разработчиков, результаты подчёркивают необходимость проектирования воплощённых агентов, способных не просто выполнять инструкции, а проактивно выявлять скрытые нормы, обосновывать их визуальными данными и включать в качестве ограничений при планировании.

Бенчмарк NormAct и код NormPerceptor доступны на платформе Hugging Face. Работа открывает новые направления для создания более социально адаптированных роботов и виртуальных помощников.