RUBAS: новый метод обучения делает ИИ-агентов безопаснее при работе с инструментами
Развитие больших языковых моделей (LLM) в сторону агентов, способных выполнять реальные действия, порождает новые риски безопасности. Традиционные методы выравнивания часто полагаются на грубые сигналы отказа или статический контроль, что затрудняет баланс между безопасностью и полезным использованием инструментов.
В новой работе на arXiv исследователи представили RUBAS — фреймворк подкрепляющего обучения на основе рубрик для безопасности агентов. RUBAS разбивает поведение агента на четыре измерения: безопасность использования инструментов, безопасность аргументов, безопасность ответов и полезность.
Эти структурированные рубрики позволяют получать детализированные и интерпретируемые награды за полные траектории агента. Это даёт возможность оптимизировать безопасное использование инструментов с помощью подкрепляющего обучения, сохраняя при этом выполнение задач.
Эксперименты на нескольких бенчмарках и моделях показали, что RUBAS превосходит стандартные методы выравнивания по безопасности, уменьшает галлюцинации, связанные с инструментами, и сохраняет конкурентоспособную полезность.
Авторы отмечают, что многомерные рубричные награды обеспечивают эффективный обучающий сигнал для выравнивания LLM-агентов в критически важных сценариях использования инструментов. Работа открывает новые возможности для безопасного развёртывания автономных ИИ-систем.
