Исследователи представили LARA — метод безопасного вывода ИИ-моделей без дообучения

Группа исследователей представила новый метод безопасного вывода языковых моделей под названием LARA (Lagrangian Reward Augmentation). Он позволяет добавлять ограничения безопасности на этапе генерации текста, не требуя повторного обучения модели. Это особенно актуально для крупных моделей, где процесс дообучения может быть затратным.

Существующие методы выравнивания во время вывода обычно оптимизируют единое числовое значение, игнорируя ограничения безопасности или полагаясь на ручную настройку штрафов. LARA решает эту проблему, вводя явные ограничения на основе модели стоимости (cost model) и награды (reward model).

В основе LARA лежит лагранжева двойственность: задача оптимизации с ограничениями сводится к одномерной выпуклой задаче с неотрицательной двойственной переменной. Эта переменная калибруется на небольшом наборе данных и затем используется как скорректированный сигнал награды при декодировании.

Метод поддерживает как стратегии выборки на уровне последовательностей (например, Best-of-N reranking), так и методы пошагового управления генерацией. Для Best-of-N двойственная переменная даёт точное решение задачи с ограничением на ожидаемую стоимость.

Эксперименты показали, что LARA улучшает компромисс между полезностью и безвредностью (helpfulness-harmlessness tradeoff). Вариант Best-of-N достиг наилучших результатов среди методов вывода, приблизившись к качеству подходов, основанных на дообучении.

Авторы отмечают, что предложенный фреймворк является общим и может быть интегрирован с различными существующими методами выравнивания во время вывода. Это открывает путь к более безопасному использованию языковых моделей без дополнительных вычислительных затрат на переобучение.