Oyster-II: обучение с подкреплением для безопасного и полезного ИИ
Разработчики представили Oyster-II, новый метод выравнивания больших языковых моделей (LLM), основанный на обучении с подкреплением (RL). Фреймворк развивает подход конструктивной безопасности, заложенный в системе Oyster-I, и решает две ключевые проблемы: недостаточную обобщаемость безопасности на нетипичные сценарии и чрезмерное применение цепочек безопасных рассуждений к безобидным запросам.
Предыдущая версия Oyster-I использовала supervised fine-tuning (SFT) для отказа от вредоносных запросов, но это часто приводило к излишним отказам и снижению полезности. Oyster-II внедряет Zero-RL парадигму и многоэтапное обучение с подкреплением. Такой подход позволяет модели одновременно сохранять безопасность и отвечать на чувствительные вопросы конструктивно, не отказывая пользователю без необходимости.
Эксперименты на нескольких бенчмарках показали, что Oyster-II превосходит Qwen3-14B и Oyster-I по всем показателям безопасности. Более того, система достигла результатов, сопоставимых с гораздо более крупными моделями — Qwen3-Max и Qwen3.5-397B — при меньших вычислительных затратах.
Авторы работы подчёркивают, что Oyster-II не просто блокирует нежелательный контент, а учится давать ответы, которые удовлетворяют легитимные потребности пользователя, оставаясь в рамках этических норм. Это особенно важно для задач, связанных с деликатными темами, где простой отказ может быть контрпродуктивным.
Исследование размещено на arXiv и ещё не прошло рецензирование. Тем не менее, продемонстрированные результаты указывают на потенциальный сдвиг в подходах к безопасности ИИ — от жёсткого отказа к гибкому, основанному на понимании контекста.
