Малые языковые модели с самокоррекцией достигли высокой точности в задачах автономного управления
Группа исследователей представила новый подход к автономному управлению промышленными процессами, основанный на компактной языковой модели (SLM) с возможностью самокоррекции. Работа опубликована на платформе arXiv и описывает систему, которая позволяет создавать и перенастраивать управляющие политики на основе естественно-языковых требований с минимальным участием человека.
Ключевая проблема при внедрении AI в промышленности — высокая задержка и вычислительные затраты при использовании крупных облачных моделей. Для периферийных устройств требуются более быстрые и легкие решения. В предлагаемой системе задействована модель Qwen2.5-1.5B, дообученная с использованием метода Group Relative Policy Optimization (GRPO).
Архитектура включает три основных компонента: агент действий, который генерирует управляющие сигналы; слой валидации в виде цифрового двойника, проверяющий корректность действий; и агент повторного запроса, который итеративно корректирует выходные данные до достижения допустимого результата. Такой цикл с обратной связью позволяет системе учиться на своих ошибках в реальном времени.
Эксперименты проводились в симуляциях терморегуляции: 30 тестов по 500 шагов каждый. Средняя точность согласования действий составила 91,5% (от 86,3% до 100% в разных сценариях), а средняя задержка вывода — 3,84 секунды. При символическом переотображении система удерживала 95% значений в заданном диапазоне, что указывает на устойчивое физическое регулирование даже при снижении точности на уровне токенов.
Полученные результаты подтверждают, что сочетание малой языковой модели с валидатором является практичным и экономичным путем к созданию перенастраиваемых автономных систем управления для периферийных вычислений. Такой подход снижает зависимость от облачных сервисов и позволяет быстрее адаптировать производственные процессы к изменяющимся условиям.
