Компактные ИИ-модели до 3 млрд параметров показали эффективность для локального развертывания
Ученые представили работу, посвященную демократизации искусственного интеллекта с помощью компактных языковых моделей. В ходе исследования они оценили девять открытых моделей с параметрами от 135 миллионов до 3 миллиардов на тестовой выборке из 1085 примеров по 16 темам.
Тест был разработан для проверки символической точности, обработки структурированных данных и принятия краткосрочных семантических решений в условиях ограниченного вывода. Все модели использовали строгий протокол вывода одной буквы для обеспечения единообразия оценки.
В базовом тестировании лидером стала Qwen Coder 3B с результатом 75,67% строгой точности. За ней следуют Qwen2.5 1.5B (67,10%), Qwen3.5 2B (64,98%) и Granite 3.3 2B (64,61%).
Далее исследователи применили параметро-эффективный метод дообучения с использованием 4-битного квантования и адаптеров DoRA/LoRA на графическом ускорителе уровня NVIDIA L4. Для дообучения использовались 108 примеров из отложенной выборки.
Дообучение значительно улучшило результаты: Qwen Coder 3B прибавила 26,85 процентного пункта, SmolLM2 1.7B — 25,92, Qwen2.5 1.5B — 19,44, SmolLM2 360M — 10,18, а SmolLM2 135M — 5,55.
Авторы подчеркивают, что дисциплинированный рабочий процесс — создание бенчмарка, кросс-модельная оценка и недорогая специализация — делает подмножество моделей до 3 млрд параметров жизнеспособными локальными экспертами для структурированных нишевых задач. Это открывает путь к развертыванию ИИ на обычном оборудовании без привязки к облачным вычислениям.
