CSTutorBench: бенчмарк для ИИ-тьюторов выявил сильные и слабые стороны маленьких языковых моделей

Исследователи из университетов и технологических компаний представили бенчмарк CSTutorBench, предназначенный для оценки способностей маленьких языковых моделей (SLM) выступать в роли ИИ-тьюторов по блочному программированию. Работа опубликована на arXiv и описывает подход к тестированию моделей в среде робототехники VEX VR.

CSTutorBench включает 17 сценарных вопросов, оцениваемых по педагогической рубрике, основанной на исследованиях в области обратной связи и репетиторства. Для оценки используется конвейер LLM-as-judge с участием человека в цикле, что позволяет объективно сравнивать качество ответов моделей.

В предварительном тестировании участвовали 11 моделей с числом параметров от 4 до 120 миллиардов. Результаты показали, что модели хорошо справляются с поверхностными критериями — словарным запасом и тоном общения, но испытывают трудности с более глубокими педагогическими аспектами. В частности, модели часто допускают «утечку ответа» (answer leakage) и неэффективно учитывают историю отладки ученика.

Интересно, что в выборке исследователей семейство модели и подход к инструктивной настройке (instruction-tuning) оказались более важными предикторами качества тьюторства, чем количество параметров. Однако авторы отмечают, что малое число протестированных моделей не позволяет сделать окончательные выводы.

Также в рамках работы была протестирована целевая доработка промптов, основанная на недавних исследованиях в области инженерных образовательных промптов. После доработки улучшение показали 10 из 11 моделей, что подчёркивает важность контекстно-зависимых и педагогически обоснованных бенчмарков при выборе SLM для образовательного развёртывания.

Разработчики подчёркивают, что CSTutorBench может помочь школам и EdTech-платформам выбирать подходящие маленькие модели для роли ИИ-тьюторов, учитывая ограничения по стоимости, приватности и зависимости от проприетарных решений.