Новый фреймворк Elmes* автоматизирует оценку LLM в образовании: 330 сценариев и 1000+ критериев
Оценка больших языковых моделей (LLM) в образовании долгое время была узким местом: существующие бенчмарки либо слишком общие, либо полагаются на вручную составленные критерии, которые плохо масштабируются. Новая работа исследователей предлагает решение — фреймворк Elmes*, который автоматизирует создание тонко настроенных рубрик для конкретных педагогических сценариев.
Elmes* объединяет декларативный многокомпонентный движок для взаимодействия учителя, ученика и судьи с модулем SceneGen, который совместно оптимизирует оценочные критерии и тестовые данные на основе экспертных педагогических измерений. Такой подход позволяет масштабировать оценку на редкие, длиннохвостые образовательные ситуации.
На базе Elmes* создан датасет Edu-330, включающий 330 сценариев по 11 предметам, трём возрастным группам и 10 типам задач. Для каждого сценария разработано более 1000 показателей второго уровня. Это даёт возможность всесторонне оценить, насколько модель умеет не просто отвечать на вопросы, но и учить.
Эксперименты на Edu-330 и четырёх экспертных эталонных сценариях показали, что образовательная способность LLM многомерна. Лучшие модели различаются в первую очередь по креативности и интеграции ценностей. Модели с сильными предметными знаниями могут проваливать сократическое обучение. При этом специализированная образовательная модель InnoSpark получила наилучший средний балл по оценкам экспертов.
Любопытно, что LLM-судьи сохраняют ранжирование, сравнимое с человеческим, но с гораздо меньшим разбросом оценок. Однако у них выявлены специфические смещения, например, самопредпочтение. Абляционные эксперименты показали: использование экспертных примеров в качестве якорей улучшает согласованность человека и LLM, а принуждение к рассуждению и жадное декодирование дают эффект, зависящий от модели.
Таким образом, Elmes* предоставляет масштабируемую диагностическую инфраструктуру для педагогически обоснованной оценки LLM. Разработка может быть полезна как создателям образовательных AI-систем, так и исследователям, стремящимся повысить качество автоматических оценок.
