Нейросети научились скрыто оценивать финансовую грамотность школьников в игровом процессе
Учёные представили методику скрытой оценки финансовой грамотности в серьёзных игровых приложениях. Работа опубликована на arXiv и описывает архитектуру Agentic BKT — многопроцессорную систему на основе больших языковых моделей (LLM).
Система обрабатывает события из 2D-платформера, разработанного в соответствии с рамками финансовой грамотности OECD/INFE. Каждое действие игрока фиксируется, классифицируется LLM по четырёхбалльной шкале (согласованность с экспертами — Fleiss kappa 0,624), а затем четыре профильных агента (риск, инвестиции, траты, кредиты) анализируют поведенческие траектории и оценивают уровень владения каждой компетенцией с помощью байесовского отслеживания знаний.
На завершающем этапе эксперт-агент объединяет эти оценки в единый показатель. В эксперименте участвовали 193 ученика K-12, которые сыграли 264 игровые сессии. Полученные оценки значимо коррелировали с реальным приростом знаний (r=0,276, p=0,0001) и с результатами итогового теста (r=0,333, p<0,0001).
При этом связь с предварительным тестированием отсутствовала — это подтверждает, что методика измеряет именно новые навыки, а не исходный уровень. Авторы отмечают, что многопроцессорный подход примерно втрое повышает точность прогноза по сравнению с единственной LLM (у которой корреляция составила лишь 0,095 и не была статистически значимой).
Таким образом, разделение на узкоспециализированных агентов и анализ последовательности действий позволяют эффективно улавливать многомерную природу финансовых навыков, не прерывая игровой процесс. Разработка может найти применение в адаптивных образовательных системах и автоматизированной оценке учащихся.
