DysLexLens: малоресурсный LLM-фреймворк анализирует опыт дислексиков с AI
Дислексики всё чаще обращаются к AI-инструментам для помощи в чтении, письме и учёбе, однако их реальный опыт взаимодействия с этими технологиями остаётся малоизученным. Для восполнения этого пробела исследователи представили DysLexLens — малоресурсный LLM-фреймворк, предназначенный для анализа восприятия искусственного интеллекта дислексиками на основе обсуждений в онлайн-форумах.
DysLexLens построен как сквозная архитектура с отслеживанием доказательств. Она преобразует зашумлённые посты из социальных сетей в словарно-управляемый корпус, использует рассуждения на основе графа знаний (KG) для генерации проверяемых ответов и включает количественные и качественные метрики оценки.
Фреймворк обладает четырьмя ключевыми особенностями. Во-первых, применяет словарный метод фильтрации для создания сфокусированного корпуса Reddit по теме дислексии и ИИ, отсеивая нерелевантные посты. Во-вторых, интегрирует семантический анализ на базе LLM с KG-рассуждениями для выявления значимых паттернов.
В-третьих, включает метрики RAGAS и Query Robustness для оценки качества ответов LLM. В-четвёртых, предлагает структурированные рекомендации по валидации ответов, уделяя особое внимание галлюцинациям и соответствию фактам. Авторы проверили DysLexLens на данных Reddit, связанных с дислексией, и 30 вопросах.
Результаты показали потенциальную обобщаемость фреймворка на другие низкоресурсные данные форумов. Код, образцы данных, вопросы и результаты оценки доступны на GitHub для воспроизводимости. Это открывает возможности для более глубокого понимания потребностей пользователей с особыми образовательными потребностями в контексте AI.
