Визуальные графы превзошли текст в организации рассуждений LLM
Исследователи задались вопросом: могут ли графы служить не только внешним источником знаний для больших языковых моделей (LLM), но и внутренним средством организации их рассуждений? Вдохновляясь тем, как люди используют ментальные карты для ветвления и объединения мыслей, авторы изучили этот подход на задачах многопереходного ответа на вопросы (multi-hop QA).
В работе, опубликованной на arXiv, описывается эксперимент, в котором преподавательские рассуждения (teacher-provided reasoning traces) были преобразованы в графовые ментальные карты и использованы для обучения студенческой модели. Оказалось, что способ представления графов имеет решающее значение.
Когда графовые структуры были превращены в обычный текст, их преимущества становились ограниченными, если из текста убирались прямые подсказки с ответами. В таком абстрактном режиме обучения как эффективность рассуждений, так и качество ответов существенно снижались.
Однако визуальная форма графов оставалась действенной даже без прямых подсказок. Это преимущество сохранялось после дополнительной тонкой настройки (supervised fine-tuning) и дистилляции знаний на основе KL-дивергенции.
Авторы утверждают, что графы следует изучать не только как внешние структуры знаний для LLM, но и как визуальные каркасы (visual scaffolds) для организации рассуждений. Это открывает новые перспективы для улучшения логических способностей моделей без необходимости в дополнительных внешних базах данных.
Результаты подчеркивают важность модальности при передаче структурированной информации нейросетям. Визуальное представление, по-видимому, лучше соответствует внутренним механизмам обработки сложных логических связей, чем линейный текст.
Исследование может найти применение в системах вопрос-ответ, аналитике и других областях, где требуется многошаговое логическое рассуждение. Дальнейшие работы могут быть направлены на интеграцию визуальных графов в архитектуру моделей или на создание методов автоматического построения таких каркасов.
