Новый метод эмбеддингов ускоряет логический вывод в ИИ

Нейросети могут обучаться ранжировать варианты, предлагаемые логическими решателями, что ускоряет поиск ответов. Ключевой этап этого процесса — создание качественных эмбеддингов, то есть числовых представлений логических утверждений. Новая работа на arXiv предлагает несколько подходов к генерации таких эмбеддингов, которые улучшают итоговые результаты.

Авторы обучают эмбеддинги с помощью triplet loss, где требуются примеры из трёх элементов: anchor, positive и negative. Они внедрили три новшества: генерацию anchors с большей вероятностью повторяющихся термов, подбор positive и negative примеров для баланса между лёгкими, средними и сложными вариантами, а также периодическое акцентирование самых сложных примеров во время обучения.

Эксперименты показали, что такой подход позволяет получить более эффективные эмбеддинги для разных баз знаний. Учёные сравнили различные эмбеддинги на нескольких задачах, пытаясь определить, какие характеристики делают представление наиболее подходящим для конкретной задачи логического вывода.

Результаты демонстрируют, что предложенный метод обучения сбалансированными триплетами и фокусом на сложные примеры даёт более высокую точность ранжирования. Это может ускорить работу систем автоматического доказательства теорем и других AI-решений, основанных на формальной логике.

Практическая значимость работы — в возможности интеграции обученных эмбеддингов в существующие решатели, что позволит им быстрее находить ответы без потери полноты. Исследование открывает путь к более эффективным гибридным системам, сочетающим нейронные сети и символьную логику.