Новый метод рассуждения для ИИ: эффективность без роста затрат
Группа исследователей представила новый подход к улучшению рассуждений в больших языковых моделях (LLM), который решает проблему доверия к генерируемому контенту. В отличие от существующих методов, он не требует существенного увеличения вычислительных затрат и может быть интегрирован с текущим программным и аппаратным обеспечением.
Современные LLM способны создавать связные тексты на основе принципов машинного обучения, однако обоснованность их утверждений часто остаётся под вопросом. Традиционно считалось, что добавление принципиальных механизмов рассуждения слишком дорого для практического использования. Новая работа предлагает эффективную альтернативу.
Метод состоит из двух этапов. На первом этапе данные преобразуются в специальный унитарный реляционный интегральный код (Unary Relational Integracode), который явно кодирует связи между объектами. На втором этапе используется стандартный (возможно, упрощённый) процесс машинного обучения, который учится предсказывать эти связи.
Такой подход, по заявлению авторов, может рассматриваться как реализация модели мира и применим не только к естественному языку, но и к задачам компьютерного зрения и управления действиями. Он позволяет объединять разрозненные свойства объектов в единое представление.
Преимущества метода описываются в терминах «Робастной логики» (Robust Logic) — системы для принципиального логического вывода на основе обученных, то есть неопределённых, данных. Исследователи показали, что такое перекодирование обладает свойством, делающим обучение базового набора реляционных правил полиномиально вычислимым (сложность зависит от сложности правила).
Это обеспечивает возможность обоснованных рассуждений как внутри одного вызова обученного классификатора, так и между несколькими вызовами. Работа опубликована на сервере препринтов arXiv и может стать важным шагом к созданию более надёжных и рациональных систем ИИ.
