Новая модель KREPE научилась генерировать факты в гипер-реляционных графах знаний

Гипер-реляционные графы знаний (HKG) позволяют эффективно представлять сложные факты с множеством сущностей и связей. Однако традиционные методы работы с такими графами сводятся к задаче предсказания ссылок: считается, что все компоненты факта, кроме одного, уже известны. В реальных сценариях это ограничение часто не работает, так как могут быть неизвестны сразу несколько элементов.

Чтобы решить эту проблему, исследователи ввели новую задачу — генерацию фактов. Она требует восстановления произвольной маскированной части факта или даже создания факта с нуля. Для этого предложен метод KREPE — первый генеративный подход к представлению знаний для HKG.

KREPE моделирует распределение вероятностей недостающих компонент на основе локального контекста факта и глобальной структуры графа. В основе лежит маскированная дискретная диффузия: модель постепенно шумом заменяет неизвестные части, а затем восстанавливает их. При этом учитываются как внутрифактовые зависимости через контекстуальные сообщения, так и межфактовые корреляции с помощью агрегации стохастически выбранных контекстов.

Обучение происходит в едином фреймворке, объединяющем предсказание ссылок и генерацию фактов. Результаты показывают, что KREPE достигает state-of-the-art на стандартных бенчмарках для предсказания ссылок в HKG. Более того, модель превосходит подходы на основе больших языковых моделей (LLM) в задаче генерации новых и корректных фактов.

Разработка открывает путь к более гибкому пополнению знаний в гипер-реляционных графах. Это может быть полезно в областях, где структура фактов сложна и часто неполна — например, в биологии, медицине или информационном поиске. KREPE позволяет не только восстанавливать пропущенные данные, но и создавать правдоподобные гипотезы о новых фактах.