Графовые инструменты повысили точность малых языковых моделей в прогнозировании свойств молекул на 74%

Исследователи из нескольких университетов представили новый метод, позволяющий малым языковым моделям (SLM) точнее предсказывать молекулярные свойства. Проблема состоит в том, что SLM обрабатывают SMILES-строки — линейные последовательности символов, которые не отражают полную графовую топологию молекулы. Из-за этого модели часто „слепы“ к структурным особенностям, влияющим на свойства.

Авторы работы на arXiv (2607.13115) разработали модульную структуру Context-Augmented Prompting. На этапе инференса SLM обращается к двум инструментам: обученная графовая нейронная сеть (GNN) даёт предсказательный намёк с оценкой уверенности, а вторая GNN извлекает поясняющий подграф, который подаётся модели вместе с исходной последовательностью. Это позволяет SLM „видеть“ ключевые фрагменты молекулы.

Метод проверили на трёх популярных SLM на наборах MUTAG и Tox21. При пяти конфигурациях подсказок — от простой строки SMILES до использования всех доступных инструментов — добавление графового контекста дало существенный прирост точности. Относительное улучшение превысило 25%, а на Tox21 достигло 74%.

Дополнительно учёные доказали функциональную значимость выделенных подграфов: удаление найденных рёбер (edge-drop intervention) приводило к резкому падению точности, что подтверждает, что модель действительно ориентируется на ключевые структурные фрагменты.

Несмотря на впечатляющие результаты, SLM всё ещё уступают специализированным GNN-моделям. Это указывает как на потенциал комбинированного подхода, так и на сохраняющиеся ограничения обработки молекулярной структуры на основе текстовых последовательностей. Тем не менее, предложенный метод открывает возможность использовать более доступные SLM для задач, где раньше требовались тяжёлые нейросети.

Работа представлена в виде препринта на платформе arXiv и ещё не прошла рецензирование, но уже привлекла внимание сообщества вычислительной химии.