Новый метод EditSR улучшает символьную регрессию с помощью редактирования: меньше ошибок на сложных выражениях
Нейросетевые модели символьной регрессии позволяют быстрее находить математические выражения, заменяя полный структурный поиск предварительным обучением. Однако их одношаговое авторегрессивное декодирование подвержено накоплению ошибок, что приводит к генерации структурно некорректных выражений, особенно в сложных задачах.
Существующие стратегии исправления могут смягчить эту проблему, но они часто требуют перезапуска глобального поиска, что снижает эффективность нейронных моделей. Кроме того, такие подходы сами остаются чувствительными к накоплению ошибок.
В новой работе на arXiv представлен EditSR — двухуровневый фреймворк, где первый уровень выполняет предсказание с помощью нейронной сети символьной регрессии, а второй уровень — пост-хок исправление на основе редактора. Вместо перезапуска поиска редактор предварительно обучается на синтезированных цепочках преобразований.
Процесс исправления формулируется как пошаговая цепочка переходов состояний, начиная с неверного выражения. Разработан алгоритм построения таких цепочек для обучения редактора. Каждое действие редактирования ограничено синтаксически корректным пространством, чтобы каждое изменённое выражение оставалось разбираемым.
Важной особенностью является то, что каждое решение о редактировании зависит только от текущего состояния, а не от истории. Это позволяет исправлять ошибки, допущенные на предыдущих шагах, последующими правками, снижая риск накопления ошибок.
Эксперименты и абляционные исследования показали, что EditSR существенно улучшает восстановление структуры выражений при ограниченных дополнительных затратах. Наибольший прирост наблюдается на сложных выражениях, где одношаговое авторегрессивное декодирование наиболее уязвимо для накопления ошибок.
Таким образом, предложенный подход сочетает эффективность нейронных моделей с исправлением ошибок без потери производительности, что делает его перспективным для практических задач символьной регрессии.
