Новый алгоритм SynGAP решает проблему катастрофического забывания ИИ
На arXiv появилось описание нового алгоритма непрерывного обучения SynGAP (Synaptic Geometric Adaptive Preconditioning). Он позволяет нейросетям осваивать новые данные, не забывая ранее полученные знания, и не требует разметки по задачам.
Проблема катастрофического забывания давно мешает нейросетям работать в нестационарных условиях. Классические решения либо нуждаются в информации о том, к какой задаче относятся данные, либо требуют значительных затрат памяти. Авторы исследования предлагают взглянуть на обучение как на оптимизационный процесс, вдохновлённый биологической метапластичностью.
Суть метода SynGAP в том, чтобы использовать экспоненциально скользящее среднее матрицы информации Фишера по непрерывному потоку данных. Динамическое состояние метапластичности превращается в ограниченную мультипликативную маску, которая регулирует градиенты и выборочно ослабляет обновления для критически важных исторических параметров.
Эксперименты на бенчмарке Split CIFAR-100 показали, что SynGAP в четыре раза точнее подхода EWC++ и почти на 10% превосходит Experience Replay. При этом совокупный показатель забывания снижается более чем на 10% по сравнению с обоими методами.
На тесте CORe50 алгоритм достиг точности около 68%, что на 10% лучше по сравнению с базовыми оптимизаторами. Эти результаты подтверждают, что предложенный подход хорошо работает при ограниченном объёме памяти и вычислительных ресурсов.
Разработчики подчёркивают, что формализация биологической метапластичности как стабильной регуляризации градиентов открывает путь к созданию более надёжных и энергоэффективных систем искусственного интеллекта для периферийных устройств.
