Дробные оптимизаторы и фрактальные активации: что показал эксперимент на arXiv

На arXiv опубликовано эмпирическое исследование, посвящённое взаимодействию двух перспективных направлений в обучении нейронных сетей: дробных оптимизаторов и фрактальных функций активации. Авторы проверили, насколько эти подходы дополняют друг друга при решении прикладных задач.

Дробные оптимизаторы расширяют классические методы первого порядка за счёт производных дробного порядка и эффектов памяти. Фрактальные активации, в свою очередь, вводят многомасштабное нелинейное представление на основе самоподобных функций типа Вейерштрасса и Бланманже. До сих пор эти два подхода изучались в основном независимо.

В работе использованы стандартные тестовые поверхности Ackley и Himmelblau, а также их варианты с аддитивными возмущениями Вейерштрасса. Затем модели проверялись на полносвязных нейросетях с обычными и фрактальными активациями на десяти наборах данных для классификации. Сравнение включало классические методы, регуляризационные оптимизаторы, а также дробные оптимизаторы с явной и адаптивной памятью.

Результаты показали, что комбинации дробной оптимизации и фрактальных активаций дают полезный, но ограниченный эффект. Например, регуляризационный стиль дробного масштабирования хорошо показал себя при обучении сетей с отдельными фрактальными функциями. При этом память Грюнвальда–Летникова оказалась наиболее востребованной на возмущённых поверхностях.

Важным наблюдением стало то, что адаптивная память в ряде случаев превосходит простую подстановку памяти. Это указывает на перспективность управляемого дробного запоминания, но не как универсальной замены стандартных подходов, а как инструмента для конкретных сценариев обучения.

Таким образом, исследование уточняет границы применимости двух модных техник и предлагает практические ориентиры для их совместного использования. Дальнейшие работы могут быть направлены на более глубокое изучение механизмов взаимодействия памяти и нелинейных представлений.