SechKAN: Новая архитектура нейросетей на основе гиперболического секанса превосходит MLP по точности
Разработчики из международного коллектива представили SechKAN – новую архитектуру нейронных сетей, построенную на принципах сетей Колмогорова-Арнольда (KAN). В основе предложенного подхода лежит использование гиперболического секанса (sech) в качестве базисной функции, что обеспечивает гладкую колоколообразную форму, локальную реакцию и стабильные градиенты.
В отличие от классических многослойных перцептронов (MLP), сети KAN используют обучаемые одномерные функции вместо фиксированных нелинейностей. SechKAN развивает эту идею, применяя одномерные линейные преобразования для сокращения числа параметров. Благодаря этому архитектура сохраняет размер, сопоставимый с MLP, но при этом, как показали эксперименты, превосходит их по точности.
Эффективность SechKAN была оценена на наборах данных MNIST, Fashion-MNIST, CIFAR-10 и CIFAR-100. Во всех задачах классификации изображений сеть показала улучшенные результаты по сравнению как с обычным MLP, так и с другими вариантами KAN. Кроме того, архитектура успешно справилась с задачами регрессии, включая решение уравнений в частных производных (PDE).
Авторы отмечают, что SechKAN, хотя и работает быстрее других KAN-вариаций, всё же немного уступает MLP по времени выполнения. Тем не менее, выигрыш в точности делает его перспективной заменой в сценариях, где качество модели важнее скорости инференса.
Публикация сопровождалась препринтом на arXiv, где подробно описаны математические основы и результаты численных экспериментов. Новый подход может найти применение в научных вычислениях и задачах, требующих высокой точности при ограниченных вычислительных ресурсах.
