Нейросети KAN 2.0: устойчивость к шуму оказалась следствием регуляризации, а не архитектуры
Новое исследование, опубликованное на arXiv, ставит под сомнение одно из ключевых преимуществ нейросетей типа Kolmogorov–Arnold (KAN 2.0) — их устойчивость к шуму. Авторы протестировали KAN, Multi-Layer Perceptron (MLP) и XGBoost на задаче классификации 100 000 объектов из обзора SDSS DR17 (звёзды, галактики, квазары).
На первый взгляд KAN действительно показал лучшую устойчивость: при отношении сигнал/шум (SNR) 5 он сохранял на 9 процентных пунктов выше точность, чем MLP. Однако после выравнивания базовой точности с помощью weight decay (регуляризации весов) разрыв практически исчез — при всех уровнях SNR MLP и KAN отличались не более чем на 1 п.п., как с использованием спектроскопического красного смещения, так и без него.
Аналогичные результаты были получены на независимой выборке DESI DR1 с другими фотометрическими полосами. Таким образом, помехоустойчивость KAN объясняется не архитектурой, а неявной регуляризацией, которую обеспечивают гладкие B-сплайновые активации (C?-гладкость).
Последующий анализ по классам показал, что звёзды деградируют быстрее всего (F1 падает с 0.97 до 0.75 при SNR=5), тогда как точность для квазаров остаётся стабильной. Сравнение интерпретируемости моделей выявило, что встроенная важность признаков KAN и SHAP-значения для MLP дают разные рейтинги (коэффициент Спирмена -0.37), отражая взаимодополняющие аспекты классификации.
Использование цвет-индексных признаков (u-g, g-r, r-i, i-z) расширило относительное преимущество KAN, а гибридный конвейер, направляющий неопределённые прогнозы MLP в KAN, улучшил точность при низком SNR. Авторы заключают, что основное реальное преимущество KAN — встроенная интерпретируемость, а не помехоустойчивость как таковая.
