CenterLoss ухудшает OOD detection: новая модель GOEN ставит рекорд на CIFAR-10
Группа исследователей представила метод GOEN (Geometry-Optimised Epistemic Network), который существенно улучшает способность нейросетей распознавать незнакомые данные (out-of-distribution detection). В статье на arXiv авторы показали, что чрезмерное сжатие признаков с помощью регулярзатора CenterLoss, наоборот, вредит OOD detection.
GOEN объединяет несколько простых приёмов: использование признаков с разных уровней сети, L2-нормализацию, расстояние Махаланобиса и калибровочную головку, обученную на реальных сложных OOD-примерах. Модель обучается менее чем за 20 минут на одном GPU.
В ходе абляционного анализа авторы обнаружили неожиданный эффект: CenterLoss, широко применяемый для компактности признаков, снижает средний OOD AUROC с 0.9483 до 0.9366, хотя улучшает точность классификации. Лучший вариант GOEN-NoCenterLoss показал результат 0.9483, обойдя глубокие ансамбли (0.8827), метод KNN (0.8967) и ODIN (0.8870) на наборе CIFAR-10.
По словам учёных, это опровергает распространённое мнение о том, что лучшая геометрия классификационных признаков автоматически ведёт к лучшей оценке эпистемической неопределённости. Напротив, слишком плотные кластеры сжимают межклассовые зазоры и искажают ковариационную структуру, необходимую для эффективного детектирования выбросов.
Разработка GOEN — практический шаг к созданию ИИ-систем, которые умеют осознавать свои ограничения. Метод совместим с современными архитектурами и может быть легко внедрён для повышения надёжности моделей в критических приложениях.
