Orbit expansion: новый метод аугментации данных для байесовских нейросетей

Симметрии играют важную роль во многих задачах глубокого обучения — от научных приложений до медицинской визуализации. Однако до сих пор ведутся споры о том, стоит ли встраивать симметрии напрямую в архитектуру нейросети (создавая эквивариантные сети) или учить их с помощью аугментации данных. Новое исследование, опубликованное на arXiv, проливает свет на этот вопрос, изучая аугментацию для байесовских нейронных сетей, обучаемых вариационным выводом.

Авторы работы сосредоточились на вариационных распределениях из экспоненциального семейства. Они вывели условия, при которых аугментация данных приводит к точной эквивариантности модели, а также получили оценки ошибки эквивариантности. На основе этих результатов были разработаны три оригинальные техники симметризации, усиливающие эффект аугментации.

Наиболее эффективным из предложенных методов оказалось орбитальное расширение (orbit expansion). Этот подход превзошел базовый уровень (baseline) как по показателям эквивариантности, так и по общей производительности. Эксперименты проводились на различных наборах данных, и результаты подтвердили преимущество новой техники.

Традиционно эквивариантные сети хорошо изучены теоретически, но аугментацию анализировать сложнее, поскольку она требует контроля над динамикой обучения. Новая работа восполняет этот пробел, предлагая теоретические обоснования и практические инструменты для улучшения байесовских нейросетей с помощью симметрий.

Код для воспроизведения экспериментов доступен на GitHub, что позволяет другим исследователям легко проверить результаты и применить методы в своих проектах. Исследование может найти применение в областях, где критичны инвариантность и устойчивость модели, например в компьютерном зрении и обработке естественного языка.