Новый алгоритм обучения нейросетей для термодинамических ИИ-моделей достиг точности 95% на CIFAR-10
Исследователи представили новый алгоритм обучения глубоких нейронных сетей, предназначенных для работы на термодинамических вычислительных устройствах. В основе таких устройств лежит модель Изинга, которая обещает сверхнизкое энергопотребление при выполнении задач искусственного интеллекта. До сих пор масштабируемые методы обучения для такого оборудования были ограничены.
В новой работе авторы превратили теоретическую связь между поведением высокотемпературных систем Изинга и нейронными сетями прямого распространения в практический алгоритм обратного распространения ошибки. Это позволяет обучать глубокие сверточные сети, которые затем могут быть запущены на Ising-машинах.
Разработанные модели классификации изображений достигли точности 94,9% на наборе данных CIFAR-10 и 76,0% на CIFAR-100 при использовании бинарной выборки Гиббса. Эти результаты сопоставимы с традиционными цифровыми моделями, но с потенциалом значительно меньшего энергопотребления в процессе вывода.
Кроме того, исследователи создали математическую теорию, связывающую стоимость вывода с точностью, а также управляющую временами автокорреляции. Они вычислили асимптотические результаты, показывающие, что стоимость вывода ограничена хорошо контролируемым компромиссом с производительностью, и предложили алгоритмы для вычисления оптимальных графиков вывода.
Полученные результаты открывают путь к созданию низкопотребляющих ИИ-систем для периферийных вычислений, где энергоэффективность критична. В перспективе термодинамические модели ИИ могут стать основой для нового поколения аппаратного обеспечения, способного выполнять сложные задачи с минимальным энергопотреблением.
Авторы работы подчеркивают, что их подход является чисто обратным распространением и масштабируется на большие модели, что приближает практическое внедрение термодинамических вычислений в реальные приложения машинного обучения.
