Учёные создали аналоговые нейросети с обучаемыми нелинейными связями для энергоэффективного управления
Международная группа исследователей представила новую архитектуру физических нейронных сетей, работающих на аналоговых принципах. Работа опубликована на сервере препринтов arXiv.
Вместо традиционных скалярных весов авторы разместили на связях между нейронами обучаемые нелинейные функции, вдохновившись сетями Колмогорова — Арнольда. Эти функции реализованы в виде аналоговых полосовых фильтров на программируемых аналоговых матрицах (FPAA).
Эксперименты показали, что преимущество такой архитектуры зависит от гладкости задачи: сети отлично справляются с плавными, непрерывными целевыми функциями — кинематикой роботов, непрерывным управлением и отслеживанием точки максимальной мощности фотоэлектрических панелей. При этом требуется значительно меньше узлов и соединений, чем у многослойных перцептронов.
Однако на задачах классификации с чёткими границами решений выигрыша в эффективности параметров не наблюдалось. Авторы подчеркнули, что ключевое преимущество — перенос нелинейности на сами соединения, а не на конкретное устройство.
В ходе работы обученные сети были перенесены на аппаратное обеспечение через примерно 35 000 соединений с подтверждённой точностью. Оценка специализированной КМОП-реализации показала энергопотребление порядка 30 микроватт. Кроме того, мемристивная реализация в симуляции воспроизвела те же результаты, что говорит об общности подхода.
Разработка открывает путь к сверхэнергоэффективным нейросетям для встраиваемых систем, дронов и носимой электроники, где критичны малые размер и низкое потребление энергии.
