NANQ: новый метод квантования для аналоговых CIM повысил точность ИИ на 8,05 п.п.
Аналоговые вычисления в памяти (CIM) считаются перспективным способом снизить энергопотребление нейросетей, однако их практическое применение сдерживается аппаратными шумами. Новый фреймворк NANQ (Noise-Floor-Aware Mixed-Precision Non-Uniform Quantization) призван решить эту проблему, адаптируя разрядность квантования под реальный уровень шума.
Традиционные методы квантования для CIM минимизируют идеальную ошибку квантования, игнорируя аппаратный шум. Это приводит к неэффективному распределению битов: часть ресурсов тратится на точность в зонах, где шум всё равно всё портит. NANQ моделирует шум, зависящий от амплитуды, на основе измерений реального массива eFlash CIM, и преобразует профиль шума в адаптивную плотность квантования.
В результате более точное разрешение выделяется для областей с низким шумом, а в шумных областях не тратятся лишние биты. Дополнительно фреймворк определяет точку насыщения точности для каждого слоя под воздействием аппаратного шума и на основе этого назначает разрядность слоёв.
Эксперименты на чипе eFlash CIM SoC показали, что при 2-битном квантовании весов NANQ повышает точность моделей зрения на 8,05 процентного пункта, а перплексию языковых моделей снижает в среднем на 54,7% по сравнению с методом PowerQuant.
Более того, смешанно-точный вариант NANQ захватывает большую часть выигрыша от дополнительных квантования ресурсов, используя всего 3,2–3,8 эквивалентных бита. Это означает, что метод может серьёзно сократить энергопотребление и площадь чипов без потери качества.
Разработка имеет значение для развития энергоэффективного ИИ, особенно на периферийных устройствах, где критичны ресурсы и автономность. Предложенный подход позволяет приблизить характеристики аналоговых CIM к цифровым ускорителям, сохраняя их главное преимущество — низкое энергопотребление.
