Новый стандарт IEEE P3109: арифметические форматы для машинного обучения
Институт инженеров электротехники и электроники (IEEE) опубликовал проект стандарта P3109, посвящённый арифметическим форматам для машинного обучения. Документ размещён на arXiv и описывает параметризованное семейство бинарных форматов с плавающей запятой, оптимизированных для эффективного представления чисел в битах малой разрядности.
Стандарт определяет форматы, параметризуемые шириной и точностью в битах, знаковостью, а также наличием бесконечностей. Операции с числами строятся на основе декодирования значений в расширенное множество действительных чисел, дополненное плюс и минус бесконечностью и NaN. Явная обработка NaN и бесконечных операндов гарантирует, что при определении операций используется только действительная арифметика.
Особое внимание уделено режимам округления и насыщения — они включают стохастическое округление, что актуально для обучения нейросетей. Операции являются безысключительными, что ускоряет вычислительный конвейер; исключительные ситуации передаются через возвращаемые значения, например, NaN. Также определены операции над блоками значений с общим масштабным коэффициентом.
Для описания приближённых реализаций вводится новая масштабно-инвариантная мера, аналогичная единицам в последнем разряде (ulp), — так называемое kappa-приближение. Этот показатель позволит разработчикам аппаратного обеспечения оценивать точность приближённых вычислений единообразно.
Разработчики стандарта подчёркивают, что определения функций и различные свойства механически верифицированы и сгенерированы с использованием формальных спецификаций. Это повышает надёжность и снижает риск ошибок в реализации.
Проект стандарта находится на стадии обсуждения. Ожидается, что после доработки он будет способствовать унификации аппаратной поддержки машинного обучения, уменьшению энергопотребления и повышению производительности за счёт использования специализированных числовых форматов.
