Новый метод калибровки допусков повысил выявляемость ошибок в тензорных ядрах на 9,3 п.п.
Разработчики программного обеспечения для машинного обучения часто сталкиваются с проблемой тестирования тензорных ядер — низкоуровневых операций, критичных для производительности нейросетей. Традиционно проверки используют фиксированные значения абсолютного и относительного допуска, которые редко пересматриваются.
Исследователи из сообщества arXiv проанализировали накопленные данные облачных прогонов на GPU из корпуса gpuemu (26 записей, два типа данных, более 8 тысяч строк результатов). Они изучили распределение поэлементных ошибок для каждого тестового случая и задались вопросом: какой абсолютный допуск мог бы быть оправдан самим ядром при его корректной реализации?
Оказалось, что эмпирически найденные допуски значительно строже тех, что используются в современной практике. Например, для операции attention_triton с типом fp16 требуемый допуск оказался в 2184 раза жёстче текущего ручного значения.
Авторы применили откалиброванные допуски к семи вариантам с ошибками, характерными для LLM-моделей (для которых в корпусе есть корректная версия). Результат: полнота обнаружения ошибок выросла с 73,2% до 82,4% — абсолютный прирост на 9,3 процентного пункта, что соответствует дополнительным 229 найденным ошибкам. При этом количество ложных срабатываний среди 1882 корректных тестов увеличилось лишь с 0 до 20 (плюс 1,1 процентного пункта).
Метод показывает, что автоматическая калибровка допусков на основе реальных данных может существенно повысить качество тестирования без значительного ущерба для специфичности. Это особенно актуально для крупных моделей, где каждая ошибка может стоить дорого.
Дальнейшие исследования могут расширить методику на большее количество операций и типов данных, а также интегрировать её в стандартные конвейеры тестирования тензорных ядер.

