AdaStop: алгоритм находит 84% ошибок нейросетей при 31% затрат на разметку
При тестировании глубоких нейронных сетей (DNN) перед разработчиками часто встаёт дилемма: сколько примеров разметить? Слишком мало — упустишь ошибки, слишком много — переплатишь за маркировку. Исследователи из международной команды предложили новый метод AdaStop, который позволяет остановить процесс в оптимальный момент.
Метод основан на формализации тестирования как процесса принятия решений с учётом затрат и выгоды. Каждая размеченная единица стоит определённой суммы c, а каждая найденная неисправность приносит ценность v. AdaStop оценивает предельную скорость обнаружения ошибок и прекращает маркировку, когда она падает ниже порога ? = c/v.
Эксперименты проводились на нескольких наборах данных и архитектурах нейросетей. Результаты показали, что AdaStop способен обнаружить от 65 до 84 процентов всех неисправностей, используя лишь от 9 до 31 процента бюджета на разметку. Это означает значительную экономию ресурсов без критической потери качества тестирования.
Особенность AdaStop в том, что он не привязан к конкретным стратегиям выбора тестовых входов. Метод работает поверх существующих методов отбора, адаптируя решение об остановке под текущий поток данных. Это делает его универсальным инструментом для разных сценариев тестирования DNN.
По мнению авторов, AdaStop может быть особенно полезен в индустриальных проектах, где маркировка данных дорога и требуется баланс между полнотой тестирования и бюджетом. В будущем они планируют расширить подход на более сложные сценарии, включая онлайн-тестирование и распределённые системы.
