Новый метод дообучения снижает выбросы CO2 в разы без потери точности

Трансферное обучение стало стандартом в компьютерном зрении, но тонкая настройка всей модели требует значительных вычислительных затрат. Новый подход, описанный в препринте на arXiv, предлагает эффективную альтернативу, адаптирующую только слои нормализации и отделяющую процесс извлечения признаков от обучения классификатора.

Исследователи реализовали стратегию, при которой признаки извлекаются один раз и сохраняются, а затем классификатор оптимизируется с помощью специальной функции потерь с взвешиванием по границам классов. Это позволяет избежать полного обратного распространения ошибки через всю сеть, что резко снижает вычислительную сложность.

Эксперименты проводились на четырёх архитектурах свёрточных сетей (ResNet18, ResNet50, MobileNet, DenseNet121) и трёх трансформерных моделях (ViT, Swin, DeiT). В качестве тестовых данных использовались три медицинских набора: снимки МРТ опухолей мозга, гистологические изображения рака молочной железы (BreakHis) и набор PatchCamelyon для классификации тканей.

Результаты показали, что предложенный метод сокращает время обучения на порядки при минимальной потере точности. В ряде случаев точность даже превосходила базовую модель полного дообучения. Особенно значителен экологический эффект: выбросы CO2, связанные с обучением, снижаются на порядки.

Авторы подчёркивают, что такой подход особенно ценен в условиях ограниченных ресурсов — например, в клинической практике или при быстром прототипировании. Метод позволяет получать конкурентоспособные модели без дорогостоящего обучения, делая глубокое обучение более доступным и устойчивым.