Исследователи выявили и устранили ошибки в методах атрибуции данных на основе траекторий обучения
Группа исследователей представила систематический анализ источников ошибок в траекторных методах атрибуции данных — подходах, которые оценивают вклад каждого обучающего примера в финальные предсказания модели, отслеживая траекторию обучения. Работа, опубликованная на arXiv, выявила три категории ошибок: конфигурационные, алгоритмические и системные.
Основной конфигурационной ошибкой оказалось несоответствие оптимизатора: существующие методы по умолчанию используют SGD, тогда как современные модели (GPT-2, Llama 3.2-1B) обучаются с AdamW. Исследователи разработали AdamW-influence — модификацию, полностью учитывающую динамику AdamW. Это улучшило корреляцию Спирмена между оценённым и истинным влиянием на 10% для MLP и CNN и более чем на 300% для GPT-2 и Llama 3.2-1B.
Алгоритмическая ошибка возникает из-за аппроксимации первого порядка Тейлора. Авторы выявили, что её величина зависит от шага обучения и длины траектории, и предложили замкнутую формулу для её оценки без повторного обучения. Системные ошибки также были классифицированы, но конкретные решения для них пока не предложены.
На основе этих результатов исследователи сформулировали практические рекомендации для отбора данных. Они объединили офлайн- и онлайн-стратегии в единую K-шаговую систему прогнозирования. Оказалось, что онлайн-отбор данных с коротким горизонтом часто не уступает офлайн-методам, а оптимальный горизонт можно настраивать совместно с шагом обучения.
Работа предлагает готовый рецепт для специалистов, использующих атрибуцию данных в таких задачах, как отбор обучающих примеров, оценка ценности данных и диагностика моделей. Это повышает надёжность методов и способствует их более широкому внедрению в практику машинного обучения.
