Иерархия навыков ускоряет обучение ML-агентов: 77% медалей на Kaggle
Исследователи представили систему HASTE (Hierarchical Accumulation of Skills for Transfer-Efficient ML Engineering) — Multi-Agent архитектуру, которая решает проблему «холодного старта» в конкурсах машинного обучения. Вместо того чтобы каждый раз учиться с нуля, HASTE накапливает и переиспользует знания на трёх уровнях: глобальном, доменном и специфичном для соревнования. Управляющий агент-оркестратор координирует специалистов и с помощью LLM абстрагирует знания между уровнями.
В ходе контролируемого эксперимента с фиксированным набором из 159 навыков на 8 соревнованиях Kaggle иерархическая загрузка показала 100% медальный результат. Плоская же загрузка (все навыки сразу) достигла лишь 62,5% — столько же, сколько и полное отсутствие навыков, при этом потратив вдвое больше выходных токенов.
На полном бенчмарке MLE-Bench Lite, включающем 22 соревнования Kaggle, HASTE с моделью Claude Sonnet 4.6 набрала 77,3% медалей при лимите 12 часов на конкурс. В режиме холодного старта система начинала без накопленных навыков; в «тёплых» запусках она перезагружала только глобальные и доменные навыки, что позволило сократить число итераций доработки на 52%.
Доля предложенных изменений, которые агент оставлял в итоговой версии, выросла с 42% при малом запасе навыков до 85% после накопления 50+ умений. Авторы отмечают, что более эффективная организация знаний может частично компенсировать ограничения по вычислительным ресурсам и мощности модели, повышая продуктивность ML-инженерных агентов.
Система HASTE ориентирована на практические задачи автоматизации ML-инжиниринга и может найти применение в платформах type=Data Science competitions, ускоряя разработку решений за счёт переноса опыта между задачами.
