Исследователи призвали ставить идеи в центр машинного обучения вместо бенчмарков

Новый препринт на arXiv, вышедший в мае 2025 года, предлагает пересмотреть приоритеты в области машинного обучения. Авторы — исследователи, опубликовавшие работу под названием Ideas Should be the Center of Machine Learning Research, — утверждают, что современное развитие ML разделилось на два изолированных направления: инженерную гонку за показателями на бенчмарках и отвлечённую теорию, которая плохо переносится на реальные системы.

По мнению коллектива авторов, поле исследований слишком сосредоточено на конечных результатах — рекордах в таблицах лидеров и формальных теоремах, — упуская из виду главный научный объект: саму идею. Они предлагают концепцию Ideas First, в рамках которой идеи оцениваются по предсказываемым ими поведенческим сигналам в современных моделях, а проверка проводится через специально спроектированные эксперименты, нацеленные на выявление закономерностей, а не на победу в рейтингах.

Такой сдвиг, как указано в работе, способен не только сократить разрыв между теорией и практикой, но и сделать науку более справедливой. Авторы отмечают, что текущая система поощряет «премию за сложность» — чем больше вычислительных мощностей и финансовых ресурсов у команды, тем выше её шансы на публикацию. Переход к принципу «идеи прежде всего» позволит учёным с умеренной инфраструктурой вносить строгий научный вклад.

Текущее положение дел авторы характеризуют как «бенчмарко-центричное»: исследователи часто подгоняют методы под конкретные тесты, вместо того чтобы разрабатывать общие принципы. Предложенная методология подразумевает, что бенчмарки и теоремы должны рассматриваться как инструменты для проверки механистических гипотез, а не как самоцель.

Публикация вызвала оживлённое обсуждение в сообществе ML. Многие специалисты согласны с тезисом о перенасыщении инженерных работ, но спорят о том, как внедрить «идейный» подход на практике. Авторы не предлагают конкретных рецептов, а формулируют новый способ мышления, который, по их мнению, должен лечь в основу будущих исследований.