Авторы arXiv-статьи предложили кредитную систему для улучшения рецензирования в ML
В сообществе машинного обучения вышла позиционная статья, предлагающая реформировать систему рецензирования научных работ. Авторы документа, размещенного на arXiv под номером 2608.14571, утверждают, что текущие меры — вежливые рекомендации в приглашениях к подаче работ и руководствах для рецензентов — не работают.
Проблема стала особенно заметной на фоне роста числа заявок, ужесточения правил взаимного рецензирования и распространения платформ вроде OpenReview. По данным авторов, почти каждый участник процесса сталкивается с неприятным опытом рецензирования, но публичного пространства для обсуждения того, как сделать систему эффективнее, практически нет.
В статье выделяются два ключевых вопроса: как разумно ограничить объем подаваемых работ и как стимулировать хорошие отзывы, отсекая при этом плохие. Исследователи оценивают сильные и слабые стороны существующих попыток решить эти задачи, разбирают четыре подхода к популярным механизмам конференций и предлагают две альтернативные конструкции для улучшения.
Главная идея — внедрение выполнимых процедурных гарантий в сочетании с валютно-подобной кредитной системой. Авторы предлагают систему OpenReview Points: участники зарабатывают баллы за качественное рецензирование и могут тратить их на одной или нескольких крупных конференциях, например, на бесплатную регистрацию или право запросить дополнительные ресурсы для рецензирования.
По мнению авторов, такой подход смещает фокус с добрых пожеланий на измеримые стимулы. Баллы накапливаются и используются в разных конференциях, что создает для рецензентов понятную экономическую логику. Статья носит характер приглашения к дискуссии о будущем рецензирования в машинном обучении.
