Новый бенчмарк MPMMine решит проблему оценки алгоритмов вывода ограничений
Исследователи из области искусственного интеллекта представили новый бенчмарк MPMMine, предназначенный для оценки алгоритмов извлечения ограничений (Constraint Acquisition) и валидации моделей математического программирования. Работа опубликована в репозитории arXiv и призвана решить давнюю проблему недостатка адекватных тестовых наборов.
Существующие бенчмарки, как отмечается в исследовании, изначально создавались для тестирования решателей, а не для оценки алгоритмов, которые автоматически строят или проверяют модели по данным. Из-за этого они плохо подходят для задач извлечения ограничений: слабо структурированы, по-разному обрабатывают одни и те же задачи и не содержат необходимых артефактов знаний предметной области.
MPMMine разработан с учётом принципов согласованности, стандартизации, полноты, расширяемости, открытости и контроля версий. Все данные представлены в открытых форматах: MiniZinc для моделей, CommonMark для документации и JSON для метаданных. Это обеспечивает лёгкую воспроизводимость и сравнение результатов между разными исследованиями.
Бенчмарк включает множество моделей для одной задачи, десятки экземпляров для каждой модели, а также тысячи решений и не-решений в целочисленных и непрерывных областях. Дополнительно присутствуют описания на естественном языке, что позволяет использовать MPMMine для методов преобразования текста в модель.
По мнению авторов, появление такого инструмента ускорит развитие методов автоматического вывода ограничений и повысит надёжность исследований в области математического программирования. Открытая лицензия и версионирование дают возможность сообществу дополнять набор новыми задачами.
MPMMine уже доступен для скачивания и может использоваться как для воспроизведения существующих экспериментов, так и для разработки новых алгоритмов. Ожидается, что бенчмарк станет стандартом де-факто в этой области.
