Оптимизация затрат на ИИ в транспорте: гибридное развертывание моделей снижает расходы на 97%

Исследователи из области искусственного интеллекта представили метод Foundation Model Deployment Portfolio (FMDP) для оптимизации затрат при развертывании базовых моделей в управлении транспортными центрами (TMC). Такие центры используют большие языковые модели и модели зрения для обнаружения аномалий, составления отчетов и информирования путешественников. Задача выбора подходящей модели для каждой функции и режима развертывания при ограниченном бюджете GPU была формализована как задача смешанно-целочисленного программирования.

Авторы доказали, что FMDP является NP-трудной задачей, и предложили для её решения полиномиальный жадный эвристический алгоритм. В иллюстративном примере с пятью функциями TMC и 19 парами модель-режим FMDP определил смешанный портфель стоимостью $34 в месяц. Это на 97% ниже самого дешевого базового варианта, использующего исключительно закрытые API.

Гибридная стратегия включает маршрутизацию четырех функций через открытые API, а для пятой функции, для которой ни одна open-source модель не достигает требуемого уровня качества, — через закрытый API. Такой подход позволяет существенно экономить, не жертвуя качеством.

Дополнительный анализ безубыточности показал, что инвестиции в собственное GPU-оборудование становятся оправданными лишь при интенсивности запросов более 309 операций обработки изображений в час или при двукратном росте цен на API. Это дает практические ориентиры для транспортных операторов при планировании инфраструктуры.

Результаты исследования подчеркивают важность гибкого подбора моделей и режимов развертывания для снижения совокупной стоимости владения (TCO) в сфере управления транспортом. Разработанный метод может быть адаптирован и для других отраслей, где требуется баланс между качеством, задержкой и затратами.