SimGym: симуляция A/B-тестов в e-commerce сокращает время с недель до часа

Исследователи представили SimGym — фреймворк для симуляции A/B-тестов на витринах интернет-магазинов с помощью агентов на базе vision-language моделей (VLM). Система работает в реальном браузере и позволяет оценивать изменения интерфейса без привлечения реальных покупателей.

SimGym состоит из трех ключевых компонентов. Первый — генерация профилей покупателей на основе производственных данных кликов: система извлекает архетипы и намерения пользователей. Второй — архитектура агента, работающего в браузере и сочетающего мультимодальное восприятие (визуальное и структурированное) с эпизодической памятью и защитными механизмами для проведения связных сессий на контрольной и тестовой версиях магазина. Третий — протокол оценки, который сравнивает смоделированные сдвиги с наблюдаемыми изменениями в реальном поведении покупателей.

Фреймворк был валидирован на A/B-тестах визуально-driven изменений тем интерфейса, проведенных крупной e-commerce платформой на разных магазинах и категориях товаров. Результаты показали, что агенты SimGym достигают высокой согласованности с реальными изменениями: 77% направленного совпадения с изменениями добавления товаров в корзину, которые наблюдались у живых покупателей при переключении между вариантами интерфейса.

Главное преимущество SimGym — радикальное сокращение времени экспериментов: цикл, который обычно занимает от нескольких недель, теперь выполняется менее чем за час. Это позволяет проводить быстрые итерации и тестировать множество гипотез без риска ухудшить пользовательский опыт реальных посетителей.

Таким образом, SimGym предлагает практический подход к ускорению A/B-тестирования в электронной коммерции, используя современные мультимодальные ИИ-агенты и данные о поведении покупателей. Разработка может быть полезна для платформ, стремящихся быстрее внедрять изменения в пользовательский интерфейс, сохраняя при этом качество обслуживания.