Вышел agrepl: инструмент для детерминированного воспроизведения AI-агентов

Исследователи опубликовали на arXiv препринт, посвящённый agrepl — новому инструменту для детерминированного воспроизведения (deterministic replay) AI-агентов. Системы, объединяющие большие языковые модели с внешними инструментами и API, по своей природе недетерминированы: вариации выборки LLM, состояние внешних API, изменения в инфраструктуре CDN и шум среды исполнения не позволяют воспроизвести предыдущий запуск агента с теми же результатами.

Существующие платформы observability фиксируют журналы выполнения, но не могут воспроизвести запуск изолированно. agrepl решает эту задачу, перехватывая все внешние взаимодействия на транспортном уровне через MITM-прокси. Взаимодействия сериализуются в структурированные трейсы, которые затем воспроизводятся в строго изолированной среде без исходящего сетевого доступа.

В работе формализована модель выполнения агента, определена функция подбора ключей запроса K(s) и доказан инвариант детерминизма. Также представлен noise-aware diff-алгоритм, классифицирующий расхождения в HTTP-заголовках на уровни сигнала и шума.

Эмпирическая оценка на пяти рабочих нагрузках (n = 250 экземпляров повторного воспроизведения) показала точность воспроизведения F = 1,0 и медианное снижение задержки на шаг на 98,3%. agrepl реализован на Go, поставляется в виде одного статического бинарного файла и лицензирован под MIT.

Как отмечают авторы, agrepl ориентирован на разработчиков, занимающихся отладкой и тестированием AI-агентов. Возможность точного повторения выполнения позволяет быстрее выявлять и исправлять ошибки, а также повышает воспроизводимость экспериментов в этой быстрорастущей области.