Спекулятивный макро-коммит ускоряет ИИ-агентов с инструментами до 44,9%
Исследователи представили новый механизм Speculative Macro Commit (SMC), который существенно ускоряет работу ИИ-агентов на основе больших языковых моделей, применяющих внешние инструменты. Метод сокращает время ожидания в циклах действий и наблюдений, которые традиционно выполняются последовательно.
В двухуровневой системе работает большая авторитетная модель (в эксперименте Qwen3.5-27B INT4), формирующая официальную траекторию, и быстрая спекулятивная модель-черновик (Qwen3.5-4B), которая заранее предсказывает и исполняет будущие цепочки действий на изолированной копии окружения.
SMC автоматически извлекает из обучающих данных часто повторяющиеся последовательности действий и сохраняет их в библиотеке макросов. Во время выполнения, когда следующий шаг основной модели совпадает с одним из предсказанных черновиком действий, система принимает уже предвыполненные шаги вместе с их наблюдениями в официальную траекторию.
Такой подход позволяет переиспользовать многошаговое спекулятивное выполнение, а не ограничиваться отдельными действиями. Авторы отмечают, что он особенно эффективен для задач, требующих множества серийных вызовов инструментов.
В тестах на подмножестве Telecom бенчмарка ??-Bench SMC показал снижение задержки на 10,23% по сравнению с базовым методом Speculative Actions (SA) и на 18,59% по сравнению с последовательным выполнением, сохранив при этом уровень точности. На другом бенчмарке, AppWorld, выигрыш составил 7,7% относительно SA и 44,9% относительно последовательного выполнения, с небольшим снижением полноты выполнения задач.
По мнению разработчиков, SMC представляет собой практичный способ сократить время отклика инструментальных ИИ-агентов и повысить эффективность их работы. Исходный код метода опубликован на GitHub.
