SkillSmith сокращает расход токенов для ИИ-агентов на 57%

Группа исследователей разработала фреймворк SkillSmith, призванный оптимизировать работу агентов на базе больших языковых моделей (LLM). Традиционно такие агенты используют навыки, встраивая их в контекст при каждом вызове, что ведёт к избыточному потреблению токенов и повторным циклам рассуждений.

SkillSmith предлагает принципиально иной подход — компиляцию навыков на этапе подготовки. Вместо того чтобы передавать агенту всю информацию о навыке, фреймворк извлекает из него только необходимые операционные границы. Во время выполнения агент динамически обращается лишь к релевантным компонентам, избегая лишнего контекста и избыточного планирования.

Эффективность решения была проверена на бенчмарке SkillsBench. По сравнению с использованием сырых навыков, SkillSmith сократил потребление токенов на этапе решения на 57,44%, количество итераций мышления — на 42,99%, а время выполнения — на 50,57% (ускорение в 2,02 раза). Пропорционально снизилась и денежная стоимость затрат.

Дополнительным преимуществом стала возможность повторного использования скомпилированных артефактов: более мощная модель может подготовить навыки, которые затем с успехом применяют менее производительные модели в рантайме. В некоторых случаях это даже повышает точность по сравнению с прямым использованием сырых навыков.

Исходный код и данные проекта опубликованы на GitHub. SkillSmith может стать шагом к более эффективным и экономичным ИИ-агентам, особенно в сценариях с ограниченными вычислительными ресурсами.