Новый язык PPDL поможет программистам оценивать уверенность LLM-приложений
Разработка приложений на базе больших языковых моделей (LLM) остаётся сложной задачей из-за недостаточной точности и отсутствия явной оценки уверенности в результатах. Эта проблема усугубляется в многошаговых потоках, где несколько вызовов LLM и других инструментов следуют друг за другом.
В новой научной работе, опубликованной в архиве препринтов arXiv, представлен язык PPDL — вероятностный язык программирования для описания потоков на основе LLM. Его цель — дать разработчикам инструмент для количественного измерения и распространения неопределённости на всём протяжении работы приложения.
Ключевая особенность PPDL в том, что он позволяет менять методы масштабирования логического вывода (inference scaling) без добавления дополнительных строк кода. Достаточно описать логику потока, а остальное язык берёт на себя.
Авторы провели экспериментальное исследование, демонстрирующее возможности подхода. Однако конкретные результаты и метрики в аннотации не раскрываются.
В качестве практического примера разработчики создали агента для доказательства теорем в интерактивном доказателе Rocq (ранее Coq). Этот сценарий требует высокой точности и строгости, что делает его показательным для проверки надёжности LLM-пайплайнов.
Новый язык может быть полезен всем, кто строит сложные мультиагентные системы или автоматизирует процессы с участием языковых моделей. Возможность явно работать с неопределённостью приближает LLM-приложения к традиционному программному обеспечению с предсказуемым поведением.
Препринт доступен под номером arXiv:2608.05234. Ожидается, что дальнейшие публикации раскроют детали экспериментов и сравнение с существующими методами.
