Детерминированный горизонт: невозможность ИИ стала правилом проектирования

Исследователи представили работу, в которой фундаментальные теоретические ограничения искусственного интеллекта — от теорем Тьюринга и Эрроу до «No Free Lunch» — превращаются в практические правила проектирования. Автор предлагает подход, при котором невозможность становится конструктивным руководством для создания доверенных ИИ-систем.

Ключевой результат — введение «детерминированного горизонта» (Deterministic Horizon). Это предел точности, который зависит исключительно от архитектуры нейросети: после определённой глубины рассуждений никакое дополнительное обучение (ни больше данных, ни изменение функции потерь) не может его сдвинуть. Для двенадцати архитектур трансформеров этот горизонт измерен в диапазоне от 19 до 31 слоя.

Механизм явления — инвариант ёмкости остаточного потока (residual stream). Даже тонкая настройка на оптимальных по длине треках восстанавливает не более четырёх процентных пунктов точности. Информационно-теоретический анализ показывает сверхэкспоненциальное падение точности за пределами горизонта.

Работа также включает результат по модульному возведению в степень: доказана безусловная нижняя граница сложности схем для константно-глубинных схем с простым модулем. Этот же аргумент переформулирован для других областей: обучение предпочтениям при любой ошибочной спецификации модели скачкообразно меняет сложность выборки; многокаскадные пайплайны поиска требуют как минимум столько же независимых метрик, сколько этапов; стандартные правдивые аукционы не работают для агентов с зависимыми от промпта оценками.

Отдельно рассматривается верификация нейросетевых вычислений с нулевым разглашением — накладные расходы составляют от 110 до 190 раз на нелинейную активацию. Всего предложено 16 спецификаций, каждая из которых включает вычислимую границу, количественную оценку стоимости нарушения и конструктивное правило дизайна. Две композиции доказаны, одна пара представляет собой честное препятствие, четыре остаются открытыми.

Автор предлагает методологию «невозможность-спецификация» как часть исследовательской программы по созданию доверенного ИИ. Каждое фундаментальное ограничение, по его мнению, может быть преобразовано в правило проектирования, делая системы более предсказуемыми и надёжными.