Исследование: подсказки помогают GPT-4.1, но мешают GPT-5-mini в экономике
Группа исследователей представила работу, посвящённую влиянию структурированных рассуждений на стратегическое экономическое мышление больших языковых моделей. В качестве тестовой среды использовалась модель линейного города Хотеллинга — классическая задача о пространственной конкуренции.
В эксперименте участвовали две модели OpenAI: GPT-4.1-mini (стандартная модель, следующая инструкциям) и GPT-5-mini (оптимизированная для рассуждений). Для каждой модели применили пять сценариев — базовый (без дополнительных подсказок) и четыре варианта с разными видами подсказок. Всего было получено 720 индивидуальных оценок ответов на восемь вопросов.
Главный результат — статистически значимое перекрёстное взаимодействие между типом подсказки и архитектурой модели. Например, подсказка, основанная на обязательствах (commitment scaffolding), улучшила показатели стандартной модели на 0,21 балла, но ухудшила показатели модели для рассуждений на 0,63 балла. Обратная картина наблюдалась при использовании подсказки, основанной на принципе разделения (principled separation): стандартная модель потеряла 0,40 балла, а модель для рассуждений выиграла 0,31 балла.
Особый интерес представляет эффект стресс-тестирования с враждебными примерами (adversarial stress-testing). Обе модели показали снижение результатов, но модель GPT-5-mini пострадала сильнее: падение составило 1,47 балла против 0,57 у GPT-4.1-mini, что в 2,6 раза больше. Причём ущерб коррелировал с исходной сложностью задачи.
Также авторы зафиксировали разрыв между декларативным и процедурным знанием: обе модели правильно называли верную стратегию гораздо чаще, чем могли её применить. Подсказка на основе принципа разделения полностью устраняла этот разрыв у GPT-5-mini, но ни одна из подсказок не помогла стандартной модели.
Работа демонстрирует, что эффективность подсказок сильно зависит от архитектуры модели, и универсального решения не существует. Результаты могут быть полезны при разработке методов улучшения экономических рассуждений в ИИ.
