Новый подход к оценке ИИ: синтетические профили вместо усреднения
Группа исследователей представила новый фреймворк для оценки генеративных моделей ИИ, основанный на синтетических профилях личности. Работа опубликована на arXiv (ID: 2605.31021).
Традиционные методы оценки сводят множество человеческих суждений к единому статистическому показателю, что стирает культурные, демографические и контекстуальные различия. Авторы предлагают заменить это на структурированное многообразие синтетических когнитивных профилей, эмулирующих различные точки зрения.
В рамках подхода современные генеративные архитектуры могут создавать и поддерживать эти оценочные профили с высокой согласованностью, что позволяет проводить плюралистическое бенчмаркирование. Такая система точнее отражает реальную вариативность консенсуса, существующую в обществе.
Однако анализ стабильности таких симулированных оценщиков выявил систематическую деградацию связности профиля при последовательных выводах и случайных изменениях промптов. Исследователи назвали это дрейфом состояния и семантической несоогласованностью.
Полученные данные указывают, что статические ограничения выравнивания недостаточны для поддержания устойчивого оценочного поведения. Авторы аргументируют необходимость внедрения динамических регуляторных механизмов для сохранения когерентной эмуляции.
Работа предлагает рассматривать оценку на основе персон как структурированную динамическую систему над латентными многообразиями представлений. Это закладывает основу для более адаптивных и контекстно-чувствительных методов оценки ИИ, ориентированных на человека.
