LLM уступают классическому машинному обучению в прогнозе погодных отключений, показало исследование

Научная работа, опубликованная на платформе arXiv, оценила способность больших языковых моделей (LLM) предсказывать риск внеплановых отключений электроэнергии, вызванных погодными условиями. Исследование проводилось на данных распределительной сетевой компании в центральном Техасе, охватывающих шесть лет отключений и высокоточные метеорологические наблюдения.

Авторы сформулировали задачу как бинарную классификацию уровня риска на горизонтах прогнозирования 3, 6 и 12 часов. Они протестировали четыре zero-shot LLM (без дополнительного обучения на размеченных данных) и двух классических моделей машинного обучения с учителем. Модели получали на вход либо текущие погодные наблюдения, либо прогноз погоды.

Результаты показали, что контролируемые модели превосходят LLM по метрикам macro-F1 и precision. При этом более новые поколения LLM продемонстрировали конкурентоспособные результаты, лишь немного уступая лидерам. Авторы подчеркивают, что фокус на одних лишь метриках точности не отражает полную картину.

В отличие от классических ML-подходов, LLM обладают дополнительными преимуществами: они могут объяснять свои решения на естественном языке и легко масштабируются на разные географические территории без переобучения. Это делает их привлекательными для применения в энергокомпаниях в качестве вспомогательного инструмента.

По мнению исследователей, оптимальной практикой может стать гибридное использование LLM и классических моделей, где ML отвечает за точность, а LLM — за интерпретируемость и адаптивность. Дальнейшие работы в этом направлении помогут уточнить потенциальный вклад языковых моделей в устойчивость энергосистем.