Учёные сравнили методы оценки неопределённости в астрономии на основе модели AION-1
Астрономы и специалисты по машинному обучению провели сравнительное исследование методов количественной оценки неопределённости (UQ) при использовании фундаментальной модели AION-1 для прогнозирования свойств галактик. Результаты опубликованы на arXiv.
Модель AION-1 предоставляет представления (embeddings) на основе данных астрономических обзоров, которые могут применяться для регрессии — оценки таких параметров, как красное смещение, звёздная масса, возраст звёздного населения, металличность газа и удельный темп звездообразования. Однако для научных выводов важны не только точечные предсказания, но и надёжная оценка неопределённости.
В работе сравнили семь методов UQ на замороженных эмбеддингах AION-1, используя данные Legacy Survey и спектры DESI с метками PROVABGS. Среди методов были конформные (distribution-free) и неконформные подходы, такие как Deep Ensembles и MC Dropout.
Беспараметрические конформные методы достигли маржинального покрытия в пределах примерно 1% от номинальных 90% для всех свойств. В то же время неконформные базовые алгоритмы не смогли обеспечить надёжную калибровку.
Среди конформных подходов наилучшее покрытие в бине с самыми слабыми прогнозами модели показал метод CQR (Conformalized Quantile Regression). Однако самым эффективным оказался фреймворк LVD (Locally Valid and Discriminative), особенно при работе на эмбеддингах AION-1.
LVD обеспечивает не только маржинальные гарантии, но и локальную валидность — доверительные интервалы адаптируются к сложности предсказания для каждой конкретной галактики. Это делает его предпочтительным выбором для задач астрофизики, где важна точность на уровне отдельных объектов.
Авторы заключают, что конформное прогнозирование, и в частности LVD, становится стандартом для оценки неопределённости в фундаментальных моделях астрофизики. Это открывает путь к более надёжным автоматизированным анализам больших астрономических наборов данных.
