Новый алгоритм Degeneracy Distillery автоматически распутывает скрытые связи параметров ИИ-моделей

Группа учёных разработала метод Degeneracy Distillery для автоматического выявления и разрешения вырожденных комбинаций параметров в моделях машинного обучения. Вырожденность возникает, когда разные наборы параметров или меток приводят к схожим данным, что затрудняет как предсказание, так и обратные задачи.

Как поясняется в статье на arXiv, существующие подходы часто не справляются с этой проблемой, особенно в физических моделях и реальных наборах данных. Новый метод использует оценку и выравнивание матрицы информации Фишера, что позволяет работать только с парами параметр-данные без необходимости наблюдения реальных данных.

Degeneracy Distillery автоматически находит символьные координатные преобразования, определяющие комбинации параметров, которые оказывают независимое влияние на данные. В отличие от байесовских методов, работающих лишь в одной точке, предложенный подход выравнивает информацию Фишера глобально.

Тестирование на синтетических и реальных задачах показало, что метод сокращает количество симуляций, необходимых для обучения нейросетевых апостериорных оценок, до 10 раз при сохранении точности. При этом он даёт дополнительное понимание физической системы.

Разработка может быть полезна в научных расчётах, где каждый запуск симуляции дорог, а также в областях с высокими требованиями к интерпретируемости моделей. Авторы отмечают, что метод выявляет внутренние свойства модели, не требуя конкретных наблюдений.

Таким образом, Degeneracy Distillery представляет собой шаг к более эффективному и прозрачному машинному обучению, снижая вычислительные затраты и одновременно углубляя понимание моделируемых процессов.