Новый фреймворк LAWFUL проверяет, действительно ли нейросеть выучила физический закон
Когда нейросеть точно предсказывает поведение физической системы, возникает вопрос: действительно ли она усвоила управляющий закон как формальное знание или просто подобрала сложную аппроксимацию? Новая работа на arXiv представляет фреймворк LAWFUL, который помогает дать ответ, анализируя внутренние вычисления модели.
Авторы выделяют четыре пробела в интерпретируемости, которые мешают проверить использование физических законов в непрерывных переменных. Это отсутствие покрывающей причинно-следственной согласованности для контрфактических сценариев, отсутствие теста области допустимости для выявленной цепи, отсутствие проверки инвариантов и запрещённого поведения закона, а также отсутствие количественной оценки того, как производная физическая величина проходит через сеть.
Фреймворк LAWFUL закрывает первые два пробела и закладывает основу для двух оставшихся. Он позволяет определить, действительно ли модель использует внутреннее представление закона на всей области его действия, а не только на участках, близких к обучающим данным.
Метод проиллюстрирован на архитектуре Mocap2Radar — трансформере, который предсказывает радиолокационные данные по данным захвата движения. Исследователи проверили, усваивает ли модель и использует ли внутри себя закон Доплера f(t) = 2v(t)/?, при том что ни f(t), ни v(t) не присутствуют в обучающих данных в явном виде.
Результаты демонстрируют, что LAWFUL способен выявлять, действительно ли сеть опирается на физический закон в своих внутренних представлениях. Это важный шаг к созданию более интерпретируемых и надёжных моделей ИИ для научных и инженерных приложений.
Разработка подобных методов особенно актуальна для областей, где ошибка модели может привести к серьёзным последствиям, например в автономных системах или медицинской диагностике. Возможность проверять, что нейросеть следует известным физическим ограничениям, повышает доверие к её решениям.
Дальнейшее развитие LAWFUL, как отмечают авторы, предполагает интеграцию проверок инвариантов и анализа потоков производных величин. Это может сделать инструмент ещё более полным для верификации физических знаний в глубоких сетях.
