GNN с учётом пропусков данных улучшили точность на 22%
Пропуски в данных — распространённая проблема в реальных наборах. Традиционные методы либо удаляют неполные записи, либо применяют вменение, игнорируя возможную информативность паттернов пропусков. Новое исследование, опубликованное на arXiv, предлагает использовать графовые нейросети, которые явно кодируют, какие признаки отсутствуют, вместе с наблюдаемыми значениями.
Учёные протестировали четыре стратегии кодирования — обучаемые эмбеддинги, замороженные случайные эмбеддинги, статистические признаки и иерархические представления — на семи наборах данных из репозитория UCI с естественно встречающимися пропусками. Результаты показали, что pattern-aware методы значительно превосходят базовые модели.
Среднее улучшение по всем наборам составило 17% по сбалансированной точности и 22% по F1-macro. Однако выгоды сильно различаются: наибольший прирост отмечен на наборе annealing (+80% сбалансированной точности), тогда как на hepatitis и soybean улучшение оказалось минимальным (+4–5%).
Примечательно, что даже простые случайные эмбеддинги паттернов показали результаты, сопоставимые с обучаемыми (0,650 против 0,663 сбалансированной точности). Это указывает на то, что само различение паттернов может быть важнее целевой оптимизации.
Дополнительный анализ показал, что механизмы внимания хотя и полезны, но не критичны при наличии информации о паттернах. Простое среднее агрегирование с учётом паттернов достигло сбалансированной точности 0,640, тогда как варианты с вниманием — 0,645.
Разработанный подход может быть особенно полезен в областях, где пропуски данных неслучайны и несут дополнительную информацию, например в медицине или промышленности. Исследователи планируют дальнейшее развитие методов для работы с более сложными структурами пропусков.
