Новый метод HDE-Net улучшает классификацию табличных данных, обходя GBDT на 30 датасетах
Классификация табличных данных традиционно опирается на локальные правила и условные разбиения, но глубокие нейронные сети (DNN) в основе своей работают с гладкими евклидовыми представлениями. Это несоответствие мешает DNN эффективно моделировать дискретные, древовидные структуры, характерные для многих табличных задач.
Чтобы решить эту проблему, ученые разработали HDE-Net — нейронную сеть с ограничениями многообразия, которая переносит иерархическое принятие решений в гиперболическое пространство. В основе подхода лежат латентные узлы решений (LDN), которые кодируют различные семантические признаки и вкладываются в шар Пуанкаре, образуя непрерывное представление, напоминающее деревья решений.
Для числовых признаков авторы ввели механизм мягкого выбора маршрутов (Soft Decision Routing), который аппроксимирует локальные правила диапазонов дифференцируемым образом. Это позволяет сблизить семантику LDN числовых и категориальных признаков.
Дополнительно алгоритм распределения емкости с учетом энтропии адаптивно подбирает количество LDN для каждого числового признака, балансируя выразительность и сложность. Такой подход позволяет сети автоматически находить нужную глубину и разветвленность.
На эталонном бенчмарке TALENT-tiny-core, включающем 30 датасетов, HDE-Net достиг лучшего среднего ранга среди всех участников. Он превзошел как промышленные GBDT (градиентный бустинг), так и современные табличные DNN, при этом сохранив высокую эффективность по времени обучения и вывода.
Разработка открывает путь к более точным и интерпретируемым нейросетевым моделям для табличных данных — от кредитного скоринга до медицинской диагностики. Авторы планируют адаптировать метод для работы с очень большими наборами признаков и интегрировать его в популярные фреймворки машинного обучения.
