Выбор энкодера решает всё: учёные пересмотрели подход к табличным данным
Мультимодальное обучение обычно требует отдельных кодировщиков для каждого типа данных. Когда речь заходит о таблицах, большинство исследователей до сих пор используют простой многослойный перцептрон (MLP). Однако новое исследование, опубликованное на arXiv, показывает, что такой подход устарел.
Авторы работы впервые оценили state-of-the-art табличные модели как энкодеры в связке с изображениями. Результаты подтвердили, что MLP значительно уступает более продвинутым архитектурам, которые уже зарекомендовали себя в табличном домене.
Главным препятствием стали модели In-Context Learning (ICL). Они показывают отличные результаты на таблицах, но для обработки экземпляров требуют меток, что усложняет единообразное встраивание обучающих и тестовых образцов. Исследователи решили эту проблему сразу для нескольких моделей из семейства ICL.
Таким образом, работа подчёркивает критическую важность выбора энкодера в мультимодальном обучении. Простые решения вроде MLP больше не отвечают современным требованиям, а учёные получили инструмент для более эффективного объединения таблиц и изображений.
Исследование доступно на arXiv под номером 2607.07756. Его результаты могут повлиять на подходы к задачам, где одновременно используются структурированные данные и визуальная информация — от медицинской диагностики до анализа рынка.
