Новый алгоритм машинного обучения выявил скрытую структуру коннектома дрозофилы
Исследователи разработали новый алгоритм для анализа разреженных матриц, который позволяет выявлять скрытую низкоранговую структуру в больших наборах данных. Работа опубликована на площадке arXiv.
Ключевая идея метода заключается в том, что разреженную неотрицательную матрицу можно представить через матрицу гораздо меньшего ранга, обнуляя её отрицательные элементы. Это указывает на математическую связь между разреженностью и рангом.
Предыдущие алгоритмы для таких разложений использовали попеременную минимизацию множителей низкоранговой матрицы, но им требовалось вычислять и хранить дополнительную матрицу, не являющуюся ни разреженной, ни низкоранговой, по размеру равную произведению исходных факторов. Это ограничивало их применение.
Новый подход использует стохастический метод чередующихся наименьших квадратов, который работает только с небольшими блоками этой плотной матрицы, что позволяет обрабатывать задачи значительно большего масштаба. Дополнительное ускорение достигается за счёт оптимизаций для разреженных операций и специализированных CUDA-ядер.
В качестве практической демонстрации исследователи применили алгоритм к разреженной матрице синаптических весов коннектома дрозофилы — нервной системы самки плодовой мухи. Матрица содержит 139 255 строк и столбцов, а её ненулевые элементы отражают количество синапсов между клетками.
Несмотря на медленно затухающий спектр сингулярных чисел, матрица демонстрирует скрытую низкоранговую структуру, которая предсказывает категории клеток на нескольких уровнях специфичности.
Разработка открывает новые возможности для обработки больших разреженных данных, особенно в нейронауке, где подобные матрицы встречаются повсеместно, и позволяет извлекать из них полезную информацию без запредельных вычислительных затрат.
