Обучение с подкреплением объяснило навигацию водорослей: химические сети и фототаксис
Исследователи предложили новую модель навигации одноклеточных водорослей, основанную на обучении с подкреплением. В работе, опубликованной в виде препринта на arXiv, они переосмысливают фототаксис — движение к свету — как субъективный информационный процесс.
Традиционно фототаксис водорослей, например Chlamydomonas, описывали через механистические правила стимул-реакция. Однако такой подход игнорирует активное восприятие окружающей среды. Авторы предлагают рассматривать навигацию как процесс принятия решений в условиях неполной информации.
Для этого они разработали структуру, связывающую частично наблюдаемый марковский процесс принятия решений (POMDP) с динамикой биохимических реакций. В модели скрытые переменные окружающей среды оцениваются через минимальное внутреннее состояние клетки, обновляемое байесовским способом.
Ключевой элемент — использование обратного обучения с подкреплением (IRL). На основе 30 экспериментально записанных траекторий Chlamydomonas ученые вывели поведенческую цель, соответствующую наблюдаемому фототаксису. Полученная динамика сравнивалась с традиционными симуляциями (алгоритм SSA) и показала сопоставимые результаты.
Модель воспроизводит эмпирическое распределение выравнивания по свету. При этом механизм чередования «бега» и «кувыркания» возникает не как случайность, а как стратегия сбора информации: кувыркание позволяет клетке менять сенсорную конфигурацию и уменьшать неопределенность.
Работа демонстрирует, как внутриклеточные биохимические сети могут поддерживать адаптивное информационно-поисковое поведение. Это может иметь значение для понимания минимальных когнитивных процессов у живых организмов и для разработки искусственных систем управления.
