Google показала Gemini для автомобилей: ИИ-помощник видит дорогу через камеру

Google показала прототип функции Gemini, которая позволяет ИИ-помощнику «видеть» дорогу через фронтальную камеру автомобиля. Демонстрацию провёл президент Android в Google Самир Самат на автомобиле Volvo EX60, который ещё не поступил в продажу. Машина работает на встроенной платформе Google с Gemini и пока остаётся единственной, поддерживающей эту опцию.

Идея напоминает режим камеры Gemini Live на Android: водитель вызывает ассистента голосом и задаёт вопрос о том, что видит автомобиль. Изображение с камеры передаётся на обработку только в момент запроса, подчеркнул Самат. Таким образом Gemini не анализирует дорогу постоянно, что должно снизить риски для конфиденциальности.

Во время теста наблюдалась заметная задержка при подключении видеопотока к Gemini. В отличие от версии на смартфоне, на экране информационно-развлекательной системы не отображалось видео — ответы звучали голосом. Несмотря на медленное время отклика, ассистент правильно распознал несколько ориентиров вокруг кампуса Google в Маунтин-Вью: публичную инсталляцию The Orb, солнечную крышу Gradient Canopy и амфитеатр Shoreline, описав их детали и архитектурную историю.

Демонстрация показывает, что Google изучает выход мультимодальных возможностей Gemini за пределы смартфонов. Помощник сможет отвечать на вопросы, основываясь на том, что видит автомобиль в данный момент, а не только на навигационных данных. Компания пока не объявила о планах массового внедрения или появлении функции в других машинах с Google Built-in.

Самир Самат отметил, что Google ищет лучший способ внедрить опцию, чтобы она была полезна в реальных поездках. В качестве примера он привёл использование Gemini для расшифровки дорожных знаков на иностранном языке. Ранее Google сделала генерацию картинок в Gemini общедоступной для всех пользователей в США.