Аватар Gemini 3.8 Live не замолкает, пока ищет данные

Экранный персонаж Live Avatar остаётся в разговоре, пока агент в фоне вызывает инструменты и достаёт данные. Google 24 сентября сделала его общедоступным в Gemini Enterprise как расширение Gemini 3.8 Live. Подробности и демо собрал Testingcatalog.

Сама Gemini 3.8 Live вышла 15 сентября в Gemini API и Google AI Studio, за неделю до аватара. Среди сценариев для Live Avatar Google называет клиентскую поддержку и пошаговое сопровождение, когда агент ведёт человека через процесс. В демо несколько персонажей, разговор почти в реальном времени, смена языка посреди беседы и регистрация гостя в отеле.

Сцена в отеле держится на асинхронных вызовах инструментов: аватар продолжает говорить, пока агент получает данные. Персонаж остаётся в кадре, а всё нужное для заселения подтягивается в фоне, и агент выполняет задачу, не выпадая из разговора.

Устройство описано в документации Google Cloud. Модель работает через двунаправленный WebSocket и с задержкой меньше секунды принимает речь, поток с камеры и трансляцию экрана. На выходе звук 24 кГц и синхронизированное видео аватара с частотой 24 кадра в секунду. Видео приходит MP4-потоком, генерируется прямо из выхода модели и включается параметром response_modalities=["VIDEO"]. Губы и мимика подстраиваются под синтезированную речь в реальном времени.

Live Avatar сделала команда Gemini Audio Team, и диалоговые возможности модели в нём напрямую связаны с видео с низкой задержкой. Google обещает точную синхронизацию губ, естественную мимику и плавную смену очереди в разговоре, чтобы беседа больше походила на общение лицом к лицу.

Синхронизация речи, по словам Google, охватывает 97 языков. При смене языка губы и мимика перестраиваются, а система рассчитана на переход без потери качества видео и без заметного дрейфа изображения.

Персонажа можно взять из библиотеки готовых или собрать фирменного по качественному референсному изображению. По словам Google, такой аватар сохранит сходство с исходником, визуальный стиль или узнаваемость персонажа и при этом будет полностью анимирован и отзывчив. Создать своего аватара пока могут только компании из белого списка, хотя базовый продукт общедоступен. За инструкциями по развёртыванию Google отправляет разработчиков к карточке модели и документации API.

По словам Google, в релиз вошли меры защиты, которые должны уважать идентичность людей, а в аудио и видео встроен водяной знак SynthID. Незаметная метка, как объясняют в компании, нужна, чтобы созданный ИИ материал можно было распознать и чтобы снизить риск дезинформации и ложного приписывания авторства.