Разбор сбоев у роботов пошёл по видеопотоку

Google представила Gemini Robotics ER 2, модель воплощённого мышления (embodied reasoning) для роботов. Определение успеха и провала работает на сыром видео вместо статичных кадров и ловит сбои по ходу выполнения, включая пролитую жидкость, соскальзывание и смещение. По данным блога Google, робот отслеживает собственный прогресс, подстраивается при ошибке и понимает, когда переходить к следующему шагу.

Чтение приборов вышло за пределы круглых циферблатов и смотровых стёкол, добавились цифровые дисплеи, линейные шкалы, линейки и жидкостные термометры. Проверку проводили на 10 типах приборов. Пространственный VQA (ответы на вопросы по изображению) улучшился за счёт мультимодальных возможностей Gemini.