Новые возможности интегрируются в десктопное приложение Gemini. Функция Speak to Window позволяет диктовать команды через удержание клавиши fn, после чего модель вставляет текст или изображения непосредственно в активное окно стороннего приложения.
Magic Pointer дополняет этот процесс. Пользователь выделяет область экрана, а Gemini анализирует содержимое для последующего редактирования, суммаризации или создания нового контента на основе выбранных данных.
Функции находятся на стадии тестирования. Они расширяют взаимодействие Gemini с интерфейсом операционной системы, позволяя модели работать поверх других программ без необходимости копирования данных в отдельное окно чата.