Как работает Computer Use

Google добавляет в приложение Gemini для Mac функцию Computer Use: она выполняет многошаговые задачи с локальными файлами, настольными приложениями и сайтами. Пользователь описывает цель, а Gemini кликает, вводит текст и перемещается по меню и формам. По словам Google, работа идёт в отдельном фоновом окне с предварительным просмотром действий в чате, поэтому экран и курсор остаются свободны.

Пользователь сам выбирает, к каким приложениям Gemini получит доступ, может следить за каждым шагом и приостановить выполнение. Перед ключевыми действиями система запрашивает подтверждение.

Примеры задач и доступность

Среди примеров Google — пакетное редактирование фотографий и 3D-сцен, заполнение форм доставки по данным из локальных PDF-файлов и создание презентаций.

Computer Use начинает распространяться сегодня на английском языке в США. Функция доступна в приложении Gemini для Mac.