Google Magic Pointer: курсор отправляет скриншоты в Gemini

Android Authority вскрыл APK Google и нашёл там кое-что неожиданное: новый курсор Magic Pointer для будущих ноутбуков Googlebook построен почти полностью на текстовых промптах к Gemini, а не на обычном коде.

Как это работает

Традиционный курсор при клике запускает заранее написанный код. Magic Pointer делает иначе: он захватывает фрагмент экрана и отправляет его вместе с текстовым промптом в Gemini. Модель анализирует содержимое и предлагает до трёх вариантов действий в виде подсказок-чипов.

Действия разбиты на четыре категории: understand, transform, ideate и execute. Magic Pointer сам выбирает, что предложить, исходя из того, что видит на экране.

Системный промпт - слово в слово

Код оказался не зашифрован, как обычно бывает с APK Google, а открытым текстом. Вот реальный системный промпт, который управляет поведением Magic Pointer:

You are the intelligence behind the Magic Pointer for Android laptop OS feature. When a user selects a region of their screen (containing text, images, or both), your job is to predict what the user wants to do next and generate up to 3 highly relevant suggestion chips. These chips act as direct prompts into Gemini. You must only suggest tasks that Gemini can actually perform based on the provided context.

Google задал несколько ограничений - например, использовать гендерно-нейтральный язык и «культурно уместные» ответы. Но эти правила тоже прописаны промптами, а не жёстким кодом. Значит, модель всё равно может ответить неожиданно или неуместно.

Как запустить и настроить

По данным teardown-а:

• Magic Pointer - отдельное приложение, не часть ОС. Пользователь подключает его по желанию.
• Требуется, чтобы Google-приложение было настроено как ассистент по умолчанию.
• Вызвать курсор можно покачав мышью или нажав клавиатурный шорткат.
• Чувствительность к покачиванию настраивается или отключается.

По данным Tech, демо на AI Studio показывает, как Magic Pointer указывает на London Eye в Google Maps и предлагает действия: «Show me this» и «How do I get here».

Открытый вопрос про приватность

Главное, что Google так и не объяснил: куда именно уходит скриншот твоего экрана - на локальную модель Gemini Nano или в облако? Это принципиально разные сценарии с точки зрения приватности. Пока ответа нет.

Что это значит для разработки ПО

Magic Pointer - первый публично задокументированный случай, когда Google строит пользовательский интерфейс целиком через промпт-инжиниринг, а не код. Обновить функцию можно будет просто изменив текст промпта.

Оборотная сторона: если Google когда-нибудь разрешит пользователям менять промпты самим, это откроет дыры для prompt injection или бесплатного доступа к Gemini-моделям в обход ограничений.

Что это значит

Если ты следишь за тем, как ИИ встраивается в продукты, - это показательный кейс. Граница между «написать промпт» и «написать код» стирается быстрее, чем кажется. И вопрос «что происходит с данными с экрана» теперь актуален не только для браузерных расширений, но и для самого курсора.

Пока Googlebook не вышел, можно попробовать два официальных демо Magic Pointer в Google AI Studio: редактирование изображения и взаимодействие с Google Maps.

Источник: Forbes, Пол Монктон, 16 июля 2025. Оригинальный teardown - Android Authority.