Anthropic показала computer use у Claude

Claude научился пользоваться компьютером. Новая версия Claude 3.5 Sonnet через подходящую программную обвязку выполняет команды пользователя: водит курсором по экрану, кликает в нужных местах и вводит текст через виртуальную клавиатуру, повторяя то, как человек работает за своим компьютером.

Почему это важно

Огромная часть современной работы идёт через компьютер. Возможность напрямую взаимодействовать с софтом так же, как это делают люди, открывает массу применений, недоступных нынешнему поколению ассистентов. Anthropic называет это следующим рубежом: модели, которым не нужны специальные инструменты, а можно дать любой кусок ПО и поставить задачу.

Как это устроено

Основой стали прошлые наработки по tool use и мультимодальности. Чтобы управлять компьютером, надо видеть и интерпретировать изображения - в данном случае скриншоты экрана. Получив доступ, Claude смотрит на скриншот и считает, на сколько пикселей по вертикали и горизонтали сдвинуть курсор, чтобы кликнуть в правильное место. Научить модель точно считать пиксели было критично, без этого она с трудом даёт команды мыши. Anthropic удивило, как быстро Claude обобщил навык после обучения всего на нескольких простых программах вроде калькулятора и текстового редактора, причём без доступа в интернет во время обучения.

Где модель сейчас

Claude - state-of-the-art среди моделей, которые работают с компьютером по-человечески, глядя на экран и реагируя действиями. На бенчмарке OSWorld он берёт 14,9%. Это далеко от человеческого уровня в 70-75%, но заметно выше 7,7% у следующей по силе модели в той же категории. Anthropic наблюдала, как модель сама исправляется и повторяет попытку, столкнувшись с препятствием.

Риски и безопасность

Computer use скорее снижает барьер для применения уже имеющихся навыков, чем добавляет новые, поэтому основные опасения - про сегодняшний вред. Модель остаётся на уровне безопасности ASL-2. Главный риск - prompt injection: вредоносные инструкции, спрятанные на сайтах, могут заставить Claude отклониться от задачи пользователя. В бете рекомендуется принимать меры предосторожности, гайд есть в референсной реализации. С учётом выборов в США Anthropic держит на контроле злоупотребления и уводит Claude от генерации и постинга контента в соцсетях, регистрации доменов и взаимодействия с госсайтами.

Что это значит

Если ты строишь автоматизацию, это смена подхода: раньше инструменты подгоняли под модель, теперь модель подгоняется под инструменты, которыми ты и так пользуешься каждый день. На старте функция медленная и подвержена ошибкам, так что критичные сценарии стоит обкатывать с осторожностью и помнить про prompt injection при доступе модели к интернету.

Вопросы и ответы

Какая модель это умеет? Обновлённая Claude 3.5 Sonnet через специальную программную обвязку.

Готово ли это к продакшену? Это публичная бета, на старте местами громоздкая и с ошибками - Anthropic ждёт быстрого прогресса.