Anthropic выпустила Claude 3.5 Sonnet

Claude 3.5 Sonnet - первый релиз в семействе Claude 3.5. Модель подняла планку по интеллекту, обойдя конкурентов и Claude 3 Opus на широком наборе оценок, при скорости и цене модели среднего уровня.

Производительность и цена

Claude 3.5 Sonnet задал новые отраслевые рекорды по рассуждениям уровня аспирантуры (GPQA), знаниям уровня бакалавриата (MMLU) и навыкам кода (HumanEval). Модель лучше улавливает нюансы, юмор и сложные инструкции и хорошо пишет тексты с естественным тоном. При этом она работает вдвое быстрее Claude 3 Opus. Цена - $3 за миллион входных токенов и $15 за миллион выходных, окно контекста 200K. Доступ открыли бесплатно на Claude.ai и в приложении для iOS, а также через Anthropic API, Amazon Bedrock и Google Cloud Vertex AI.

Код и зрение

Во внутренней оценке агентного кода Claude 3.5 Sonnet решил 64% задач против 38% у Claude 3 Opus. Тест проверяет способность исправить баг или добавить функциональность в open-source кодовую базу по описанию на естественном языке. С нужными инструментами модель может самостоятельно писать, редактировать и выполнять код, а также переводить код между языками - что полезно для обновления legacy-приложений и миграции кодовых баз. Это также сильнейшая на тот момент vision-модель Anthropic, превзошедшая Claude 3 Opus на стандартных vision-бенчмарках, особенно в чтении графиков и точной расшифровке текста с неидеальных изображений.

Artifacts

Вместе с моделью Anthropic представила Artifacts на Claude.ai. Когда ты просишь Claude сгенерировать контент - сниппеты кода, текстовые документы или дизайны сайтов, - они появляются в отдельном окне рядом с диалогом. Получается рабочее пространство, где можно видеть, редактировать и развивать созданное моделью в реальном времени. Anthropic описала это как переход Claude от разговорного ИИ к совместной рабочей среде, с планами добавить командную работу.

Безопасность

Несмотря на скачок в интеллекте, по итогам red-teaming Claude 3.5 Sonnet остался на уровне ASL-2. Anthropic привлекала внешних экспертов, передавала модель Институту безопасности ИИ Великобритании (UK AISI) для предрелизной оценки, использовала обратную связь экспертов по детской безопасности из Thorn. Компания подчеркнула: генеративные модели не обучаются на данных пользователей без явного разрешения.

Что это значит

Если выбираешь модель под код и работу с графиками, Claude 3.5 Sonnet был тем релизом, который сделал «среднюю» модель быстрее и умнее старшей. Для тебя это про практичный баланс: высокая скорость, понятная цена и Artifacts, в которых удобно сразу дорабатывать результат, не копируя его туда-сюда.