Anthropic выпустила Claude 2

Anthropic анонсировала Claude 2 - новую модель с улучшенной производительностью и более длинными ответами. Доступ открыли через API и новый публичный бета-сайт claude.ai.

Что улучшилось в способностях

Claude 2 заметно подтянули в коде, математике и рассуждениях. На множественном выборе экзамена на адвоката модель набрала 76.5% против 73.0% у Claude 1.3. В сравнении со студентами, поступающими в магистратуру, Claude 2 оказался выше 90-го перцентиля по чтению и письму GRE и на уровне медианного абитуриента по количественным рассуждениям. На Codex HumanEval, тесте по Python, результат вырос до 71.2% с 56.0%. На GSM8k, наборе школьных математических задач, - 88.0% против 85.2%.

Длинный контекст и длинные ответы

Anthropic увеличила длину ввода и вывода: пользователи могут передавать до 100K токенов в одном промпте. Это значит, что Claude может работать с сотнями страниц технической документации или даже с книгой. Модель также может писать более длинные документы за один проход - от служебных записок и писем до историй на несколько тысяч токенов.

Безопасность и партнёры

Над безопасностью Claude 2 работали, чтобы модель была безвреднее и её было сложнее заставить выдавать оскорбительный или опасный контент. Во внутренней оценке по большому набору вредных промптов Claude 2 оказался в 2 раза лучше Claude 1.3 в выдаче безопасных ответов. Среди партнёров на API - платформа Jasper, отметившая силу модели в длинных текстах с низкой задержкой и контекстном окне втрое больше, и Sourcegraph, чей ассистент Cody использует рассуждения Claude 2 и контекст до 100K, чтобы давать более точные ответы по коду.

Что это значит

Если тебе нужна модель для длинных текстов и работы с кодом, Claude 2 был тем самым шагом, который закрепил эту репутацию. На старте чат-доступ был открыт только в США и Великобритании в режиме открытой беты, а API для бизнеса предлагался по цене Claude 1.3. Помни про оговорку самой Anthropic: модель не стоит применять там, где речь о физическом или психическом здоровье.