Anthropic выпустила Claude 2.1
21 ноября 2023 Anthropic выпустила Claude 2.1: контекст 200K токенов (около 500 страниц), вдвое меньше ложных утверждений, чем у Claude 2.0, плюс системные промпты и бета вызова инструментов. Модель давала на 30% меньше неверных ответов на длинных документах.
Claude 2.1 стал доступен через API в Console и начал работать в чате claude.ai. Главное в релизе - окно контекста 200K токенов, заметное снижение галлюцинаций и новые возможности для разработчиков.
Контекст 200K токенов
Anthropic удвоила объём информации, который можно передать модели, до 200 000 токенов - это примерно 150 000 слов или больше 500 страниц. Теперь можно загружать целые кодовые базы, финансовые отчёты вроде S-1 или даже длинные литературные произведения, например «Илиаду» или «Одиссею». Claude может суммировать такие тексты, отвечать на вопросы, прогнозировать тренды, сравнивать несколько документов. Обработка сообщения в 200K - сложная задача: то, на что у человека ушли бы часы, Claude делает за несколько минут, и Anthropic ожидала снижения задержки со временем.
Меньше галлюцинаций
Claude 2.1 показал двукратное снижение ложных утверждений по сравнению с Claude 2.0. Честность тестировали на наборе сложных фактических вопросов, бьющих по известным слабостям моделей, с рубрикой, которая отличает неверные утверждения («Пятый по населению город Боливии - Монтеро») от признания неуверенности («Я не уверен, какой пятый по населению город Боливии»). Claude 2.1 заметно чаще выбирал второе. На длинных и сложных документах - юридических, финансовых, технических - модель дала на 30% меньше неверных ответов и в 3-4 раза реже ошибочно заключала, что документ подтверждает некое утверждение.
Tool use и системные промпты
По многочисленным запросам Anthropic добавила вызов инструментов - бета-функцию, позволяющую Claude интегрироваться с существующими процессами, продуктами и API. Модель может оркестрировать функции и API, искать по веб-источникам, обращаться к базам знаний: использовать калькулятор для сложных вычислений, переводить запросы на естественном языке в структурированные вызовы API, искать в базах данных. Tool use тогда был на ранней стадии разработки. Также появились системные промпты - кастомные инструкции, задающие Claude роль и стиль ответов, и продукт Workbench для итерации над промптами в Console.
Что это значит
Если работаешь с большими документами, 200K контекста и системные промпты - это про реальные задачи: загрузить целый отчёт и задавать вопросы, задать модели роль один раз и не повторять её в каждом сообщении. Учти важную деталь: на момент релиза доступ к окну 200K был только у подписчиков Claude Pro, а бета вызова инструментов требовала аккуратной настройки.