Anthropic запустила Message Batches API
Anthropic выпустила Message Batches API: до 10 000 запросов в одном батче, асинхронно и на 50% дешевле обычных вызовов - скидка на входные и выходные токены. Каждый батч обрабатывается в течение 24 часов, часто быстрее, и не влияет на стандартные лимиты. Доступен для Claude 3.5 Sonnet, Claude 3 Opus и Claude 3 Haiku.
Это прямой инструмент экономии для больших объёмов: если ответ не нужен в реальном времени, ты платишь вдвое меньше.
Что запустили
Anthropic представила Message Batches API - способ обрабатывать большие объёмы запросов асинхронно и дешевле. Разработчик отправляет батч до 10 000 запросов, каждый батч обрабатывается менее чем за 24 часа (часто заметно быстрее) и стоит на 50% дешевле стандартных вызовов API. На старте функция вышла в публичной бете для Claude 3.5 Sonnet, Claude 3 Opus и Claude 3 Haiku в Anthropic API. Позже (обновление от 17 декабря 2024) она стала общедоступной, а batch-инференс появился в Amazon Bedrock и в превью на Google Cloud Vertex AI.
Зачем это нужно
Разработчики часто используют Claude для обработки больших массивов данных - от анализа отзывов клиентов до перевода, - где ответы в реальном времени не нужны. Вместо того чтобы строить сложные очереди и бороться с rate-лимитами, можно отправить группу до 10 000 запросов и дать Anthropic обработать их со скидкой 50%.
Дополнительные плюсы
Batches API даёт повышенную пропускную способность: можно обрабатывать большие объёмы, не задевая стандартные лимиты API. Это удобно для масштабных задач - анализа датасетов, классификации больших наборов данных, обширных оценок моделей - без забот об инфраструктуре. Скидка 50% действует и на входные, и на выходные токены. Функция открывает обработку, которая раньше была дорогой: например, анализ целых корпоративных архивов из миллионов файлов становится экономически оправданным.
Кто уже использует
Quora применяет Batches API для саммаризации и извлечения ключевых моментов, чтобы делать новые функции для пользователей. Andy Edmonds, Product Manager в Quora, отметил, что API даёт экономию и снижает сложность запуска большого числа запросов, которые не нужно обрабатывать в реальном времени: удобно отправить батч и забрать результаты в течение 24 часов вместо управления множеством параллельных live-запросов, что освобождает инженерам время на более интересные задачи.
Что это значит
Если у тебя есть пакетная работа - разметка, перевод, классификация, обработка датасета, - не гоняй её через обычные синхронные вызовы. Собери запросы в батч и получи результат за сутки вдвое дешевле. Это особенно выгодно на больших объёмах, где половина счёта - это деньги, которые можно не платить просто за счёт асинхронного режима.