Claude 3.5 Haiku на AWS Trainium2 и дистилляция в Amazon Bedrock
Anthropic оптимизировала Claude 3.5 Haiku под чип AWS Trainium2 - в Amazon Bedrock появился latency-optimized режим до 60% быстрее. Также добавлена дистилляция моделей в Bedrock: она подтягивает Claude 3 Haiku к точности 3.5 Sonnet на конкретных задачах. Цену Claude 3.5 Haiku снизили до $0.80 за млн входных токенов.
В рамках расширенного партнёрства с AWS Anthropic начала оптимизировать модели Claude под Trainium2 - самый продвинутый ИИ-чип AWS. Первый результат - более быстрый вывод и более дешёвая экономика.
Trainium2 и ускорение Haiku
Чтобы показать возможности Trainium2, Claude 3.5 Haiku получила режим latency-optimized inference в Amazon Bedrock. Он делает модель ощутимо быстрее без потери точности - до 60% выше скорость вывода. Это делает Haiku удобной для дополнения кода, модерации контента в реальном времени и чат-ботов. Быстрая версия доступна в регионе US East (Ohio) через cross-region inference по цене $1 за млн входных токенов и $5 за млн выходных.
Дистилляция моделей в Bedrock
Второе нововведение - поддержка дистилляции моделей в Amazon Bedrock. Техника переносит знания от «учителя» (Claude 3.5 Sonnet) к «ученику» (Claude 3 Haiku). В итоге Claude 3 Haiku достигает точности уровня 3.5 Sonnet на конкретных задачах - при той же цене и скорости самой экономичной модели. Это открывает дорогу для сложных задач вроде RAG и анализа данных за долю стоимости.
Чем это отличается от файн-тюнинга
В отличие от обычного файн-тюнинга, где разработчику нужно вручную составлять обучающие примеры и постоянно крутить параметры, Bedrock Model Distillation автоматизирует процесс: генерирует синтетические обучающие данные из Claude 3.5 Sonnet и хостит финальную дистиллированную модель для инференса.
Project Rainier и снижение цены
Anthropic строит вместе с AWS Project Rainier - EC2 UltraCluster из Trn2 UltraServers с сотнями тысяч чипов Trainium2. Этот кластер даст более чем в пять раз больше вычислительной мощности (в экзафлопсах), чем использовалось для обучения текущего поколения моделей. Параллельно цену Claude 3.5 Haiku снизили до $0.80 за млн входных токенов и $4 за млн выходных на всех платформах.
Что это значит
Если ты считаешь себестоимость запросов, тут два полезных рычага. Latency-optimized Haiku на Trainium2 - когда важна скорость отклика: автодополнение, чат, модерация. Дистилляция - когда у тебя узкая повторяющаяся задача и хочется точность старшей модели по цене младшей. Вместе со снижением цены Haiku это про более дешёвый продакшен без явной просадки качества на твоих сценариях.