OpenAI и Broadcom представили свой чип Jalapeño для инференса

Ещё в октябре OpenAI и Broadcom договорились вместе делать кастомные чипы. Спустя девять месяцев первый из них уже работает в лаборатории, и помогали его строить сами модели OpenAI.

Что такое Jalapeño

Jalapeño - это ASIC, заточенный под инференс, то есть под запуск уже обученных моделей для пользователей. Это отдельная задача от обучения: чипы для тренировки моделей другие. На Jalapeño OpenAI планирует крутить ChatGPT, Codex и будущих агентов - эффективнее и с меньшей зависимостью от Nvidia. При этом обучение моделей пока остаётся за Nvidia.

Девять месяцев и помощь собственных моделей

OpenAI говорит, что путь от дизайна до готовности к производству занял девять месяцев. По словам компании, это «самый быстрый цикл разработки ASIC из когда-либо достигнутых». Важная деталь: в проектировании и оптимизации участвовали сами модели OpenAI - ИИ помогал строить железо, на котором потом будет работать.

Заявленные характеристики

Главная цифра релиза - производительность на ватт «существенно выше текущего уровня» по результатам тестов. Именно энергоэффективность даёт выигрыш в стоимости и скорости. Jalapeño - первый ускоритель в запланированном семействе чипов, рассчитанном на дата-центры гигаваттного масштаба.

Масштаб планов

OpenAI хочет к 2029 году обеспечить кастомными чипами 10 ГВт вычислений. Логика простая: когда у тебя одновременно кремний, модели и продукты, каждый слой можно подстраивать под другой. Это и есть источник экономии и прироста скорости по всей цепочке.

Что это значит

Если ты строишь продукты на API OpenAI, прямого эффекта прямо сейчас не жди - речь о внутренней инфраструктуре. Но направление важное: своё железо под инференс - это путь к более низкой себестоимости запросов и меньшей зависимости от дефицитных GPU. В перспективе это может означать более стабильные лимиты и цены для тех, кто работает с моделями OpenAI.