Перейти к содержанию

OpenAI

Заказной чип OpenAI обещает быстрый инференс

8 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Всё о теме: OpenAI: модели и продукты →
Изображение: openai.com

OpenAI 25 августа показала первые результаты Jalapeño, своего чипа для инференса, и вместе с ними пустила в лабораторию аналитиков SemiAnalysis. Те прогнали на чипе свой бенчмарк InferenceX вместе с инженерами OpenAI. На DeepSeek R1 при одном пользователе Jalapeño выдал больше 700 токенов в секунду, причём без спекулятивного декодирования. По оценке SemiAnalysis, на нескольких крупных открытых моделях чип обходит все протестированные ими ускорители Nvidia, AMD и Google.

В посте OpenAI сказано только, что инференс на Jalapeño быстрее и экономнее по энергии, с более высокой пропускной способностью и меньшей задержкой на современных моделях. Цифры, архитектуру и сравнение с конкурентами дал разбор SemiAnalysis, приуроченный к презентации чипа на конференции Hot Chips. Аналитики сразу оговариваются: все числа им предоставила OpenAI. Сами прогоны InferenceX они проверили лично в лаборатории, но полный набор тестов не запускали.

Как устроен чип

Jalapeño - ASIC только под инференс больших языковых моделей, обучение на нём не запускают. OpenAI и Broadcom представили его 24 июня как первый заказной процессор OpenAI и первое поколение платформы, которую компании будут развивать вместе. OpenAI проектировала сам чип, Broadcom отвечала за реализацию в кремнии и поставляет сетевые чипы Tomahawk, а платы, стойки и сборку систем взяла Celestica. Руководитель аппаратной программы OpenAI Ричард Хо описывал цели так: меньше гонять данные между вычислителями и памятью, лучше сбалансировать вычисления, память и сеть и держать загрузку «гораздо ближе к теоретическому пику», чем у существующих решений.

Главное архитектурное решение, на которое обращает внимание SemiAnalysis, касается двух фаз инференса. Обработку промпта (prefill) и пошаговую генерацию ответа (decode) часто разносят по разным пулам чипов, каждый из которых настроен под свою фазу. OpenAI так делать не стала: обе фазы, а также черновая и основная модели при спекулятивном декодировании, работают на одних и тех же чипах и одной сети. Причину аналитики объясняют сдвигом нагрузки. Соотношение входных токенов, записи и чтения кэша и выходных токенов заметно менялось от эпохи моделей знаний к рассуждающим и затем к агентным. Если заранее заложить фиксированную долю кремния под prefill и под decode, со временем пропорция перестанет совпадать с реальной нагрузкой. Поэтому пул однородный, и чип должен хорошо справляться со всем сразу.

Отсюда второй тезис разбора. В прессе писали, что Jalapeño заточен под модели OpenAI. В SemiAnalysis с этим спорят: по их словам, это универсальный чип для инференса, на котором идут разные модели и нагрузки, включая их собственный бенчмарк. В шутку OpenAI показала аналитикам на чипе Doom, портированный одними промптами в Codex.

Цифры по кремнию SemiAnalysis приводит для следующего степпинга (ревизии кристалла) B0. Он сейчас в производстве и, по их данным, даёт примерно на 25% лучшую производительность на ватт, чем A0, на котором сняты все результаты. Вычислительный кристалл B0 размером в предел фотошаблона делают по техпроцессу TSMC N3P, и он выдаёт 13,4 PFLOPs в формате MXFP4. Для сравнения, у вычислительного кристалла Rubin сопоставимого размера на том же техпроцессе 17,5 PFLOPs в плотном NVFP4. Но TDP у Jalapeño 700 Вт, а у Rubin 900-1 150 Вт на кристалл. По подсчётам SemiAnalysis, у Jalapeño самая высокая среди ускорителей пропускная способность HBM на ватт и самые высокие FLOPs на ватт, на уровне конфигурации Rubin Max-Q на 1 800 Вт.

Ввод-вывод вынесен в отдельный чиплет на N3E с 32 линиями SerDes по 800G. Из них 24 линии (600 ГБ/с) идут на связь внутри стойки, а 8 линий (200 ГБ/с) на глобальный домен до 2 048 ускорителей, растянутый на несколько стоек. С хостовым процессором x86 чип связан по PCIe Gen 5. Память - HBM4: по замечанию аналитиков, OpenAI переходит на неё одной из первых после Nvidia и AMD, раньше программ TPU и Trainium.

Что показал InferenceX

Все прогоны шли на нагрузке 8k1k: 8 тысяч токенов на входе, тысяча на выходе. Jalapeño работал с предсказанием одного токена за шаг, без спекулятивного декодирования, при котором черновая модель угадывает несколько токенов вперёд, а основная их проверяет. Разделения prefill и decode тоже не было. Конкурентов на графиках SemiAnalysis взяла в лучших конфигурациях, все с предсказанием нескольких токенов за шаг (MTP). Качество ответов проверили на GSM8k: по словам аналитиков, на всех моделях результат на уровне чипов Nvidia.

  • DeepSeek R1: больше 700 токенов в секунду на пользователя при одном одновременном запросе.
  • Kimi K2.5, на которой построена Cursor Composer 2.5: почти 700 токенов в секунду на пользователя, а при 100 токенах в секунду на пользователя пропускная способность больше чем в 9 раз выше, чем у следующего по результату чипа.
  • GPT-OSS: около 1 400 токенов в секунду на пользователя. При одинаковой интерактивности пропускная способность на мегаватт почти вдвое выше лучшей точки GB200 по пропускной способности и больше чем в 50 раз выше точки GB200 при одном запросе. Точки с высокой конкурентностью сняты с распределением экспертов модели по восьми чипам (EP8).

По производительности на ватт Jalapeño, как считает SemiAnalysis, обходит Blackwell почти во всех сценариях, причём без настройки под какую-то одну точку кривой, и при низкой задержке, и при высокой пропускной способности. Если сравнивать с конкурентами тоже в режиме одного токена за шаг, отрыв ещё больше.

Ограничения аналитики называют сами. Нагрузка 8k1k однократная, и под неё проще оптимизировать. Их собственный набор AgentX с длинным контекстом и многоходовыми диалогами нагружает маршрутизаторы, префиксный кэш, управление кэшем и его выгрузку, а прогонов AgentX на Jalapeño нет. Модели к тому же не с переднего края: Nvidia и AMD уже публиковали результаты AgentX на DeepSeek V4 Pro и Kimi K3, а чем новее и крупнее модель, тем сложнее запустить её на новом чипе. Хотя и модели, которые OpenAI подняла на Jalapeño, по словам SemiAnalysis, не маленькие.

Почему сравнивать надо с Rubin

В SemiAnalysis признают, что сравнение с Blackwell неполное и не совсем честное. Настоящий соперник Jalapeño - Rubin, тоже на HBM4. Системы Vera Rubin уже начинают поставлять клиентам, а у OpenAI ещё какое-то время не будет ничего, кроме инженерных образцов. По оценке аналитиков, Vera Rubin NVL72 даёт в 5,4 раза больше производительности на мегаватт, чем GB200 NVL72.

Против Rubin картина такая. Выходная пропускная способность Jalapeño на мегаватт в режиме одного токена превышает результаты Vera Rubin с MTP, которые Nvidia и CoreWeave опубликовали в июле. По стоимости владения чипы идут вровень и дают почти одинаковое число выходных токенов на доллар. Но у Rubin в этих цифрах уже есть спекулятивное декодирование, а оно, по подсчётам SemiAnalysis, улучшает стоимость токена больше чем втрое. Аналитики ждут, что с ним токены на Jalapeño станут заметно дешевле. Часть преимущества по стоимости они объясняют тем, что вместо высокой маржи Nvidia OpenAI платит более низкую (хотя тоже высокую) маржу Broadcom. Но только этим дело не исчерпывается: собственные программы ASIC у Meta и Microsoft, напоминают в SemiAnalysis, так и не взлетели, хотя идут дольше.

Глава Broadcom Хок Тан ещё в июне называл другую цифру. Он сказал Bloomberg, что чип даёт примерно 50% экономии по сравнению с нынешними GPU для ИИ.

Ставку на производительность на ватт SemiAnalysis объясняет так: OpenAI сейчас упирается в мощность дата-центров, а не в бюджет или площади, поэтому важнее всего токены на мегаватт. Если пересчитать токены в секунду на мегаватт, выйдут просто токены на джоуль, мера того, как система превращает энергию в токены. Nvidia говорит о том же. Дженсен Хуанг на Computex 2026: «Если у вас гигаватт мощности, то пропускная способность на ватт - это выручка». На докладе о Vera на Hot Chips 2026 компания повторила: «Дата-центры сегодня ограничены по питанию». Быстрый инференс OpenAI при этом уже продаёт на чужом железе: с августа тариф Ultrafast на чипах Cerebras выдаёт до 750 выходных токенов в секунду на GPT-5.6 Sol.

Девять месяцев или шестнадцать

OpenAI и Broadcom в июне говорили, что от начала проектирования до тейпаута, отправки готового дизайна в производство, прошло девять месяцев, и называли это, возможно, самым быстрым циклом разработки ASIC для высокопроизводительных чипов. В SemiAnalysis счёт другой: проектирование началось в середине 2024 года, и от найма первых людей в команду до тейпаута прошло около 16 месяцев. Девять месяцев в разборе тоже есть, но так аналитики описывают возраст программы на момент степпинга A0, на котором получены результаты.

Грег Брокман в интервью CNBC объяснял скорость совместной разработкой софта и железа, опытом Broadcom в реализации кремния и тем, что часть проектирования и оптимизации ускоряли модели OpenAI. «Насколько наши модели смогли это ускорить, нас самих очень удивило», - сказал он. SemiAnalysis считает, что такие сроки подтверждают: ИИ действительно ускоряет проектирование чипов.

Все показанные результаты сняты на A0, B0 пока в производстве. Поставки Vera Rubin клиентам тем временем уже начинаются.

OpenAIOpenAI

OpenAI restores 5-hour Codex and Work limits for ChatGPT Plus users

Пятичасовой лимит вернули подписчикам Plus в Codex и ChatGPT Work с 25 августа: несколько недель у них работал только недельный потолок. На Pro за 100 и 200 долларов окно оставили выключенным.

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.