Хо из OpenAI: 99,99% точности мало для чипа Jalapeño

Модели OpenAI без всякого дообучения в одном случае сэкономили больше 13% площади кристалла Jalapeño, но подписывать дизайн им не доверяют, рассказал Ричард Хо (Richard Ho), руководитель аппаратной программы OpenAI, в интервью More Than Moore на Substack, опубликованном 30 сентября. Всё, что модели меняют в коде чипа, проходит стандартный маршрут EDA и полную валидацию, а цифры Jalapeño против NVIDIA GB200/GB300 сняты на стороннем бенчмарке InferenceX на открытых моделях и без MTP, на котором OpenAI работает в продакшене.
Что именно сделали модели
Задача появилась из-за спешки. Команда обещала производительность по симуляции и по оценкам того, сколько логики поместится в отведённую площадь, а логика не поместилась. Оставалось либо смириться с потерей производительности, либо искать выход, и задачу отдали моделям как оптимизационную: «найди X». По словам Хо, это были сырые внутренние модели, чуть сильнее публичных, но «ненамного». Качественных данных по железу тогда было так мало, что команда искала любые репозитории с аппаратным кодом. Фреймворки, которые EDA-вендоры строят вокруг моделей, Хо считает заметно слабее внутренней модели OpenAI.
Помог язык. Большая часть оптимизированного кода была написана на XLS, открытом инструменте высокоуровневого синтеза, который участник команды Крис Лири (Chris Leary) написал и выложил в открытый доступ ещё в Google. Синтаксис и семантика у XLS ближе к Rust, а Verilog и SystemVerilog модели тогда понимали плохо, зато о программном коде рассуждать умели. Сильная сторона моделей, как её видит Хо, в том, что они держат в контекстном окне сразу много частей дизайна и находят места, где можно перекроить; человеку свести такое по всему чипу трудно.
Второй пример прозвучал ещё на Hot Chips 2026: одна реализация attention примерно за 40 часов поднялась с менее чем 1% до почти 90% потолка roofline по памяти и вычислениям.
Со сроками стоит разобраться отдельно. В релизе Broadcom от 24 июня сказано, что Jalapeño прошёл путь от дизайна до производства за девять месяцев с ускорением от моделей OpenAI. Fortune India описывает те же девять месяцев как отрезок от начального дизайна до тейп-аута. Весь путь от первой концепции архитектуры до первого кремния, как стало известно в сентябре, занял меньше 20 месяцев.
Где моделям не доверяют
Хо не ждёт, что модели в ближайшее время заменят EDA-инструменты: финальную сверку по-прежнему делают стандартные маршруты. Для дизайна масштаба 300 миллионов вентилей у него простой аргумент: «Если модель права на 99,99%, такое в тейп-аут не отдашь, точности не хватает». Модели, по его словам, «превращают наших инженеров в суперинженеров», но отвечают за то, что уходит в кремний, инженеры. Сокращать команду из-за моделей он бы не стал.
Часть правок моделей команда поначалу не понимала. Зачем модели переписали исходный код именно так, инженеры концептуально объяснить не могли, а времени разбираться не было. Страховка - полный валидационный маршрут после таких правок, чтобы убедиться, что ничего не сломано. «Меня это беспокоит, но пока мы осознаём этот риск и подходим к нему осторожно и обдуманно, я считаю, что этот риск стоит того», говорит Хо. Симуляция и FPGA с кремнием, по его словам, совпали; единственным местом, где команда не была уверена, оставалась аналоговая часть и целостность сигналов.
Для чужих AI-инструментов проектирования у Хо есть свой экзамен. Вендорам EDA с ML-продуктами он предлагает спроектировать контроллер PCIe, который пройдёт его набор тестов на соответствие, причём быстрее и лучше, чем команда OpenAI, с меньшей площадью и нужными PPA (мощность, производительность, площадь). Если получится, «пришлите мне письмо». PCIe при всём своём возрасте, замечает он, протокол непростой.
Как читать цифры против NVIDIA
На Hot Chips 2026 Хо вместе с Рави Нараянасвами и Крисом Лири показал первые замеры на рабочем кремнии. Против GB200/GB300 OpenAI заявила в 1,5-1,9 раза лучшую производительность на ватт при пиковой пропускной способности и в 1,7-3,6 раза лучшую задержку. Самая громкая цифра, выигрыш до 104 раз, относится к рабочим точкам, до которых NVIDIA, по формулировке More Than Moore, добирается с трудом.
Сам Jalapeño - ускоритель инференса: 216 ГиБ HBM4 на 15,4 ТБ/с, вычислительный кристалл и I/O-чиплет, 700 Вт в пике при измеренном устойчивом потреблении около 550 Вт. Локальный домен собран из 128 ускорителей, полная система из 2 048, и на четырёхбитной точности она выдаёт 27 EFLOP/s.
Бенчмарк выбрали сторонний: InferenceX с заданными метриками и открытыми моделями, чтобы, по словам Хо, результаты были «неуязвимы с точки зрения методологии». Для оценки пригласили SemiAnalysis. Обратная сторона Хо признал сам: модели бенчмарка на этих чипах в продакшене работать не будут. Собственные модели OpenAI на образцах тоже запускали: в июне Broadcom сообщала, что инженерные образцы гоняют в лаборатории нагрузки, включая GPT-5.3-Codex-Spark, на целевых частоте и мощности.
Режим сравнения тоже нестандартный. В продакшене OpenAI использует MTP, предсказание нескольких токенов за шаг. Для спекулятивного декодирования на открытых моделях нужны были черновые модели, а их не было: чип вернулся с фабрики в середине мая, слот на Hot Chips подтвердили поздно, и всё делалось спринтом. Поэтому команда поставила себе цель обогнать одиночным предсказанием (STP) опубликованные MTP-результаты, и Хо сам говорит, что это было бы «шокирующе». Команда кернелов цель взяла.
Больших новых наборов замеров ждать не стоит. Команда уже переключилась на производство, ревизия B0 в лаборатории проходит квалификацию, а из новых тестов Хо упоминает разве что AgentX, «когда будет возможность», без долгой оптимизации результатов.
Один чип на весь инференс
Другие вендоры делят инференс между специализированным железом под prefill, спекулятивное и полное декодирование. OpenAI сделала один сбалансированный чип на всю нагрузку, и Хо объясняет это масштабом парка: при разделении приходится заранее зафиксировать соотношение железа под каждую фазу, а вместе с ним капзатраты и мощность, хотя соотношения сильно скачут. Однородное железо проще перебрасывать между нагрузками. Налог за универсальность, по его словам, «сейчас не виден» и может проявиться в реальном развёртывании. При подготовке доклада команда считала этот тезис, возможно, самым спорным. Против разнородного парка как такового Хо ничего не имеет: CPU, GPU и инференс-чипы в нём останутся, его смущают кластеры, закреплённые за одной нагрузкой.
Главная архитектурная ставка - NUMA: банки HBM привязаны к ядрам, и каждое ядро работает со своей быстрой памятью вместо общего L2, через который SM в архитектуре NVIDIA видят память друг друга. Открытой модели, которую нельзя разложить на такую схему, команда пока не нашла. Ограничение Хо называет сам: на очень больших контекстах могут начаться проблемы, хотя сами они этого ещё не видели и анализа не делали. Он ждёт, что подход переймут другие, вплоть до производителей GPU. Рассказать о нём публично решили потому, что «нам по-прежнему нужны GPU, и мы хотим, чтобы они становились лучше».
Дальше
Cowork с 6 октября уводит задачи Pro и Max в облако
6 октября из настроек Claude Cowork пропадёт режим «только на вашем компьютере», и новые задачи на Pro и Max уйдут в облако Anthropic. Папки при этом остаются у вас, а Claude копирует в облако только нужные файлы.
Читайте также
- Свои модели вывели чип OpenAI на 88,94% потолка за 40 часов
- OpenAI проектировала Jalapeno от задержки, а не от флопсов
- Bloomberg: OpenAI поддержит законы об экспорте чипов
- OpenAI продолжит вкладываться в ЦОДы вопреки итогам выборов
- OpenAI обещает Джорджии снижать нагрузку до 1000 МВт
- Чтение в Habitat у OpenAI: около 10 мс вместо 120
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

