Gemini 4 Argon сильна в офисных задачах и проседает в коде

Google 30 сентября показала Gemini 4 Argon, и по собственной таблице компании новый флагман занимает первое место или делит его в 13 бенчмарках из 18 против GPT-6 Astra от OpenAI, Claude Opus 5.5 и Claude Fable 5.1 от Anthropic. Крупные отрывы приходятся на офисную работу и длинный контекст, а из четырёх тестов на агентное программирование в двух Argon последняя. Пользоваться моделью пока могут только участники киберпрограммы Fairwind, а следующими в очереди Google называет платных клиентов API и подписчиков AI Ultra.
Таблицу составила сама Google, разбор по тестам сделала The New Stack: там, где Argon проигрывает, отставание доходит до 10,5 пункта.
Кто и когда её получит
Пока Google собирает отзывы ранних тестировщиков и дорабатывает ограничители модели, Argon работает только внутри Fairwind. Google запустила программу 2 сентября вместе с Gemini 3.8 Flash Cyber, и на старте в ней было больше 650 участников, среди них Snowflake, CrowdStrike и Datadog. Принимают туда госведомства, операторов критической инфраструктуры и технологические компании, которые отвечают за «защиту широко используемых программных основ».
Внутри компании-участника доступ получают не все. По условиям программы, которые опубликовала Google DeepMind, Gemini 4 Argon можно открыть только внутренним командам кибербезопасности, реагирования на инциденты и пентеста, причём организация должна отслеживать, кто из сотрудников и как пользуется моделью, и требовать авторизацию на уровне пользователя и устойчивую к фишингу MFA. Делиться доступом, передавать или продавать его нельзя, а заявителей Google проверяет на благонадёжность.
Когда модель выйдет за пределы Fairwind, первыми её получат платные клиенты API и подписчики Google AI Ultra, а за ними разработчики, компании и обычные пользователи; сроков нет, Google лишь обещает расширить доступ как можно скорее. Делать это компания собирается поэтапно, параллельно укрепляя защиту от злоупотреблений в киберсфере и в области химических, биологических, радиологических и ядерных угроз, от непрямых промпт-инъекций и от агентов, которые ведут себя не так, как задумано. Кроме того, Google говорит, что «активно участвует в добровольной процедуре правительства США по доступу к моделям до релиза».
Цена в два этапа
Argon будет стоить 2 доллара за миллион входных токенов и 10 за миллион выходных, но только в вводный период; после него ставки вырастут до 4 и 20 долларов. Поздний тариф на вывод совпадает с 20 долларами за миллион выходных токенов, которые Anthropic берёт за Opus 5.5. Кэшированные входные токены, как пишет Testing Catalog, обойдутся на 95% дешевле обычного входного тарифа. По оценке Artificial Analysis, в её Intelligence Index Argon идёт вровень с GPT-6 Astra, а стоимость одной задачи при вводных ценах составляет 60% от стоимости у GPT-6 Astra.
Офис против кода
В офисной работе Argon впереди на всех четырёх тестах. На AutomationBench, бенчмарке Zapier, она набирает 51,3% против 42,5% у Opus 5.5, на Vals Finance Agent v2 65,4% против 58,9% у Fable 5.1, а на Legal Agent Benchmark от Harvey 19,6%, почти втрое больше, чем у Fable 5.1. Но и при таком отрыве модель целиком решает лишь около одной задачи из пяти.
На длинном контексте разрыв тоже большой: в GraphWalks на входах от 256 тысяч до 1 миллиона токенов у Argon 84,2%, больше чем на 12 пунктов выше GPT-6 Astra. На математическом RiemannBench (76,0% против 72,0% у GPT-6 Astra) и на LVBench с длинными видео (91,7% против 87,5% у GPT-6 Astra) она тоже впереди, а на Vals Index, Agent’s Last Exam, Chartography и коротком GraphWalks, до 128 тысяч токенов, отрыв в основном меньше двух пунктов. Уступает Argon, кроме кода, на Terminal-Bench Science 0.1, где у GPT-6 Astra 68,1% против её 57,6%, а ещё на PostTrainBench и OSWorld-2.0.
Google вынесла в анонс рекорд Argon на DeepSWE v1.1, 77,9%, хотя у её же Gemini 3.8 Flash на этом тесте по цифрам компании было 73,7%, а у Opus 5.5 в нынешней таблице 74,2%. На FrontierSWE v2 и Terminal-Bench 4.0 Argon последняя из четырёх моделей: на первом GPT-6 Astra впереди на 10,5 пункта, на втором Opus 5.5 на девять. Вторая победа в коде, 91,9% на Vibe Code Bench, тоже есть, но здесь все четыре модели набрали больше 89%.
На Terminal-Bench 4.0 у Argon 57,4%, а у Sonnet 5.5 от Anthropic, по сентябрьским замерам самой Anthropic, 70,6%, и стоила Sonnet 5.5 тогда столько же, сколько Argon будет стоить в вводный период. В рейтинге Arena.ai версия Gemini 4 Argon (High) заняла первое место в Text Arena с 1525 очками и восьмое в Code Arena: WebDev с 1679.
О Gemini 3.5 Pro Google объявила на конференции I/O в мае и собиралась выпустить её в июне, но вместо неё вышла серия Flash-моделей, а Argon по сути пришла ей на смену. В середине июля Bloomberg сообщала, что 3.5 Pro на месяцы отстаёт от графика, потому что Google дорабатывает её возможности, прежде всего в программировании.
Кибербезопасность без ограничителей
Google говорит, что учила Argon самостоятельно находить, проверять и исправлять уязвимости, и участникам Fairwind, как и собственным командам, отдаёт модель для защитной работы без киберограничителей. Разрешены в программе санкционированное моделирование угроз, реверс-инжиниринг и анализ вредоносного ПО для защиты и академических исследований, а создавать вредоносное ПО нельзя. Wiz, которую Google купила в марте за 32 миллиарда долларов, уже применяет Argon в инициативе Scan for Good, и, по словам Google, модель нашла критическую уязвимость в медицинском ПО, которым пользуются больницы по всему миру: дыра раскрывала чувствительные персональные данные, а прежние фронтирные модели её пропустили.
Результаты на внутреннем тесте поиска уязвимостей (85,8%) и на тесте пентеста от Wiz (70,9%) Google сравнивает только со своей Gemini 3.8 Flash Cyber, у которой 71,0% и 58,2%. С соперниками Argon сопоставлена на CWE-bench v1, и там ничья: у Argon, GPT-6 Astra и Grok 4.7 от xAI по 68%, у Opus 5.5 на пункт меньше. Модели OpenAI и Anthropic в этом рейтинге работают в собственных агентных обвязках, Codex и Claude Code, и он меряет модель вместе с её инструментами. Участники Fairwind тоже получают модель с обвязкой: CodeMender, набором промптов, кода и других материалов, который Google DeepMind сделала для поиска уязвимостей, оценки их опасности и подготовки патчей.
Миллион токенов на выходе
Миллион входных токенов у фронтирных моделей уже стал стандартом, а Argon может столько же и сгенерировать: потолок вывода поднят с 64 000 токенов у прежних Gemini до 1 миллиона. В Google объясняют это так: «Когда у модели есть запас, чтобы глубоко подумать и сгенерировать сотни тысяч токенов за одну траекторию, это добавляет рассуждению новый уровень глубины, чтобы решать трудные задачи за один заход».
По словам Google, Argon уже пользуются тысячи сотрудников компании для кода, исследований и текстов. Группа агентов на ней нашла оптимизации памяти в дата-центрах, которые после выкатки освободили больше 300 TiB, а всего компания рассчитывает сэкономить от 500 TiB до 1 PiB. Агенты на Argon переводят на Rust код на C и C++, от базовых библиотек в десятки тысяч строк до ядра Zircon из Fuchsia размером больше 800 тысяч строк, и перед продакшеном такие миграции проходят автоматический и ручной аудит, тестирование в эмуляции и ревью.
В Rust-порте видеодекодера libgav1, как утверждает Google, Argon заменила 32 тысячи строк SIMD-кода безопасным Rust, который работает в 2,7 раза быстрее и выдаёт идентичный результат.
Дальше
OpenAI дописала к MCP возможности специально для ChatGPT
MCP получил надстройку от OpenAI: плагин в ChatGPT может показать собственный просмотрщик, когда пользователь открывает поддерживаемый тип файла. Все примеры OpenAI собрала на демо-плагине Bits & Bolts с библиотекой деталей.
Читайте также
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

