Учёные отдают Claude Code анализ данных в 48,1% сессий

Anthropic 6 ноября разобрала 207 049 научных сессий в Claude и Claude Code на потребительских тарифах. Учёные отдают ИИ прежде всего анализ данных и тексты, а генерацию идей и сбор данных, которые сами считают самыми важными для открытий, заметно реже.

Доли задач в отчёте Anthropic измерены по реальным сессиям. Удвоение и рост до 15 раз выпуска исследований посчитаны по экономической модели с допущением о цене часа ИИ-агента, и авторы прямо называют эти сценарии иллюстративными, не прогнозом.

Что измерено по сессиям

Выборка охватывает сессии со 2 августа по 30 сентября: 128 914 из Chat и Cowork (в отчёте они идут под общим именем Claude) и 78 135 из Claude Code. Сами разговоры исследователи не читали. Языковая модель-классификатор ставила каждой сессии метки области и задачи по таксономии SciNet, где 7 262 задачи в 34 областях и 318 подобластях, и для анализа сохранялись только эти метки. Результаты публикуются лишь по группам, где набирается минимальное число разных аккаунтов.

Анализ данных занял 33,7% сессий в Claude и 48,1% в Claude Code, хотя у исследователей на него уходит 27,6% рабочего времени. Тексты и коммуникация в Claude набрали 32,0% при 16,0% времени. Перекос в обратную сторону у сбора данных (11,5% сессий в Claude и 11,9% в Claude Code при 28,6% времени) и у генерации идей и гипотез: 4,2% в Claude и 2,1% в Claude Code при 7,1% времени. Сильнее всего недобирает сбор данных с физическим барьером, например клинических или биохимических. А сбор данных из интернета, наоборот, может встречаться в сессиях чаще, чем подсказывает время на него.

Та самая «норма» рабочего времени тоже оценка. Доли времени по задачам выставил LLM-классификатор, а сверяли его с лабораторными протоколами, где записано время на каждую задачу, и с частотой задач в тысячах статей. Опрос 528 учёных, в основном из наук о жизни и здоровье и активно работающих с ИИ, дал ту же картину: больше всего ИИ используют для анализа и текстов, меньше для идей и сбора данных. Важнее всего для сильного результата респонденты считают генерацию идей, а на втором месте у них сбор данных.

Недобор по идеям авторы объясняют осторожно и сразу несколькими версиями. Учёные могут предпочитать придумывать сами или считать ИИ слабым в этом. Генерацию идей трудно выделить классификатором, потому что она вплетена в другие задачи. И ИИ, возможно, действительно слабее там, где нужно выбрать вопрос для исследования и спланировать, как на него ответить.

Computer science даёт 4,3% исследователей мира и 32,7% сессий Claude Code. Подобласть ИИ и машинного обучения при 1,2% исследователей набрала 5,0% сессий в Claude и 15,2% в Claude Code. Медицина, третья по числу сессий в Claude с 7,7%, с поправкой на размер области пользуется им меньше, как и лабораторные науки вроде химии; у медиков, отмечают авторы, много времени уходит на пациентов.

Где ИИ справляется лучше

Возможности ИИ по задачам авторы тоже оценивали через LLM. Классификатору показывали пары шагов из таксономии, например набивку хроматографической колонки при очистке реакционной смеси, и спрашивали, какой из них ИИ выполнит лучше. Сравнения свели в модель Брэдли - Терри, на которой построен шахматный рейтинг Эло, и получили «теоретическую способность ИИ» для каждой задачи.

Задачи из верхних 20% по этой шкале, вроде визуализации данных и статистических тестов, получают примерно вдвое больше использования в Claude и вчетверо больше в Claude Code, чем предсказывает время учёных на них. Нижние 20%, куда входит большая часть физической работы, от очистки реакционных смесей до включённого наблюдения, почти не встречаются. Шкала коррелирует с пригодностью задачи для обучения с подкреплением на 0,78: ИИ сильнее там, где успех легко проверить, примеры можно симулировать, а обратная связь приходит быстро. Отсюда вывод авторов: учёные, судя по всему, используют ИИ там, где он работает лучше всего.

На уровне подобластей связь слабее. Использование на одного исследователя растёт со средней способностью ИИ по задачам с корреляцией 0,45 для Claude и 0,57 для Claude Code. Науки о здоровье используют Claude меньше, чем предсказывает шкала, возможно, из-за регулирования медицинских данных. Формальные, социальные и гуманитарные науки используют больше, вероятно, потому что их работа идёт через текст и код.

Claude Science берёт другие задачи

Больше половины сессий Claude Science, которые авторы разобрали отдельной дополнительной выборкой, приходятся на биомедицину и биологию. В этих областях задачи там длиннее и сложнее, чем в Claude и Claude Code. Без ИИ на них ушло бы почти вдвое больше человеко-часов, больше 80% требуют подготовки уровня PhD (на других интерфейсах 50-70%), и больше 70% сессий идут с высокой автономией ИИ против 23,7% в Claude и 64,1% в Claude Code. Генерация идей занимает 8% сессий, примерно столько же, сколько на неё уходит времени у самих исследователей. Задача «предложить механистическую модель белок-белкового или белок-лигандного взаимодействия» встречается там в 5,6 раза чаще, чем в Claude.

Отдельной моделью Claude Science при этом не является. Как пишет Global Healthcare Magazine, это специализированный интерфейс поверх существующих моделей вроде Opus 4.8: координирующий агент раздаёт работу профильным агентам, а агент-рецензент проверяет ссылки, расчёты и результаты. По сведениям издания, продукт вышел в бете для тарифов Pro, Max, Team и Enterprise. Раз модели те же, разница в задачах, судя по всему, идёт от обвязки и подключённых баз данных.

Откуда берутся 2 и 15 раз?

Для первого сценария, с нынешними возможностями, авторы взяли пять уровней использования ИИ из опроса и приравняли их к 0, 25, 50, 75 и 100% времени исследователя на шаг задачи. Эти уровни раздали шагам в пропорциях опроса, и самые высокие достались шагам с самой высокой оценкой способности ИИ. Респонденты почти наверняка активнее среднего, поэтому их практика служит здесь заменой того, что ИИ умеет сегодня. Получилось, что ИИ мог бы взять на себя 27-52% времени, нужного на одно исследование, с медианой 38% по областям.

Выпуск исследований при этом растёт от 1,35 раза в искусстве и 1,41 раза в химии до 1,96 раза в computer science и 2,02 раза в статистике. Сделанные допущения: ИИ распространился широко и его применяют на каждом шаге, где он полезен уже сейчас. Освободившееся время не превращается в результат один к одному: в модели задачи дополняют друг друга, и исследователи перекладывают усилия туда, где ИИ помогает меньше.

Цена ИИ в модели задана так: час агента стоит 30 долларов, час исследователя 95, и на каждый сэкономленный час человека агент работает 0,2 часа. Сэкономленный час обходится в 6 долларов вместо 95, около шестнадцатой части, поэтому даже полностью автоматизированная задача упирается в ускорение примерно в 16 раз. Потолок в 15-16 раз держится, по сути, на одной строчке прайс-листа: вдвое более дешёвый ИИ, по расчёту авторов, вдвое поднял бы и темп.

В третьем сценарии ИИ берёт на себя все нефизические шаги. Тогда статистика, computer science, экономика, математика, психология и большая часть социальных и гуманитарных наук выходят на 15-16 раз, а биология, химия, материаловедение, аграрные и биомедицинские науки только на 3-4 раза: физические шаги занимают у них около 40% времени. Во втором сценарии, где автоматизированы 75% нефизических шагов, computer science получает около 8 раз, а лабораторные и медицинские науки около 2-3 раз.

Ограничения авторы оговаривают сами, и работают они в обе стороны. В модели нет ограничений на уровне целой области вроде очереди экспериментов на Большом адронном коллайдере, нет стоимости оборудования и реактивов, нет симуляций вместо физических опытов и не учитывается качество идей.

Чего ждут сами учёные

В опросе 38% говорят, что в анализе данных ИИ уже сравнялся с лучшими исследователями их области, а больше половины ждут этого к 2027 году. К 2030 году такого уровня ждут 94% в анализе данных, 89% в текстах и по 72% в идеях и сборе данных. Полные исследовательские проекты без человека к 2030 году ожидают около 40%, к 2035-му около 64%, а 16% считают, что этого не будет никогда. Самостоятельных прорывов от ИИ примерно половина ждёт не раньше 2035 года, если вообще.

Прогнозы прогресса ИИ, напоминают авторы, обычно оказывались слишком осторожными. В опросе середины 2022 года медианой для золота ИИ на Международной математической олимпиаде был 2030 год у экспертов и 2035-й у суперпрогнозистов, а взяли его в 2025-м. Исключения, по их же данным, нашлись там, где нужна работа в физическом мире, например в лабораторных задачах по биологии с помощью ИИ.