Перейти к содержанию

Anthropic

Три лаборатории изучили около 250 000 диалогов с Claude

5 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Изображение: anthropic.com

Весной три внешние исследовательские группы сами сформулировали вопросы к реальным диалогам с Claude, а Anthropic прогнала эти вопросы через свой внутренний инструмент Anthropic Insights. Ни одной переписки исследователи не видели: им достались только итоговые категории и доли разговоров в каждой из них. Итоги пилота компания подвела 26 августа в блоге Anthropic, там же она опубликовала агрегированные данные всех трёх проектов.

Участвовали SALT Lab из Стэнфорда, Human Information Processing Lab из Оксфорда и некоммерческая METR, которая оценивает передовые модели. Каждая группа получила около 250 000 разговоров в Claude.ai или Claude Code за апрель и май 2026 года. Право Anthropic на проверку текстов договор ограничил четырьмя темами: приватность пользователей, сведения, которые помогли бы нарушать правила использования, конфиденциальная информация компании и точность исследования. В остальном на выводы компания не влияет, и публиковать их партнёры могут, даже если результат для Anthropic неудобен. По оценке Anthropic, внешние исследователи впервые провели публичные независимые исследования на данных об использовании, которые принадлежат самой ИИ-компании. Защиту приватности в выданных данных отдельно проверил аудит Imperial College London.

Вопрос вместо выборки

Схема работы такая. Исследователь пишет вопрос, например «Какого рода совета просит этот человек?», и Claude отвечает на него по каждому разговору из выборки. Ответы затем сводятся в категории, и наружу выходят только названия категорий с процентом разговоров. Перед передачей результаты проходят ту же юридическую проверку и проверку на приватность, что и внутренняя работа компании.

Инструмент раньше назывался Clio, а 24 августа на его странице появилась пометка о переименовании. По описанию Anthropic, все этапы обработки там выполняет Claude, а не аналитики: он извлекает из разговоров признаки, группирует похожие диалоги, пишет для групп названия и описания без личных данных и проверяет, что в описаниях нет слишком конкретных деталей. Минимальный порог уникальных пользователей или разговоров не даёт вывести наружу редкие темы. Статью о Clio выложили на arXiv 18 декабря 2024 года, тогда метод опробовали на миллионе разговоров пользователей Claude.ai Free и Pro.

Слабое место в формулировке

Раз категории расставляет Claude, результат сильно зависит от того, как сформулирован вопрос. Неудачная формулировка раскладывает разговоры по категориям, которые искажают их содержание, а поймать такую ошибку трудно: исходные диалоги никто прочитать не может. Внутри компании с этим справляются так: неделями переписывают вопросы и запускают их снова и снова.

У внешних групп такой возможности не было, потому что повторная проверка на приватность перед выдачей каждого набора данных сделала бы исследование невыполнимым. Поэтому вопросы сначала обкатывали на WildChat, публичном наборе диалогов людей с ИИ, где ответы можно сверить с самими переписками. Но в WildChat больше бытового и творческого использования, чем в трафике Claude, и часть вопросов, хорошо работавших там, на настоящих разговорах с Claude дала вводящие в заблуждение категории. В Anthropic ответили на это рекомендациями по чтению результатов, которые вошли в приложение к посту, и ищут способ заранее отлаживать вопросы и категории. Сам пилот компания называет медленным по меркам ИИ-лаборатории и затратным, и оба фактора мешают его масштабировать.

Что нашли группы

SALT Lab изучала, как люди работают вместе с ИИ. Прежние исследования предполагали, что ИИ поручают задачи с низкой ответственностью, а работу, которая затрагивает других или которую трудно отменить, люди оставляют себе. В выборке же более чем в половине разговоров с Claude человек передавал ему именно такие ответственные задачи, чаще всего когда искал профессиональный совет по юридическим или финансовым вопросам. Почти в трёх четвертях разговоров направление задавал человек, а Claude помогал, и выдачу обычно дорабатывали, а не брали дословно. Трения при совместной работе встречаются часто, но, по выводу лаборатории, нередко идут на пользу: разбираясь, где запрос поняли не так, люди уточняют намерение и получают результат лучше.

Оксфордская группа смотрит, как связаны ощущения людей с поведением модели. Теплота Claude соседствует с более позитивным настроем собеседника, отказы и несогласие с ответным сопротивлением, эксцентричность с большей интеллектуальной вовлечённостью, а обычная помощь с удовлетворённостью. Связи между состояниями вроде увлечённости, раздражения и удовольствия оказались очень похожи на те, что нашло отдельное исследование обычного веб-сёрфинга.

METR оценивает реальный прирост продуктивности от агентов для кода. Группа сравнила оценки Claude о том, сколько задача заняла бы без ИИ, с фактическим временем работы с разными моделями Claude. Предварительно выходит, что новые модели заметно ускоряют работу по сравнению со старыми. Оценки самого Claude проверили на времени выполнения задач из прежнего исследования с разработчиками, и они коррелировали с реальным временем. Тема пересекается с работой экономистов Anthropic «Agentic coding and persistent returns to expertise», и компания свела METR со своей экономической командой, что, по её словам, улучшило работу обеих сторон. В списке участников METR значится Джоэл Беккер с пометкой, что теперь он работает в Anthropic.

Полный отчёт пока есть только у SALT Lab, а оксфордская группа и METR ещё дописывают свои, так что по двум из трёх проектов на руках лишь предварительные выводы.

Что вырезали из выдачи

Часть категорий в результатах выявила нарушения правил использования или условий сервиса, например людей, которые искали советы по запрещённой деятельности. Большую часть таких категорий Anthropic оставила, решив, что о злоупотреблениях публике стоит знать. Убирали или меняли те, где описывалось, как пользователи обходили защитные механизмы, а не что пытались сделать. В каждом исследовании это затронуло меньше 5% категорий и разговоров, и всякий раз исследователям говорили, какие кластеры изменены или удалены и почему. Агрегированные данные о таких нарушениях по стандартной процедуре уходят в команду Safeguards.

Решения о расширении программы пока нет: Anthropic говорит, что начинает медленно, ради приватности, безопасности и качества исследований, и сначала хочет понять спрос. Исследователи, которым доступ к Anthropic Insights открыл бы работу, невозможную для них сегодня, могут заполнить форму заявки, приложенную к посту.

OpenAIOpenAI

Codex фиксирует рабочие процессы в Runme

Файл *.index.md в Google Drive помогает Codex находить прошлые запуски Runme. В них сохраняются инструкции, команды и решения, чтобы повторяющиеся оценки моделей проходили с накопленным контекстом.

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.