Claude взял интервью почти у 81 000 человек

Почти 81 000 человек из 159 стран на 70 языках рассказали, как ИИ изменил их жизнь, и расспрашивал их не социолог, а Claude. Так работает Anthropic Interviewer, исследовательский инструмент, который Anthropic описывает на своём сайте как способ вести подробные разговорные интервью в больших масштабах.

Коротко

• Anthropic построила на базе Claude инструмент, который сам ведёт интервью с людьми, подстраивает уточняющие вопросы под их ответы и передаёт собранное исследователям для анализа.
• Работа идёт в три этапа: планирование вместе с командой, живой разговор на языке участника и сводный анализ с темами и цитатами, который исследователи проверяют и интерпретируют.
• В описании инструмента не сказано, как набирали участников и насколько выборка отражает население, а отношение людей к ИИ здесь выясняет сам ИИ, что может влиять на откровенность.

Если вы не следили: Anthropic и раньше изучала, как люди пользуются Claude, и эти работы хорошо показывали, для чего его применяют. Гораздо хуже они отвечали на другие вопросы: как ответы Claude влияют на людей, что те думают об ИИ и какую роль отводят ему в своём будущем. В Anthropic говорят, что для полной картины влияния ИИ на жизнь людей их нужно спрашивать напрямую.

Глобальный пилот опросил почти 81 000 человек в 159 странах

Anthropic уже провела с помощью Interviewer несколько исследований. Самое крупное компания называет глобальным исследовательским пилотом: почти 81 000 человек из 159 стран на 70 языках своими словами рассказали, как ИИ повлиял на их жизнь и чего они хотят от этой технологии.

На другом конце шкалы стоит небольшое тестовое исследование. В нём Anthropic выясняла, как работники, учёные и люди творческих профессий встраивают ИИ в свою профессиональную жизнь. Собранное идёт в направление Societal Impacts, где компания изучает влияние ИИ на общество, и, по её словам, помогает решать, каким делать Claude. Результаты конкретных опросов Anthropic публикует отдельными материалами.

Claude пишет план интервью, но утверждают его исследователи

Работа с Interviewer делится на три этапа. На первом, планировании, исследователи формулируют вопросы и цели исследования. Claude по ним составляет гайд интервью, то есть стратегию разговора и список вопросов с опорой на устоявшиеся практики. Команда дорабатывает этот черновик и утверждает финальную версию.

На втором этапе Claude ведёт разговор в реальном времени. Он задаёт уточняющие вопросы в зависимости от того, что рассказал конкретный участник, и говорит с ним на его собственном языке. Перед тем как согласиться на интервью, каждый участник узнаёт, как Anthropic собирается использовать его ответы.

Представьте журналиста, который пришёл с подготовленным списком вопросов, но, услышав неожиданную деталь, просит рассказать о ней подробнее. Обычная анкета так не умеет: она задаёт всем одно и то же в одном порядке. Interviewer устроен как такой журналист, только разговоров у него десятки тысяч.

Анализ сверяет ответы с исходным планом исследования

На третьем этапе инструмент сводит ответы и сопоставляет их с первоначальным планом. Он выделяет темы, которые проявились в разговорах, и подбирает показательные цитаты. Исследователи участвуют в анализе на всём его протяжении: проверяют выводы и решают, как их толковать.

Весь цикл выглядит так: люди задают рамку в начале и проверяют результат в конце, а Claude берёт на себя середину, где объём работы растёт с каждым новым участником. Для Interviewer у Anthropic действует отдельная политика конфиденциальности.

Дальше выводы выходят за пределы компании. Anthropic пишет, что в соответствии со своими политическими обязательствами делится ими с политиками, независимыми исследователями и публикой, чтобы разговор о развитии ИИ не ограничивался её собственными стенами.

Описание инструмента оставляет открытыми несколько вопросов: как набирали почти 81 000 участников, насколько выборка представляет 159 стран и насколько точно Claude обобщает ответы на 70 языках. На наш взгляд, главная тонкость заложена в самой схеме: об отношении к ИИ людей расспрашивает сам ИИ. Такой собеседник, вероятно, влияет на то, что и как участники готовы ему сказать.

Что неизвестно о следующих волнах опросов

Сроки новых исследований с Interviewer Anthropic не называет. Неизвестно и то, получат ли доступ к инструменту внешние исследователи или он останется внутренним. Проверять методику стоит по отдельным отчётам об опросах: именно там можно будет увидеть, как отбирали участников, как обрабатывали ответы на разных языках и где проходят границы выборки.