Директор Microsoft назвал обучение на новостях кражей

Внутренние данные Microsoft показывают, что переходы по ссылкам на сайты одних изданий-истцов упали на 83-93%, других на 51-94%. Эти цифры есть в ходатайстве о решении без полноценного процесса (summary judgment), которое подали новостные издания во главе с The New York Times. Иск направлен против Microsoft и OpenAI, а 17 сентября суд снял с ходатайства гриф секретности, сообщает Ars Technica.

Вместе с цифрами открылась внутренняя переписка, которую компании годами просили считать конфиденциальной. Брент Хект, директор по прикладной науке Microsoft, по словам истцов, не раз называл сбор новостей для обучения ИИ «поразительной кражей беспрецедентных масштабов», а возможно, и «крупнейшей кражей труда в истории человечества». В другом документе он писал, что план массово собирать новости превращает идею fair use в «полную насмешку». А fair use, добросовестное использование по американскому авторскому праву, лежит в основе защиты обеих компаний.

Дело The New York Times подано в декабре 2023 года в федеральный суд Южного округа Нью-Йорка, его ведёт судья Сидни Стайн. В 2025 году он отклонил большую часть ходатайства о прекращении дела, а вопрос о fair use оставил на потом: для него, по мнению судьи, нужна полная фактическая база. Встречные ходатайства об упрощённом решении по fair use стороны подали 4 сентября, ответы на них ждут к 6 ноября. На стороне компаний выступило и Министерство юстиции США: заявление в поддержку OpenAI и Microsoft оно подало в начале сентября.

«Петля обречённости»

В одном документе Microsoft описана «петля обречённости», которая, как там сказано, «ударит и по качеству наших моделей, и по всему вебу одновременно». Механизм такой: чат-бот отвечает вместо сайта, издание теряет трафик и деньги, и со временем модели остаются без надёжных свежих текстов, на которых их учат и которыми подкрепляют ответы. Автор документа пишет: «Крайне необычно, когда конечный продукт угрожает экономическим основам своих ключевых поставщиков, но именно такую ситуацию мы создали для нашего LLM-бизнеса в отношении его „цепочки поставок контента“». В другом внутреннем документе, по словам истцов, признаётся «реальный риск» того, что генеративный ИИ «существенно подорвёт» занятость тех самых людей, чьи данные пошли на обучение базовой модели. К документу приложили и карикатуру о языковых моделях, которые разрушают собственную цепочку поставок.

Хект отмечал и другое: «почти никто из авторов не рассчитывал, что созданное ими будет использоваться так, и никто не получает за это компенсации».

В OpenAI думали похоже. Ник Тёрли, глава ChatGPT, писал, что коммерческие продукты, обученные на новостях и способные их заменить, станут для издателей «экзистенциальной угрозой». Чат-боты он назвал «в основном замещающими, точка» и предсказал, что по мере улучшения они будут замещать всё больше. По словам истцов, Тёрли соглашался, что у пользователя «нет веской причины кликать», когда ответ уже есть в чате. Один инженер OpenAI выразился ещё прямее: «как бы заметно мы ни показывали ссылки, пользователи кликать не будут».

Пейволл и «Ah, nice»

Сатья Наделла под присягой заявил, что ИИ-компании не должны нарушать условия использования новостных сайтов и обходить пейволлы. Он же признал, что чат-боты заменяют новостные площадки и забирают у них клики, «выдавая информацию прямо на ИИ-платформе, вместо того чтобы отправлять человека к первоисточнику». Во внутренней переписке OpenAI сотрудник Ник Райдер сообщил президенту компании Грегу Брокману, что нашёлся «хак», с которым краулеры OpenAI могут «обойти» пейволл NYT. Брокман ответил: «Ah, nice».

Истцы утверждают, что вместо того чтобы бороться с дословной выдачей статей, компании усложнили издателям проверку. Речь о фильтре, который, как писал Хект, можно воспринять как «случайное сокрытие»: из-за него у «тех, кто имеет права на контент», будет меньше возможностей увидеть, что ушло в обучение.

Есть претензии и к происхождению данных. По версии истцов, Microsoft нарушила «отраслевые нормы»: она продала OpenAI для обучения датасет, который купила для Bing, и не спросила издателей, хотя те соглашались только на обычный поисковый обход. OpenAI же, как утверждается в ходатайстве, получила датасет NYT из 1,8 миллиона статей от третьей стороны, связанной соглашением о некоммерческом использовании. Сотрудники понимали, что учить на нём модель «было бы неуместно», но сделали это.

Как ловили дословную выдачу

Ранний приём истцов заключался в том, чтобы раз за разом спрашивать бота «какая следующая строка?». Позже нашлись другие пути. Длинные куски статей чат-боты выдавали в ответ на просьбу о кратком пересказе или о ключевых тезисах. Особенно хорошо работала просьба «оценить предвзятость» статьи. Срабатывала и просьба выбрать любую статью с главной страницы конкретного сайта.

Решения без процесса истцы просят только по статьям, где выдача показывает «обширное дословное совпадение». По остальным они готовы спорить на суде. Ставки высоки: за умышленное нарушение законом предусмотрена компенсация до 150 000 долларов за каждое произведение, а The New York Times добивается «миллиардов долларов».

Претензии издателей касаются не только этих двух компаний, но и всех, кто, по их словам, «паразитирует» на их контенте. В пример они приводят Google AI Overviews: функция появилась вскоре после запуска ChatGPT и отобрала у новостных сайтов ещё больше трафика. Свою позицию истцы описывают как дилемму заключённого: отрасли в целом выгодно, чтобы все платили за контент, но каждой отдельной компании выгоднее брать его бесплатно, пока платят другие. Если суд признает, что копирование новостей для ИИ не подпадает под fair use, все ИИ-компании окажутся «в равных условиях». В доказательство жадности истцы цитируют Брокмана: его «глубоко мотивируют гaзиллионы», которые можно заработать на коммерциализации технологий OpenAI.

Представитель Microsoft настаивает, что продукты компании трансформируют исходный материал и не заменяют новостные сайты. Показания Наделлы, по его словам, касались «общих принципов и перемен в том, как люди находят и потребляют информацию», и были лишь «наблюдениями», которые «не следует путать с выводами по вопросам авторского права». Документы Хекта, по версии компании, «отражают личную точку зрения одного сотрудника, не являются юридическим анализом и не выражают позицию компании».

Стивен Либерман, адвокат New York Daily News и семи родственных газет, с этим не согласен. По его словам, раскрытые документы показывают, что OpenAI и Microsoft «знали, что поступают неправильно». «Ответчики на протяжении всего дела требовали считать эти документы конфиденциальными, чтобы публика их не увидела, - сказал Либерман. - Что ж, теперь кот вылез из мешка».