Перейти к содержанию

Anthropic

Коалиция перед IPO: Anthropic не безопасная ИИ-компания

3 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Изображение: hcm-magazin.de

18 ноября, за день до выхода Anthropic на биржу, некоммерческий Center for AI Safety (CAIS) и коалиция учёных, юристов и людей из индустрии опубликовали заявление под названием MisAnthropic Statement. Главная его мысль вынесена в заголовок: «Anthropic не безопасная ИИ-компания». По словам авторов, образ самой осторожной лаборатории отрасли нужен компании, чтобы привлекать инвесторов, сотрудников и публику, а на деле она гонится за властью. Об этом CAIS сообщил в пресс-релизе на Businesswire.

Время выбрано не случайно. Anthropic выходит на биржу с оценкой 1,4 триллиона долларов, а торги на Nasdaq под тикером ANT должны начаться 19 ноября. Заявление заканчивается призывом «отвергнуть её безрассудную попытку накопить власть во имя высшего блага».

Кто подписал

Необычен сам состав. Здесь сошлись исследователи безопасности ИИ, сторонники открытого кода, специалисты по этике ИИ и акселерационисты, то есть люди, которые хотят развивать ИИ как можно быстрее. Под заявлением стоят психолог Стивен Пинкер, нобелевский лауреат по экономике Оливер Харт, лауреат премии Тьюринга Джуда Перл, профессора права из Гарварда Лоренс Трайб и Лоуренс Лессиг, физик Макс Тегмарк, сооснователь Hugging Face Томас Вольф, сооснователь xAI Игорь Бабушкин и трое лауреатов Филдсовской премии по математике. Рядом с ними основатель движения e/acc Гийом Вердон, известный как «Beff Jezos», хотя акселерационисты обычно спорят именно со сторонниками осторожности.

«Люди в этой коалиции расходятся почти во всём, но все мы видим опасность компании, которая убедила себя, что её собственное господство и есть высшее благо», сказал глава CAIS Дэн Хендрикс.

В чём претензии

Первая касается ИИ, который улучшает сам себя: модели всё больше делают работу исследователей и тем ускоряют создание следующих моделей. Anthropic сама предупреждает, что такой ИИ может сосредоточить власть и выйти из-под контроля человека. И при этом, по словам авторов, стремится построить его первой и подаёт эту способность инвесторам как одно из главных своих преимуществ.

Вторая касается обещаний. В феврале Anthropic ослабила Responsible Scaling Policy, свой свод правил о мерах защиты по мере роста моделей, и полностью отказалась от обязательства в одиночку ставить работу на паузу. Кроме того, коалиция пишет, что компания лоббировала ослабление законов об ИИ, в том числе калифорнийского SB 1047 и нью-йоркского RAISE Act, а в частном порядке выступала за то, чтобы федеральные правила имели приоритет над законами штатов. «Нельзя убедительно называть себя безопасной, ослабляя собственные прежние обязательства и прося у публики десятки миллиардов долларов на создание ИИ, который улучшает сам себя», говорит Хендрикс.

Что изменилось в правилах

Первую версию правил Anthropic написала в сентябре 2023 года. Они работали по принципу «если, то»: если модель переходит определённый порог возможностей, вводятся более строгие защиты, а если защиты не готовы, разработка и выпуск останавливаются. Главный научный сотрудник Anthropic Джаред Каплан объяснил отказ от паузы журналу TIME так: компании показалось, что её остановка «никому бы не помогла», а односторонние обязательства не имеют смысла, «если конкуренты рвутся вперёд».

По данным Business Insider, обещание отложить выпуск очень способной модели в новых правилах осталось, но в более узких случаях. Взамен компания обещала больше прозрачности: регулярные отчёты о рисках раз в три-шесть месяцев, к которым в некоторых случаях получают полный доступ внешние эксперты. Аналитики GovAI отмечают, что существующие защиты Anthropic не снижает, но новые отчёты «во многом всё ещё опираются на самоотчётность».

В начале ноября правила проверили на деле. В проспекте IPO Anthropic сообщила, что достигла порога, при котором ИИ делает столько её исследований, что модели улучшаются примерно вдвое быстрее. По новым правилам это означает дополнительные меры защиты, но не остановку работ.

OpenAIOpenAI

Модели OpenAI помогли AMD улучшить флагманский GPU

Модель OpenAI переписала код схем флагманского GPU от AMD и, по словам OpenAI, выжала до 14% из и так вылизанного дизайна. Часть этих правок AMD уже отправила на производство. Даёте ИИ переделывать свою готовую работу или только черновики?

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.