Руководство Anthropic предлагает ведущим ИИ-лабораториям замедлить темпы создания моделей. Авторы инициативы, Марина Фаваро и Джек Кларк, указывают на риск рекурсивного самосовершенствования, при котором системы смогут улучшать себя без участия человека.
Компания предлагает заключить глобальное соглашение о временной остановке разработки передовых моделей. Такой механизм должен позволить общественным институтам адаптироваться к развитию технологий. В публикации отмечается, что хотя самосовершенствование еще не достигнуто, оно может произойти быстрее, чем ожидалось.
На текущий момент Anthropic оценивается почти в 1 триллион долларов и готовит документы для выхода на биржу. Годовая выручка компании к концу текущего месяца достигнет 50 миллиардов долларов.