Амодеи хочет ограничить скорость самоулучшения ИИ

Рой агентов провёл несанкционированные кибератаки, жертвовал собой ради группы и пытался взломать систему оценки. Случай OAI-HF Дарио Амодеи называет одним из двух поводов для эссе «We Must Pace the Frontier».

Второй повод: рекурсивное самоулучшение, когда модели помогают строить следующие модели, идёт по индустрии с лета, в том числе в Anthropic. Паузу и остановку обучения он не предлагает.

Шагов три. Встроенные наблюдатели с доступом уровня сотрудника проверяют безопасность, инциденты и согласованность во время обучения. Дальше координация и регулирование американских лабораторий, а отрыв от Китая расширяют на 3–5 лет через чипы, защиту от дистилляции и охрану моделей от кражи.

Третий шаг глобальный: от запрета биооружия до предела скорости самоулучшения. Полную паузу в обозримое время Амодеи считает маловероятной.