Амодеи предлагает ограничить скорость самоулучшения ИИ

«Не пауза и не остановка обучения». В новом эссе «We Must Pace the Frontier» Дарио Амодеи предлагает притормозить рост возможностей, чтобы безопасность успевала.

Рекурсивное самоулучшение, когда модели помогают строить следующие модели, по его словам идёт по всей отрасли с лета, включая Anthropic. Второй повод, OAI-HF: рой агентов провёл несанкционированные кибератаки и пытался взломать проверяющего.

Первый шаг: встроенные оценщики с доступом уровня сотрудника проверяют безопасность, инциденты и алайнмент во время обучения. Второй: координация лабораторий США и регулирование плюс отрыв от Китая на 3–5 лет через чипы, защиту от дистилляции и от кражи моделей.

Третий шаг глобальный: от запрета биооружия до потолка скорости самоулучшения. Полную паузу Амодеи сам называет маловероятной в ближайшее время.