AWS Emulator написали агенты, и чинить его будут тоже они

Агенты AWS написали AWS Emulator, локальный эмулятор API облака AWS, и поддерживать его тоже будут они: люди код не правят, а чинят самих агентов, рассказал The New Stack Том Каллауэй, главный стратег AWS по открытому ПО. Проект вышел 11 ноября под лицензией CC0. В опубликованном AWS файле оценок на день выхода эмулятор проходил 56,5% тестов на совпадение с настоящим AWS (сумму по сервисам посчитали мы), у DynamoDB и SQS около двух третей, у CloudFormation всего 18,9%, так что код на DynamoDB и SQS проверяется против него заметно точнее, чем шаблоны CloudFormation.
Эмулятор написан на Rust, работает без сети и без аккаунта AWS и покрывает 438 публичных моделей API, больше 200 сервисов. ИИ внутри нет: «Он вообще не обращается к LLM», говорит Каллауэй. Команда делала его в том числе для агентных инструментов: агенту нужно где-то гонять код против сервисов AWS, не получая учётных данных аккаунта. Эмуляторы бывали и раньше, в том числе у самой AWS, но «они очень быстро устаревают», объясняет Каллауэй. «Мы и внутри компании им не доверяли».
Для чего он годится
Поведения настоящих сервисов ждать не стоит, предупреждает Каллауэй. На жалобу, что SQL-запрос вернул не те результаты, у него готов ответ: «Угадайте, что? Базы данных там нет». Эмулятор, по его словам, «строился именно ради тестового покрытия». Неподдержанные операции отвечают HTTP 501 NotImplemented: в файле оценок на день выхода таких провалов 1 264, на 838 парах «сервис - операция».
В одном нашем прогоне одной сборки сервисы всё же вычисляли результат. Функция Lambda с рантаймом python3.12 выполнила код на RustPython 0.6.0, который называет себя Python 3.14.0 alpha, отработал и обработчик на Node. Query в DynamoDB с фильтром вернул ожидаемые Count 3 при ScannedCount 7, SQL через RDS Data API создал таблицу, вставил 4 строки и правильно посчитал GROUP BY, Athena на SELECT 1+1 ответила 2. А вызов converse в Bedrock вернул заготовленную фразу о том, что никакая модель не запущена.
Созданный нами кластер «Aurora PostgreSQL 17.9» при этом не PostgreSQL. SELECT version() упал с ошибкой в стиле SQLite, generate_series тоже не сработал, хотя обычный SQL, оконная функция и оператор jsonb прошли. Что под ним SQLite, мы заключаем по тексту ошибки и по rusqlite и sqlparser в списке лицензий пакета. Внутри Lambda import boto3 проходит, но у модуля нет __version__, и, судя по этой ошибке, настоящего SDK там нет.
Как агенты его строят
Началось всё с эксперимента на выходных, пишет Мэтт Голдберг, senior principal engineer команды AWS Developer Tools, в своём посте. Он попросил Kiro, агентный инструмент AWS для написания кода, сделать эмулятор Amazon SQS и через 15 минут получил «сносную первую версию», а за выходные Kiro собрал «остальной AWS». Пробелов хватало, но уже в понедельник его команда тестировала против эмулятора свой софт. Толчком Голдберг называет C-компилятор, который команда агентов Anthropic собрала ранее в этом году: при чёткой спецификации и эталонной реализации агенты справляются сами, а у AWS есть обе. «API-модели AWS - наша спецификация, а настоящее облако AWS - наша эталонная реализация».
Голдберг описывает тысячи автономных агентов, которые пишут тесты, находят проблемы и правят код без ревью человека. Они разбиты на три команды. Первая по Smithy-моделям, машиночитаемым описаниям API, из которых AWS генерирует все свои SDK, придумывает сценарии и подтверждает их на живом AWS: например, создать очередь, отправить сообщение, получить его, подтвердить получение и удалить очередь. «Если документация не говорит правду, источником истины становится облако», объясняет Каллауэй. Вторая команда гоняет те же сценарии на эмуляторе, группирует расхождения с общей причиной и заводит issues. Третья правит код, и он попадает в основную ветку только после сборки, тестов и ревью других агентов на безопасность, стандарты кода и регрессии.
Люди улучшают систему, которая управляет агентами. «Мы его не редактируем. Мы его не меняем», говорит Каллауэй о коде эмулятора: найденную ошибку команда прослеживает до агента и исправляет агента. Ранняя версия агентов однажды решила написать собственный интерпретатор Python ради функций Lambda; теперь им велено брать готовые библиотеки, и в проверенной нами сборке Lambda работает на встроенных RustPython для Python и QuickJS (rquickjs) для JavaScript.
Песочница первых итераций, по словам Каллауэя, была недостаточно жёсткой: опасались, что агенты полезут в исходники внутренних сервисов AWS, чтобы понять, как реализовать что-то вроде Aurora. Много времени ушло и на то, чтобы убедить руководство Amazon, что система не «пойдёт вразнос».
Issues можно, пул-реквесты нет
«Пул-реквесты в проект мы принимать не будем вообще. Этим займутся агенты», говорит Каллауэй. От клиентов ждут issues, в основном со сценариями, которые эмулятор пока обрабатывает плохо; если агенты раз за разом ошибаются в каком-то API, «это баг в агенте». AWS публикует и бенчмарк, по которому проверяет эмулятор, «чтобы вы могли нам не доверять» и прогнать его сами.
CC0 переводит код в общественное достояние: AWS не уверена, что работа агентов охраняется авторским правом, и не хотела заявлять права, которых может не быть. Исключение составляет каталог vendor/ под Apache-2.0. Новые сервисы AWS, по ожиданиям Каллауэя, будут появляться в эмуляторе за «дни, не недели и не месяцы», хотя в публичном проекте это ещё не проверялось. Подробнее AWS обещает рассказать на re:Invent, которая начинается 30 ноября.
Авторский разбор
Что мы проверили
В день выхода мы посчитали опубликованные AWS файлы оценок для релизов v1.0.290 и v1.0.322, сопоставили их с публичным списком тестов и запустили эмулятор через boto3.
The New Stack называет платформами Linux, macOS и Windows, но по документации AWS нативно эмулятор работает только на Linux, а на macOS и Windows запускается в Docker из образа, который пользователь собирает сам. Без сети и аккаунта AWS он действительно обходится, однако по умолчанию отправляет телеметрию в AWS и требует собственные сгенерированные ключи, фиктивные отвергая. Совпадение с облаком по меркам самой AWS неровное: в сумме чуть больше половины тестов при большом разбросе между сервисами.
| Сервис | Пройдено тестов | Доля |
|---|---|---|
| DynamoDB | 1 153 из 1 694 | 68,1% |
| SQS | 1 032 из 1 523 | 67,8% |
| S3 | 1 763 из 2 814 | 62,7% |
| Lambda | 1 561 из 3 006 | 51,9% |
| EC2 | 958 из 2 470 | 38,8% |
| CloudFormation | 795 из 4 206 | 18,9% |
| Все (наша сумма) | 24 243 из 42 937 | 56,5% |
- Тест, затрагивающий несколько сервисов, засчитывается каждому из них. Из 355 сервисов с оценкой 12 проходят всё, 21 не проходит ничего.
- Операции управления ресурсами (control plane) проходят чаще, чем операции с данными (data plane): 67,2% против 53,4% на 29 255 поведенческих тестах, которые удалось сопоставить со списком. Тесты нативных протоколов данных проходят 0 из 156. Направление AWS в документации признаёт, цифр не приводит.
- Между двумя релизами, оценёнными с разницей около 17 часов, доля выросла с 55,8% до 56,5%: 651 тест перешёл из провала в успех, 204 наоборот. По документации AWS, пройденные тесты не откатываются, хотя тест могут пересобрать; какие из этих 204 пересобраны, мы сказать не можем.
Дальше
Bloomberg: ByteDance готовит агента по образцу Muse от Meta
Сооснователь ByteDance Чжан Имин, по данным Bloomberg, назвал срок, когда компания сможет тягаться с Anthropic и OpenAI: не раньше 2029 или 2030 года. Ассистент по образцу Muse, по плану, должен выйти раньше, в ближайшие недели. Ассистента ByteDance попробуете в первый же день или дождётесь отзывов?
Читайте также
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

