Перейти к содержанию

Кодинг-агенты

AWS Emulator написали агенты, и чинить его будут тоже они

6 мин чтения

Наш ИИ-аналитик сам проверил эту историю: запускал, считал, сверял с оригиналами. Что мы проверили

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Всё о теме: Агенты для программирования →
Изображение: pexels.com

Агенты AWS написали AWS Emulator, локальный эмулятор API облака AWS, и поддерживать его тоже будут они: люди код не правят, а чинят самих агентов, рассказал The New Stack Том Каллауэй, главный стратег AWS по открытому ПО. Проект вышел 11 ноября под лицензией CC0. В опубликованном AWS файле оценок на день выхода эмулятор проходил 56,5% тестов на совпадение с настоящим AWS (сумму по сервисам посчитали мы), у DynamoDB и SQS около двух третей, у CloudFormation всего 18,9%, так что код на DynamoDB и SQS проверяется против него заметно точнее, чем шаблоны CloudFormation.

Эмулятор написан на Rust, работает без сети и без аккаунта AWS и покрывает 438 публичных моделей API, больше 200 сервисов. ИИ внутри нет: «Он вообще не обращается к LLM», говорит Каллауэй. Команда делала его в том числе для агентных инструментов: агенту нужно где-то гонять код против сервисов AWS, не получая учётных данных аккаунта. Эмуляторы бывали и раньше, в том числе у самой AWS, но «они очень быстро устаревают», объясняет Каллауэй. «Мы и внутри компании им не доверяли».

Для чего он годится

Поведения настоящих сервисов ждать не стоит, предупреждает Каллауэй. На жалобу, что SQL-запрос вернул не те результаты, у него готов ответ: «Угадайте, что? Базы данных там нет». Эмулятор, по его словам, «строился именно ради тестового покрытия». Неподдержанные операции отвечают HTTP 501 NotImplemented: в файле оценок на день выхода таких провалов 1 264, на 838 парах «сервис - операция».

В одном нашем прогоне одной сборки сервисы всё же вычисляли результат. Функция Lambda с рантаймом python3.12 выполнила код на RustPython 0.6.0, который называет себя Python 3.14.0 alpha, отработал и обработчик на Node. Query в DynamoDB с фильтром вернул ожидаемые Count 3 при ScannedCount 7, SQL через RDS Data API создал таблицу, вставил 4 строки и правильно посчитал GROUP BY, Athena на SELECT 1+1 ответила 2. А вызов converse в Bedrock вернул заготовленную фразу о том, что никакая модель не запущена.

Созданный нами кластер «Aurora PostgreSQL 17.9» при этом не PostgreSQL. SELECT version() упал с ошибкой в стиле SQLite, generate_series тоже не сработал, хотя обычный SQL, оконная функция и оператор jsonb прошли. Что под ним SQLite, мы заключаем по тексту ошибки и по rusqlite и sqlparser в списке лицензий пакета. Внутри Lambda import boto3 проходит, но у модуля нет __version__, и, судя по этой ошибке, настоящего SDK там нет.

Как агенты его строят

Началось всё с эксперимента на выходных, пишет Мэтт Голдберг, senior principal engineer команды AWS Developer Tools, в своём посте. Он попросил Kiro, агентный инструмент AWS для написания кода, сделать эмулятор Amazon SQS и через 15 минут получил «сносную первую версию», а за выходные Kiro собрал «остальной AWS». Пробелов хватало, но уже в понедельник его команда тестировала против эмулятора свой софт. Толчком Голдберг называет C-компилятор, который команда агентов Anthropic собрала ранее в этом году: при чёткой спецификации и эталонной реализации агенты справляются сами, а у AWS есть обе. «API-модели AWS - наша спецификация, а настоящее облако AWS - наша эталонная реализация».

Голдберг описывает тысячи автономных агентов, которые пишут тесты, находят проблемы и правят код без ревью человека. Они разбиты на три команды. Первая по Smithy-моделям, машиночитаемым описаниям API, из которых AWS генерирует все свои SDK, придумывает сценарии и подтверждает их на живом AWS: например, создать очередь, отправить сообщение, получить его, подтвердить получение и удалить очередь. «Если документация не говорит правду, источником истины становится облако», объясняет Каллауэй. Вторая команда гоняет те же сценарии на эмуляторе, группирует расхождения с общей причиной и заводит issues. Третья правит код, и он попадает в основную ветку только после сборки, тестов и ревью других агентов на безопасность, стандарты кода и регрессии.

Люди улучшают систему, которая управляет агентами. «Мы его не редактируем. Мы его не меняем», говорит Каллауэй о коде эмулятора: найденную ошибку команда прослеживает до агента и исправляет агента. Ранняя версия агентов однажды решила написать собственный интерпретатор Python ради функций Lambda; теперь им велено брать готовые библиотеки, и в проверенной нами сборке Lambda работает на встроенных RustPython для Python и QuickJS (rquickjs) для JavaScript.

Песочница первых итераций, по словам Каллауэя, была недостаточно жёсткой: опасались, что агенты полезут в исходники внутренних сервисов AWS, чтобы понять, как реализовать что-то вроде Aurora. Много времени ушло и на то, чтобы убедить руководство Amazon, что система не «пойдёт вразнос».

Issues можно, пул-реквесты нет

«Пул-реквесты в проект мы принимать не будем вообще. Этим займутся агенты», говорит Каллауэй. От клиентов ждут issues, в основном со сценариями, которые эмулятор пока обрабатывает плохо; если агенты раз за разом ошибаются в каком-то API, «это баг в агенте». AWS публикует и бенчмарк, по которому проверяет эмулятор, «чтобы вы могли нам не доверять» и прогнать его сами.

CC0 переводит код в общественное достояние: AWS не уверена, что работа агентов охраняется авторским правом, и не хотела заявлять права, которых может не быть. Исключение составляет каталог vendor/ под Apache-2.0. Новые сервисы AWS, по ожиданиям Каллауэя, будут появляться в эмуляторе за «дни, не недели и не месяцы», хотя в публичном проекте это ещё не проверялось. Подробнее AWS обещает рассказать на re:Invent, которая начинается 30 ноября.

Авторский разбор

Что мы проверили

В день выхода мы посчитали опубликованные AWS файлы оценок для релизов v1.0.290 и v1.0.322, сопоставили их с публичным списком тестов и запустили эмулятор через boto3.

Как мы проверяем истории

The New Stack называет платформами Linux, macOS и Windows, но по документации AWS нативно эмулятор работает только на Linux, а на macOS и Windows запускается в Docker из образа, который пользователь собирает сам. Без сети и аккаунта AWS он действительно обходится, однако по умолчанию отправляет телеметрию в AWS и требует собственные сгенерированные ключи, фиктивные отвергая. Совпадение с облаком по меркам самой AWS неровное: в сумме чуть больше половины тестов при большом разбросе между сервисами.

СервисПройдено тестовДоля
DynamoDB1 153 из 1 69468,1%
SQS1 032 из 1 52367,8%
S31 763 из 2 81462,7%
Lambda1 561 из 3 00651,9%
EC2958 из 2 47038,8%
CloudFormation795 из 4 20618,9%
Все (наша сумма)24 243 из 42 93756,5%
  • Тест, затрагивающий несколько сервисов, засчитывается каждому из них. Из 355 сервисов с оценкой 12 проходят всё, 21 не проходит ничего.
  • Операции управления ресурсами (control plane) проходят чаще, чем операции с данными (data plane): 67,2% против 53,4% на 29 255 поведенческих тестах, которые удалось сопоставить со списком. Тесты нативных протоколов данных проходят 0 из 156. Направление AWS в документации признаёт, цифр не приводит.
  • Между двумя релизами, оценёнными с разницей около 17 часов, доля выросла с 55,8% до 56,5%: 651 тест перешёл из провала в успех, 204 наоборот. По документации AWS, пройденные тесты не откатываются, хотя тест могут пересобрать; какие из этих 204 пересобраны, мы сказать не можем.

AI-индустрияБизнес и сделки

Bloomberg: ByteDance готовит агента по образцу Muse от Meta

Сооснователь ByteDance Чжан Имин, по данным Bloomberg, назвал срок, когда компания сможет тягаться с Anthropic и OpenAI: не раньше 2029 или 2030 года. Ассистент по образцу Muse, по плану, должен выйти раньше, в ближайшие недели. Ассистента ByteDance попробуете в первый же день или дождётесь отзывов?

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.