본문 바로가기

블로그

AWS Emulator는 사람이 코드를 한 줄도 검토하지 않았습니다

6분 분량

이 글은 한국어로만 제공돼요. English articles →

AWS 로고와 AWS 주황색으로 만든 표지입니다.
AWS 로고와 AWS 주황색으로 만든 표지입니다.

11월 11일(미국 시간) AWS가 내 컴퓨터에서 AWS를 흉내 내는 AWS Emulator를 정식으로 출시했습니다. AWS CLI나 SDK, 코딩 에이전트가 진짜 AWS 대신 로컬 주소로 요청을 보내면, S3 버킷을 만들고 DynamoDB 테이블에 값을 넣는 일이 클라우드에 배포하지 않고도 돌아갑니다. 별도 이용료는 없고 코드는 CC0, 저작권을 주장하지 않는 공개 기증으로 풀었어요.

화제가 된 건 기능보다 만든 방식입니다. 이 프로젝트를 처음 시작한 AWS 시니어 수석 엔지니어 Matthew Goldberg는 출시 글에 “에뮬레이터는 전부 자율 에이전트가 썼고, 우리 팀은 코드를 한 줄도 쓰거나 검토하지 않았다”고 적었습니다. 해커뉴스에서는 1면에 올라 11월 12일 기준 739점, 댓글 225개를 받았어요.

AWS 서비스 438개를 노트북 한 대에서 흉내 냅니다.

사용법은 단순합니다. 리눅스에서는 RPM이나 데비안 패키지로 설치하고, macOS와 윈도우에서는 문서에 있는 짧은 Dockerfile로 컨테이너를 만들어 띄웁니다. 실행하면 127.0.0.1:9297에서 HTTPS로 요청을 받고, 자체 인증 키와 설정 파일, 인증서를 만들어 둡니다. 환경 변수만 이 주소로 바꾸면 애플리케이션 코드는 그대로 둔 채 테스트가 로컬로 향해요.

에뮬레이터가 만드는 접근 키는 EMULATOR로 시작해서 진짜 AWS 키와 헷갈릴 일이 없고, 다른 키로 서명한 요청은 거절합니다. 계정은 000000000000 하나뿐이에요. 러스트로 짰고, 러스트 SDK에서는 테스트 프로세스 안에 에뮬레이터를 통째로 넣어 테스트마다 따로 띄우는 임베디드 모드도 쓸 수 있습니다.

범위가 넓습니다. AWS가 SDK를 만들 때 쓰는 공개 API 모델(Smithy 형식)을 그대로 읽어서 만들었기 때문에, 요청과 오류의 모양이 실제 AWS와 같아요. Goldberg는 저장소를 처음 만들 때 AWS API 모델 438개의 요청을 받기만 하고 아무것도 하지 않는 빈 웹 서버를 생성했다고 밝혔습니다. 실제로 저장소의 services 폴더에도 서비스별 크레이트가 438개 있어요. AWS 측 글은 이를 200개가 넘는 서비스라고 설명합니다.

시작은 Kiro에게 건넨 세 줄짜리 지시였습니다.

Goldberg는 올해 초 Anthropic이 에이전트로 C 컴파일러를 만든 사례를 보고 생각을 굳혔다고 합니다. 명세와 참고할 실제 구현만 있으면 에이전트가 스스로 명세대로 동작하는 걸 만들 수 있다는 거예요. AWS에는 둘 다 있었습니다. 공개 API 모델이 명세이고, 고객이 쓰는 AWS 클라우드 자체가 참고 구현입니다.

그래서 AWS의 코딩 에이전트 Kiro에게 이렇게만 시켰다고 합니다. AWS CLI를 기준으로 테스트를 쓸 것, 그 테스트가 실제 AWS에서 통과할 때까지 고칠 것, 같은 테스트를 통과하는 메모리 속 구현을 만들 것. 15분 뒤 Kiro는 그럭저럭 쓸 만한 Amazon SQS 첫 버전을 내놓았고, 지시를 다듬어 주말 동안 나머지 AWS를 만들게 했더니 그다음 월요일부터 팀이 자기 소프트웨어 테스트에 쓰기 시작했다고 해요.

다만 Goldberg는 주말 실험과 고객에게 내놓을 제품 사이에는 큰 차이가 있었다고 적었습니다. 그 차이를 메운 건 에이전트가 선을 넘지 않게 하는 장치였어요. 그는 이걸 에이전트에게 주는 색칠 공부 책에 비유했습니다. 칠할 칸이 정해져 있으면 큰 그림은 저절로 맞춰진다는 뜻입니다.

세 에이전트 팀이 시험을 쓰고, 틀린 곳을 찾고, 고칩니다.

AWS Emulator를 만드는 세 에이전트 팀의 구조도입니다. 시험을 쓰는 팀, 실패를 이슈로 올리는 팀, 이슈를 하나씩 고쳐 머지 게이트를 통과시키는 팀이 저장소 하나를 함께 씁니다(About Amazon).
AWS Emulator를 만드는 세 에이전트 팀의 구조도입니다. 시험을 쓰는 팀, 실패를 이슈로 올리는 팀, 이슈를 하나씩 고쳐 머지 게이트를 통과시키는 팀이 저장소 하나를 함께 씁니다(About Amazon).

첫째 팀은 시험을 씁니다. 공개 API 모델을 보고 실제 고객이 할 법한 시나리오를 만들고, 진짜 AWS에서 돌려 맞는지 확인한 뒤에야 제출해요. 예를 들어 SQS라면 큐를 만들고, 메시지를 보내고, 받고, 확인 처리하고, 큐를 지우는 흐름입니다. 이렇게 모은 충실도 시험이 수만 개이고, 한번 검증한 뒤에는 AWS를 다시 부르지 않고도 몇 번이든 돌릴 수 있습니다.

둘째 팀은 이 시험을 에뮬레이터에 다시 돌려서 실패한 것을 이슈로 올립니다. 실패 원인이 같아 보이는 것끼리 묶으라는 지시도 받아요. 셋째 팀은 이슈 하나에 에이전트 하나씩 붙어서 원인을 찾고 코드를 고칩니다.

고친 코드는 머지 게이트를 지나야 본선에 들어갑니다. 컴파일이 안 되면 막히는 건 기본이고, 코딩 기준을 보는 에이전트, 보안을 보는 에이전트, 기존 시험 통과율이 떨어지지 않았는지 보는 검사가 함께 걸려 있어요. 하나라도 실패하면 수정한 에이전트에게 되돌려 보냅니다. Goldberg는 수백 개의 에이전트가 동시에 일하면서 하루에 이슈 수천 건을 고친다고 했고, 이 게이트가 없었다면 에이전트가 만든 걸 믿지 못했을 거라고 적었습니다. 이달 초 ‘AXIT에서 Claude와 Codex는 한 작업을 어떻게 나눠 맡을까?’에서 소개했던, 만드는 에이전트와 검사하는 에이전트를 나누는 바로 그 방식입니다.

코드는 먼저 AWS 내부 저장소인 CodeCommit에 쌓이고, 릴리스 파이프라인에서 다시 빌드와 시험을 거친 뒤 마지막에 깃허브로 공개됩니다. 그래서 깃허브 저장소는 외부 PR을 받지 않아요. 버그나 실제 AWS와 다른 동작은 이슈로만 받습니다.

3주 동안 커밋이 2만 9,684개 쌓였습니다.

깃허브에 공개된 기록을 보면 이 방식의 규모가 보입니다. 첫 커밋은 10월 21일 Scaffolder라는 이름이 남긴 ‘Initial emulator scaffold’이고, 11월 10일까지 커밋이 2만 9,684개 쌓였어요. 작성자 칸에는 사람 이름 대신 IssueFinderAgent, IssueFixerAgent 같은 에이전트 이름이 찍혀 있습니다.

AWS Emulator 깃허브 저장소의 커밋 목록입니다. 작성자 칸에 IssueFinderAgent, IssueFixerAgent 같은 에이전트 이름이 찍혀 있어요(깃허브).
AWS Emulator 깃허브 저장소의 커밋 목록입니다. 작성자 칸에 IssueFinderAgent, IssueFixerAgent 같은 에이전트 이름이 찍혀 있어요(깃허브).

이슈도 전부 저장소 안에 파일로 남습니다. 아직 실제 AWS와 다르게 동작하는 것은 issues/things-that-do-not-work 폴더에, 고친 것은 issues/things-that-now-work 폴더에 들어가요. 11월 10일 기준 고친 이슈는 1만 2,709개, 남은 이슈는 6,545개였습니다.

엉뚱한 기록도 남아 있습니다. Goldberg가 가장 좋아한다고 꼽은 건 예전 버전에서 에이전트들이 AWS Lambda 함수를 돌리려고 파이썬 인터프리터를 직접 만들기로 한 일이에요. 그 뒤로는 기존 라이브러리를 다시 쓰라는 지침을 줬다고 합니다. 사람이라면 당연히 하지 않을 선택도, 막는 규칙이 없으면 에이전트는 할 수 있다는 걸 보여 주는 장면입니다.

실제 AWS와 똑같이 동작하는 비율은 약 56%입니다.

AWS는 에뮬레이터가 얼마나 진짜와 같은지 충실도 시험 통과 수로 공개합니다. 시험 하나는 SDK로 작업 흐름을 돌리는 짧은 프로그램이고, 모든 호출에서 상태 코드, 응답 본문, 오류 코드와 메시지까지 실제 AWS와 같아야 통과예요. 시험 모음은 aws-emulator-evaluation-suite 저장소에 아직 통과하지 못한 것까지 공개돼 있습니다.

11월 11일 나온 v1.0.322의 점수 파일을 열어 보면 기록된 시험 4만 2,937개 가운데 2만 4,243개, 약 56%를 통과했습니다. 시험 모음의 분류표와 맞춰 보면 리소스를 만들고 설정하는 컨트롤 플레인 시험은 약 67%, 메시지를 주고받거나 함수를 실행하는 실제 기능인 데이터 플레인 시험은 약 54%를 통과했어요. AWS 문서도 지금은 컨트롤 플레인이 가장 비슷하고, 데이터 플레인과 CloudFormation, Terraform, CDK 지원은 서비스마다 다르다고 적어 두었습니다.

v1.0.322 점수 파일을 시험 모음의 분류표와 맞춰 서비스별로 다시 센 충실도 시험 통과율입니다. 줄마다 더 높은 쪽을 노란색으로 표시했어요(AWS Emulator 깃허브).
v1.0.322 점수 파일을 시험 모음의 분류표와 맞춰 서비스별로 다시 센 충실도 시험 통과율입니다. 줄마다 더 높은 쪽을 노란색으로 표시했어요(AWS Emulator 깃허브).

서비스별 차이가 큽니다. SQS는 데이터 플레인 시험도 94%를 통과했고, S3와 DynamoDB도 80% 안팎입니다. 반대로 Lambda는 함수를 실제로 실행하는 쪽 시험이 31%만 통과했고, EC2는 컨트롤 플레인도 44%에 그쳤어요. 큐, 버킷, 테이블을 쓰는 평범한 백엔드 테스트라면 지금도 쓸 만하고, 인프라 전체를 흉내 내야 하는 테스트에는 아직 이르다는 뜻입니다.

보안 쪽 한계도 분명히 적혀 있습니다. 에뮬레이터는 IAM 정책을 AWS처럼 평가하지 않아서, AWS라면 거절할 요청이 통과할 수 있어요. 계정은 하나뿐이고 계정이나 리전을 넘나드는 동작도 없습니다. 그래서 AWS는 보안 설정 시험에는 쓰지 말고, 배포 전에 실제 AWS에서 확인해야 한다고 밝혔습니다. 사용 기록 수집도 기본으로 켜져 있어서 끄려면 실행 옵션이나 환경 변수로 따로 꺼야 해요.

엔지니어가 만든 건 코드가 아니라 확인하는 장치였습니다.

Amazon CTO Werner Vogels의 블로그에는 Dynamo 설계에 참여했던 Swami Sivasubramanian의 글이 함께 실렸습니다. 그는 20년 전 이야기부터 꺼냈어요. S3와 DynamoDB 밑에서 돌아가는 분산 잠금 서비스 Alf를 만들 때, 네트워크와 서버를 한 프로그램 안에 흉내 내고 일부러 패킷을 떨어뜨려 가며 동시성 버그를 잡았다고 해요. 당시엔 서비스가 몇 개 없어서 사람이 손으로 그런 환경을 만들 수 있었지만, 지금 AWS 서비스는 200개가 넘습니다.

그는 최근 Kiro로 Alf의 복제 엔진을 다시 만들어 본 경험도 적었습니다. 처음 만들 때 넉 달 걸린 부분이에요. 에이전트를 나흘 밤 지켜보다가 에이전트에게 결과를 확인할 방법이 없다는 걸 깨달았고, 명세와 테스트 환경을 주자 다시 만드는 데 약 두 시간이 걸렸다고 합니다. 그래서 에이전트가 코드를 쓰는 시대의 엔지니어는 명세, 시험, 머지 게이트를 만들어 언제 일이 끝났는지 정하는 사람이라는 게 그의 결론입니다.

해커뉴스 반응은 갈렸습니다. 가장 많은 답글이 달린 댓글은 연습 삼아 만든 건지 계속 유지할 제품인지 불분명해서 기존 대안을 계속 쓰겠다는 의견이었어요. 반대로 사람 손으로는 비용 때문에 아무도 시도하지 않았을 규모라며 LocalStack 같은 기존 도구의 경쟁력이 사라졌다는 댓글도 있었습니다. 엔지니어 역할에 대한 대목에는 명세와 시험을 쓰는 일은 오래전부터 기획자나 QA가 해 왔는데 그럼 엔지니어는 무엇을 하느냐는 질문도 달렸어요.

AWS Emulator가 보여 준 건 사람이 코드를 읽지 않아도 되는 조건입니다. 실제 AWS라는 정답지와 매번 다시 돌릴 수 있는 시험, 통과하지 못하면 들어올 수 없는 게이트가 있었기 때문에 가능했어요. 다만 통과율이 아직 절반을 조금 넘는 만큼, 이 방식이 어디까지 믿을 만한지는 다음 릴리스들의 점수가 보여 줄 것 같습니다.

https://www.aboutamazon.com/news/aws/how-autonomous-ai-agents-built-aws-emulator