구글이 공개한 모바일 완전 자동화 툴

지난번에 AI가 만든 화면을 확인하려면 Playwright를 붙이라고 말씀드렸는데요. 웹은 그렇게 해결이 되는데, 앱은 어떻게 하나 싶더군요.

찾아보니 구글이 이미 내놨습니다. ARTEMIS라는 도구인데요. 오픈소스고, 스타가 3,900개가 넘습니다.

한 줄 소개가 이렇습니다. “AI 비서와 테스트 도구가 진짜 폰을 사람처럼 쓰게 하자.”

데모가 인상적이었습니다. 구글 지도를 열어서 운전 경로를 여러 개 설정하고 총 소요시간을 계산한 다음, 유튜브로 넘어가서 콜드플레이 노래를 틀더군요. 앱을 넘나듭니다. 사람이 폰을 쓰는 방식 그대로요.

시키는 방법도 그냥 말로 합니다. “설정 열어서 배터리 찾아서 지금 몇 퍼센트인지 알려줘” 같은 식이요.

성능 숫자도 있습니다. 구글 리서치가 만든 AndroidWorld라는 벤치마크에서 99.1% 을 기록했다고 합니다. 앱 20종 이상, 여러 단계를 거쳐야 하는 과제 100개 이상으로 구성된 테스트이구요. (심지어는 사람도 80%네요!!!)

어떻게 화면을 보는지가 재밌었습니다.

세 가지를 섞어 씁니다. 화면이 제공하는 구조 정보를 읽고, 거기 없으면 글자를 인식하고, 그것도 안 되면 그냥 화면을 그림으로 봅니다. 게임 화면처럼 구조 정보가 아예 없는 경우가 있는데, 그럴 때도 버튼 위치를 찾아낼 수 있다는 뜻이죠.

그리고 지난번 Playwright 얘기와 이어지는 지점이 여기 있습니다. 좌표를 사람이 지정해주는 게 아니라 스스로 찾습니다. 화면이 바뀌어도 알아서 다시 찾고요.

이걸 Claude Code나 Codex에 그대로 붙일 수 있습니다.

최신 변경사항을 앱으로 빌드해서 연결된 기기에 설치하고, 테스트 계정으로 로그인 화면을 열어서 로그인 후에 예상 못 한 팝업이 뜨는지 확인하고, 마지막 화면 스크린샷을 돌려줘.

빌드하고, 설치하고, 실행하고, 눌러보고, 확인하고, 사진 찍어 보내는 것까지 한 문장입니다.

모드가 두 개인 것도 흥미로웠습니다.

빠른 쪽은 한 단계에 3~5초입니다. 화면 보고 바로 누르는 방식이라 단순 반복에 적합하고요.

느린 쪽은 한 단계에 15~40초 걸립니다. 대신 계획을 세우는 역할, 실행하는 역할, 검증하는 역할이 나뉘어 있습니다. 행동하기 전에 목표를 한 번 더 확인하고, 막히면 그걸 기록해두고 다른 길을 찾습니다. 100단계가 넘는 긴 작업을 버티려고 그렇게 만든 거예요.

앞서 긴 작업이 왜 무너지는지 다룬 적이 있는데, 그 문제를 정면으로 겨냥한 설계로 보입니다.

설치는 어떨까요.

저장소를 받아서 시작 스크립트 하나만 돌리면 됩니다. 필요한 도구들을 알아서 깔고, 브라우저에 관리 화면을 띄워줍니다. 거기서 폰 화면을 실시간으로 보면서 시킬 수 있고, 지나간 실행을 영상으로 다시 돌려볼 수도 있습니다.

실제 폰이 없어도 됩니다. 에뮬레이터, 그러니까 컴퓨터에 띄우는 가상 폰으로도 돌아갑니다. 오히려 그쪽이 편할 수 있고요.

다만 솔직하게 말씀드릴 게 있습니다.

Playwright는 에이전트한테 “설치해줘” 한마디면 끝인데, 이건 그보다 준비할 게 많습니다. 안드로이드 개발 환경이 있어야 하고, 폰이나 에뮬레이터를 연결해야 합니다. 때문에 리소스(컴퓨터 메모리 등) 도 조금 더 무거울 것으로 예상됩니다.

그리고 첫 실행 때 폰에 작은 도우미 앱이 설치됩니다. 화면 구조를 읽기 위한 건데, 폰 안에서만 동작하고 밖으로 아무것도 보내지 않는다고 명시돼 있습니다. 언제든 지울 수 있고요. 그래도 내 실제 폰에 뭔가 깔리는 게 찜찜하시면, 에뮬레이터로 시작하시는 게 마음 편합니다.

그래서 안드로이드 앱을 실제로 만들고 계신 분에게만 권합니다. 웹만 하신다면 Playwright로 충분하고요.

앞으로 iOS와 Android Studio 연동도 계획에 있다고 합니다. 음성으로 시키는 것도요.

https://github.com/google/artemis

#AI #Android #테스트자동화 #ClaudeCode #오픈소스