Gemini 4 Carbon은 이번엔 정말 1등일까?

10월 28일(미국 시간) 구글이 새 최상위 모델 Gemini 4 Carbon을 발표했습니다. Gemini 4 Argon을 누구나 쓸 수 있게 푼 지 2주 만이에요. 구글은 Carbon이 Artificial Analysis Intelligence Index v5에서 59점으로 1위라고 밝혔습니다. Google DeepMind의 X 공지는 좋아요 1만 개, 조회 79만 회를 넘겼고, 해커뉴스에서는 765점에 댓글 625개가 달렸어요.

지난번 Argon 때도 같은 질문을 했습니다. 1등이라는 숫자는 맞는지, 그 1등이 어디서 나왔는지요. 이번에는 조건이 하나 더 붙습니다. Carbon은 발표만 됐고, 당장은 보안 기관 일부만 쓸 수 있어요. Gemini 4 Carbon은 이번엔 정말 1등일까요? 구글 발표와 평가 방법 문서, Artificial Analysis가 직접 잰 점수를 함께 뜯어봤습니다.

구글 표에서는 17개 중 15개가 1등입니다.

구글이 공개한 표에는 벤치마크 17개가 있습니다. Carbon은 그중 15개에서 가장 높은 점수를 냈어요. 터미널에서 일을 끝까지 해내는 Terminal-Bench 4.0은 65.2%로 Claude Opus 5.5(59.6%)보다 5.6포인트 높고, 가상의 자판기 사업을 운영해 남긴 돈을 겨루는 Vending-Bench 2에서는 16,484달러를 남겨 Opus 5.5(9,235달러)의 약 1.8배였습니다. 25만에서 100만 토큰짜리 긴 문서를 다루는 GraphWalks는 96.2%로 Opus 5.5(66.8%)와 차이가 가장 컸어요.

진 곳은 두 개입니다. 코딩 벤치마크 FrontierSWE 2는 GPT-6 Astra가 65.5%로 Carbon(61.2%)보다 높았고, 컴퓨터를 직접 조작하는 OSWorld-2.1은 Opus 5.5가 87.2%로 Carbon(81.5%)을 앞섰습니다.

그런데 이 표에는 조건이 있습니다. 구글 평가 방법 문서를 보면 다른 회사 모델의 점수는 대부분 각 회사가 직접 발표한 값을 옮겨 왔어요. 보안 벤치마크 ExploitGym과 SEC-bench Pro는 Gemini 점수를 구글이 직접 돌렸고, OSWorld-2.1의 Gemini 점수는 세 번 돌려 가장 좋은 값을 썼습니다. 같은 조건에서 나란히 잰 표가 아니라는 뜻입니다.

남이 잰 점수로는 1점 차이입니다.

그래서 Artificial Analysis가 직접 잰 숫자를 따로 봤습니다. Intelligence Index v5는 지난 10월 27일 새로 바뀐 종합 지수로, 지수의 60%를 공개되지 않은 문제로 채점해요. 여기서 Carbon(high)은 59.4점, Claude Opus 5.5(max)는 58.4점, GPT-6 Astra(max)는 56.9점입니다. 1등은 맞지만 Opus 5.5와는 1점 차이예요. 2주 전 Argon(high)이 50.4점이었으니, 구글 안에서는 9점을 올린 셈입니다.

세부 항목은 엇갈립니다. Terminal-Bench 4.0과 과학 과제를 푸는 Terminal-Bench-Science, 어려운 시험 문제 모음인 HLE-Diamond는 Carbon이 가장 높았어요. 반대로 AI가 낸 코드를 메인테이너가 머지하겠느냐를 보는 FrontierCode 2.0은 Opus 5.5가 46.4%로 Carbon(40.6%)보다 5.8포인트 높았습니다. 문서 작업을 보는 GDP.pdf는 GPT-6 Astra와 GPT-6.1 Sol이 31.0%로 Carbon(28.4%)을 앞섰고요.

눈에 띄는 숫자는 환각률입니다. 모르는 질문에 모른다고 하지 않고 틀린 답을 지어낸 비율인데, Carbon은 11.4%로 Opus 5.5(50.3%)와 GPT-6 Astra(49.8%)의 4분의 1 정도예요. 다만 Argon은 4.3%로 Carbon보다 더 낮았습니다.

값은 따져 볼 게 있습니다. Artificial Analysis가 Carbon 정가로 계산한 과제당 비용은 7.76달러(약 1만 원)로 Opus 5.5(10.04달러, 약 1만 3천 원)보다 쌉니다. 그런데 지수를 한 번 돌리는 데 토큰 2억 개를 썼어요. 다른 모델 중앙값(6,400만 개)의 3배가 넘어서, Artificial Analysis도 말이 아주 많은 모델이라고 적었습니다. GPT-6.1 Sol은 5점 낮은 점수를 1.27달러(약 1,700원)에 냅니다.

이번 모델의 무게는 보안에 있습니다.

구글이 발표 제목부터 내세운 건 사이버 보안입니다. 실제 소프트웨어에서 취약점을 찾는 SEC-bench Pro는 88.2%로 GPT-6 Astra(85.4%)보다 높았어요. 찾은 취약점을 실제로 공격할 수 있는지 확인하는 ExploitGym은 54.8%로, GPT-6 Astra(42.4%)와 Opus 5.5(34.5%)보다 크게 앞섭니다. 원인을 고치는 패치를 쓰는 CWE-bench는 71.0%였어요. 세 점수 모두 안전 장치를 끈 상태에서 쟀습니다.

구글 내부 사례도 몇 개 밝혔습니다. 내부 벤치마크에서 안전한 코드를 쓰는 성공률이 Argon의 2배가 넘었고, 크롬 팀은 품질 좋은 패치를 만드는 데 Carbon이 다른 회사의 큰 프론티어 모델보다 10배 넘게 잘했다고 했어요. 어느 회사 모델인지는 밝히지 않았습니다. 구글 내부 팀에서는 Carbon이 며칠 동안 돌면서 큰 코드베이스의 까다로운 버그를 원인까지 찾아 고쳤다고 합니다.

그래서 아직 아무나 쓸 수 없습니다.

Carbon은 이번 주부터 사이버 방어 기관 일부에 먼저 풀립니다. 그다음 구글의 보안 파트너 프로그램인 Fairwind에 들어간 기관으로 조금씩 넓히고, 개발자와 기업, 일반 사용자에게는 날짜 없이 가능한 한 빨리 내놓겠다고 했어요. 미국 정부가 출시 전에 모델을 시험하는 자율 절차에도 참여하고 있다고 밝혔습니다.

Fairwind는 정부, 병원과 통신사 같은 핵심 기반 시설, 많은 사람이 쓰는 소프트웨어를 만드는 회사를 먼저 받습니다. 지금 전 세계 650곳 넘게 참여하고 있고, 들어간 기관도 내부 보안팀에만 모델을 쓰게 해야 해요. 취약점을 찾는 능력은 고치는 쪽에도, 공격하는 쪽에도 똑같이 쓰일 수 있어서 방어하는 쪽이 먼저 쓰게 한다는 겁니다. Argon도 같은 순서를 밟았습니다. 9월 30일 발표하면서 Fairwind의 보안 기관에 먼저 줬고, 13일 뒤인 10월 13일에 개발자와 일반 사용자에게 풀었어요.

해커뉴스 반응은 여기에 몰렸습니다. 쓸 수 없는 모델의 벤치마크는 의미가 없다는 댓글, Argon과 Carbon 중 무엇이 더 좋은 모델인지 이름만 봐서는 모르겠다는 댓글이 위에 올라 있어요. Claude를 쓰던 개발자가 옮겨 올 만한 이유가 있느냐는 질문도 있었습니다.

덜 속이고, 시킨 만큼만 합니다.

구글은 Carbon을 학습시키면서 꼼수를 줄이는 데도 힘을 썼다고 밝혔습니다. Terminal-Bench 4.0에서 채점을 속여 통과한 경우는 0.0%, 속이려 한 시도는 0.4%였어요. 내부 개발 환경에서 심각한 수준의 이상 행동 알림은 80% 가까이 줄었다고 합니다.

에이전트를 쓰는 쪽에서 반가울 숫자도 있습니다. 근거 없는 주장은 Argon보다 약 2배 줄었고, 시키지 않은 일까지 하는 경우는 26%, 시킨 일을 덜 하는 경우는 29% 줄었어요. 웹 페이지 같은 외부 문서에 숨긴 지시로 모델을 조종하는 공격은 Gray Swan 벤치마크에서 한 번도 통하지 않았습니다(Argon은 0.7%). 모두 구글이 직접 잰 숫자입니다.

값은 Argon과 같습니다.

도입가는 Argon과 같은 입력 100만 토큰당 2달러(약 2,700원), 출력 10달러(약 1만 3천 원)입니다. 캐시된 입력은 95% 할인돼요. 도입 기간이 끝나면 입력 4달러(약 5,400원), 출력 20달러(약 2만 7천 원)가 됩니다. Argon의 도입가는 11월 30일에 끝나는데, Carbon의 도입 기간은 아직 밝히지 않았어요.

숫자는 아직 확인할 수 없습니다.

Carbon은 공개 API가 없어서 다른 사람이 점수를 다시 재 볼 수 없습니다. Artificial Analysis 점수도 출시 전에 받은 접근으로 잰 것이에요. 구글 표의 경쟁 모델 점수는 각 회사가 다른 조건에서 낸 값이고, 정렬과 보안 관련 숫자 대부분은 구글 내부 평가입니다. 일반에 풀리는 모델이 이번 평가와 같은 모델일지, 안전 장치가 켜진 상태에서도 보안 점수가 그대로일지도 아직 모릅니다.

에이전트를 만드는 쪽에서는 1점보다 줄 하나가 중요합니다.

FDE로 고객 업무에 에이전트를 붙일 때 모델을 고르는 기준은 종합 점수 1점이 아닙니다. 코드를 고쳐 PR을 내는 일이면 FrontierCode 2.0, 문서를 만드는 일이면 GDP.pdf, 오래 혼자 도는 일이면 Terminal-Bench와 환각률을 봐야 해요. 그 기준으로 보면 Carbon은 오래 혼자 도는 일과 보안 일에서 가장 강하고, 머지할 코드를 쓰는 일은 아직 Opus 5.5가 앞섭니다.

또 하나는 토큰입니다. 과제당 값이 싸 보여도 토큰을 3배 쓰는 모델은 오래 도는 에이전트에서 시간과 값이 같이 늘어납니다. 시킨 만큼만 하고 모르면 멈추는 성향이 실제로 나온다면, 사람이 결과를 확인하는 시간은 줄어들 것 같습니다.

2주 만에 9점을 올렸다는 건 구글이 다시 맨 앞줄에 섰다는 뜻입니다. 다만 이번 1등은 아직 써 볼 수 없는 1등이에요. 공개 API가 열리고 다른 사람들이 같은 조건에서 다시 잰 뒤에야, 이번엔 정말 1등인지 답할 수 있을 듯싶습니다. 이달 초 ‘Gemini 4 Argon은 정말 1등일까?’에서 던졌던 질문이 3주 만에 다시 돌아온 셈입니다.

https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-carbon/