같은 모델 4개가 더 좋은 모델 1개를 넘었어
AgentRadio 논문은 코드베이스 질의응답을 에이전트 4개로 나눠서, Claude Code 하나로 32.3%였던 해결률을 62.1%까지 올렸다고 보고했어.
7월 30일 arXiv에 올라온 AgentRadio 논문 얘기야. 여기서 눈에 걸리는 건 상승 폭보다 비교 상대야. 4개 다 Claude Opus 4.6을 썼는데, 더 최신인 Opus 4.8을 하나로 돌린 Claude Code는 57.2%였거든.
문제는 한 번에 답이 안 나오는 질문이야
SWE-Atlas QnA는 실제로 돌아가는 저장소 11개를 놓고 전문가가 쓴 질문 124개를 던져. 언어는 네 가지고, 채점 항목 1,306개를 전부 통과해야 한 문제를 풀었다고 인정해.
논문이 잡은 원인은 과제 길이야. 질문 하나에 답하려면 소프트웨어를 빌드해서 돌려 보고, 파일을 넘나들며 실행 흐름을 따라가고, 수십 분에 걸쳐 근거를 모아야 해. 그 사이 컨텍스트가 한 에이전트 안에서 버티지 못하는 거야.
서로 끊지 않고 엿듣게 만들었어
AgentRadio가 넣은 건 에이전트끼리 주고받는 비동기 메시지 계층이야.
- 스레드: 주제별로 대화를 갈라서, 다른 주제 메시지가 섞여 들어오지 않게 해.
- 메시지: 찾은 사실을 동료에게 보내되 상대 작업을 중단시키지 않아.
- 배경 인지: 남들이 뭘 발견했는지 계속 흘러 들어오지만, 지금 하던 추적은 그대로 이어가.
작업 순서는 다섯 단계로 고정돼 있어. 각자 저장소를 훑고(Explore), 담당을 협상해서 나누고(Divide), 병렬로 실행하고(Execute), 서로 결과를 교차 검토하고(Review), 마지막에 답을 모아 승인해(Submit).
정답률이 오른 만큼 비용도 올라
- 문제당 비용: Opus 4.6 기준으로 AgentRadio는
$19.45, 단일 에이전트는$2.96이야. 논문 표기로 약 6.5배. - 모델을 바꿨을 때: DeepSeek V4 Pro로 같은 실험을 하면 29.0%에서 50.8%로 올라. 방향은 같지만 폭은 더 작아.
- 어디서 이득이 커지나: 논문은 성능 향상이 과제 난도와 같이 커진다고 봤어. 쉬운 질문에 네 배 비용을 태우는 건 손해라는 뜻이기도 해.
그러니까 “에이전트를 늘리면 좋아진다”가 아니라 “한 번에 안 끝나는 질문에서만 늘릴 값어치가 있다”에 가까워.
저장소 질문이 자주 막히는 팀이 볼 것
- 먼저 볼 조건: 온보딩 문서가 없는 대형 저장소에서 “이 기능이 어디서 어떻게 도는지” 같은 질문이 반복된다면 재볼 만해. 이건 코드 작성이 아니라 질의응답 벤치마크라서, SWE-Bench 같은 수정 과제 성적으로 옮겨 읽으면 안 돼.
- 예산 기준: 질문 하나에 $19.45를 쓸 수 있는지부터 계산하는 게 순서야. 사람이 같은 답을 찾는 데 걸리는 시간과 비교해야 판단이 서.
- 논문이 적은 한계: 에이전트가 아예 떠올리지 못한 개념은 동료 메시지로도 채워지지 않았어. 반대로 메시지가 잘 가던 탐색을 흐트러뜨린 사례도 같이 적혀 있어.
- 평가 주체: 벤치마크 실행과 비교군 설정을 저자들이 직접 했어. 자기 저장소와 자기 질문으로 다시 재보기 전에는 도입 근거로 이르다고 봐.
아직 arXiv 프리프린트 v1이고 공개 코드나 다른 팀의 재현 기록은 찾지 못했어. 급할 거 없어. 지금 당장 쓸 도구라기보다, 모델 등급을 올릴지 에이전트 수를 늘릴지 고민할 때 꺼내 볼 비교표로 보는 게 맞아.