고쳐 쓰는 대상이 프롬프트가 아니라 조직도야

다중 에이전트 시스템을 짤 때 누가 누구한테 결과를 넘기고 누가 검토하는지는 보통 처음에 정해 두고 안 건드리잖아. MANTA 논문은 그 조직도 자체를 실행 도중에 고치게 만들었어.

7월 30일 arXiv에 올라온 논문이야. 논문이 지적한 건 지금 방식이 통신 구조를 고정된 설계 선택으로 두거나, 돌리기 전에 미리 최적화해 두는 대상으로만 본다는 점이야. 실행 중에 드러나는 문제는 반영할 자리가 없었던 거지.

언제 바꾸고 뭘 바꾸나

작동 순서는 두 단계야. 실행 전에는 과거 구조 경험을 바탕으로 이번 과제에 맞는 초기 구조를 잡아. 실행 중에는 에이전트들이 주고받은 협업 기록을 지켜보다가, 지금 조직으로는 부족하다고 판단될 때만 구조를 손대.

바꿀 수 있는 다섯 가지

  • 역할: 어떤 에이전트가 무엇을 맡는지.
  • 통신 연결: 누가 누구에게 결과를 보내는지.
  • 실행 순서: 어느 단계를 먼저 도는지.
  • 정보 가시성: 어떤 에이전트가 어떤 중간 결과를 볼 수 있는지.
  • 검증 경로: 결과를 누가 다시 확인하는지.

여기서 안 건드리는 게 두 개 있어. 과제 인터페이스와 에이전트 예산이야. 밖에서 보는 입출력 규격과 쓸 수 있는 에이전트 수는 그대로 두고 안쪽 배치만 바꾸는 구조라, 변경이 끝없이 번지지 않아.

평균은 이겼는데 과제별로는 2승 3패야

평균 74.0으로 평균이 가장 높은 기준선 ADAS의 68.2를 5.8포인트 앞섰어. 초록에 적힌 건 여기까지인데, 본문 표를 열면 그림이 좀 달라져.

  • BrowseComp: 76.7 대 64.4. MANTA가 크게 앞서.
  • PlanCraft: 76.7 대 74.4. 여기서도 앞서.
  • StableToolBench: 82.2 대 AgentSquare 88.9. 졌어.
  • WorkBench: 43.3 대 ADAS 66.7. 차이가 제일 커.
  • MATH: 91.1 대 96.7. 여기도 밀려.

비용은 12%가 조직도 판단에 들어가

평균이 높은 건 어느 과제에서도 크게 무너지지 않아서지, 다섯 개 다 이겨서가 아니야. 백본은 전부 Gemma 4로 맞춰 놨고, 비용도 같이 적혀 있어.

네 벤치마크 합계로 MANTA가 쓴 추론 토큰은 77,652개야. 그중 구조를 바꿀지 판단하는 메타 작업에 9,416개, 그러니까 전체의 약 12%가 들어갔고 나머지 68,236개가 실제 에이전트 추론이야. 논문은 이게 비교된 다중 에이전트 시스템 중 가장 적은 토큰 사용량이라고 적었어.

다중 에이전트 구성을 손보는 팀이 볼 것

  • 먼저 건드릴 곳: 성능이 안 나올 때 모델 등급부터 올리는 대신, 누가 누구를 검토하는지와 중간 결과를 누가 보는지를 먼저 재보는 순서가 이 논문이 미는 방향이야.
  • 어떤 과제에서 이득이 나나: 탐색이 길어지는 과제(BrowseComp)와 계획 과제(PlanCraft)에서 이겼고, 도구 호출이나 수학처럼 절차가 정해진 과제에서는 밀렸어. 지금 막힌 과제가 어느 쪽인지부터 보는 게 순서야.
  • 바꾸지 말아야 할 경계: 입출력 규격과 에이전트 수를 고정해 두면 구조 변경이 통제 가능한 범위에 남아. 직접 구현할 때도 이 경계는 먼저 정해 두는 게 나아.
  • 자체 평가라는 조건: 기준선 설정과 평가를 저자들이 직접 했고 아직 arXiv 프리프린트 v1이야. 다른 팀이 다시 돌린 기록도 없어.

지금 당장 갖다 쓸 구현이 있는 건 아니야. 그래도 다중 에이전트가 잘 안 돌 때 “모델이 약해서”로 결론 내기 전에 확인해 볼 목록으로는 쓸 만해.