모델 말고 모델을 감싼 틀을 고쳤어

DREvo 논문은 에이전트의 하네스를 자동으로 고치게 만들어서, 평가한 기준선 대비 도메인 추론에서 평균 16.2%, 에이전트 과제에서 14.2%를 올렸다고 보고했어.

7월 29일 arXiv에 올라온 DREvo 논문 얘기야.

하네스가 뭐냐면

논문이 쓰는 하네스는 모델 바깥에 있는 실행 틀이야. 정의가 본문에 그대로 적혀 있어. 에이전트가 실행 중에 컨텍스트를 어떻게 구성하고, 무엇을 기억으로 남기고, 도구를 언제 부르고, 돌아온 출력을 어떻게 읽을지 정하는 부분.

그러니까 같은 모델을 써도 이 틀을 어떻게 짜느냐에 따라 성적이 갈려. 지금까지는 이걸 사람이 손으로 맞춰 왔고, 논문이 문제 삼은 게 그 수고야.

과거 기록을 그대로 믿은 게 문제였어

하네스 자기진화는 과거 시도 기록을 보고 다음 하네스를 제안하고, 돌려 보고, 다시 고치는 반복이야. 그런데 반복할수록 좋아지지가 않았어. 성적이 회차마다 크게 출렁였거든.

저자들이 짚은 원인은 두 가지야.

  • 유효성 재확인이 없음: 예전에 통했던 경험이 지금 하네스에도 통하는지 다시 재는 단계가 없었어. 틀이 바뀌면 근거도 상해.
  • 방향 전환이 없음: 유효한 경험이 있어도 “그래서 어디를 고쳐야 하나”로 옮기는 장치가 없었어.

세 단계로 걸러서 방향을 뽑아

DREvo가 넣은 건 세 가지야. 먼저 근거를 함수 단위로 고정해서 어떤 코드 조각에 대한 경험인지 묶어. 그다음 현재 상태에 맞춰 그 근거의 가중치를 다시 매겨. 마지막으로 역할별로 탐색 의도를 뽑아내서 다음에 어디를 고칠지 정해.

결과로 진화 궤적이 덜 출렁였다는 게 저자들 주장이야. 제한된 예산 안에서 좋은 하네스를 찾으려면 이 안정성이 성적만큼 중요해.

실험 조건은 좁게 봐야 해

  • 벤치마크 5개: USPTO 화학 반응 예측, Symptom2Disease 증상 기반 진단, 법률 추론, Terminal-Bench 2.0 터미널 조작, SWE-Bench Verified 코드 수정이야. 다섯 곳 전부에서 가장 높은 정확도를 냈다고 적었어.
  • 비교 대상: 에이전트 과제 기준선에 OpenHands, Mini-SWE-Agent, Claude Code 같은 실제 하네스가 들어갔어.
  • 모델 구성: 하네스를 제안하는 역할은 Claude Opus 4.6이 맡았고, 평가는 GPT-OSS-120B와 DeepSeek-V4-Flash가 돌렸어. 결과에 모델 조합이 섞여 있다는 뜻이야.
  • 예산: 도메인 추론은 20회, 에이전트 과제는 10회 반복으로 잘랐어. 무한정 돌린 결과가 아니야.

에이전트가 안 풀리는 팀이 볼 것

  • 먼저 볼 순서: 성적이 안 나올 때 모델 등급부터 올리기 쉬운데, 이 논문이 말하는 건 컨텍스트 구성과 도구 호출 규칙을 먼저 재보라는 거야.
  • 기록을 다루는 법: 예전에 통했던 프롬프트 수정 기록을 그대로 재사용하지 말고, 지금 구성에서도 유효한지 다시 재는 단계를 넣는 게 요지야. 이건 자동화 없이 손으로도 적용할 수 있어.
  • 비용 확인: 반복마다 제안과 평가를 모델로 돌리니 호출 비용이 붙어. 논문에 비용 수치가 없어서 얼마인지는 직접 재봐야 해.
  • 평가 주체: 벤치마크 실행과 기준선 설정을 저자들이 직접 했어. 자기 과제로 다시 재보기 전에는 도입 근거로 이르다고 봐.

아직 arXiv 프리프린트 v1이고 공개 코드나 재현 기록은 찾지 못했어. 급할 거 없어. 자동화를 붙이기 전에 “우리 하네스에서 뭐가 컨텍스트고 뭐가 기억이고 뭐가 도구 규칙인지” 적어 보는 것부터가 순서야.