자료 선택과 답 정확도가 따로 놀아

“자료를 제대로 골라도 답은 절반만 맞았어.”

7월 28일 arXiv에 올라온 WorkSurface-Bench 논문 얘기야. 사내 자료를 붙인 에이전트를 평가할 때, 지금까지는 검색을 잘하는지 도구를 잘 쓰는지를 뭉뚱그려 재왔어. 이 벤치마크는 그 앞 단계를 따로 떼어냈어. 질문을 받고 문서를 볼지, 표를 볼지, 파일 사이 의존 그래프를 볼지 고르는 능력이야.

결과가 갈렸어. 도구 접근을 정답 자료로 묶어준 조건에서 자료 선택 점수는 98.7~99.8까지 올라가. 그런데 최종 답 정확도는 56.1~75.3%에 머물렀어. 어디를 봐야 하는지 아는 것과 거기서 답을 뽑아내는 건 별개라는 얘기야.

정답을 검증 가능하게 만든 방식

과제는 1,151개고, 문서·표·그래프 질문과 이 셋을 가로지르는 질문으로 나뉘어. 눈에 띄는 건 정답을 만든 방식이야.

  • 표: DuckDB 쿼리를 실제로 실행해서 나온 값을 정답으로 뒀어. 사람이 적은 숫자가 아니야.
  • 문서: 검증된 텍스트 구간에 답을 묶어서 어디서 나왔는지 되짚을 수 있게 했어.
  • 그래프: 원본 의존 관계 주석까지 추적되도록 연결했어.

모델 백본 4종을 조건이 다른 에이전트 설정 6가지에서 돌려서, 프로토콜 오류 없이 끝난 실행 기록 27,624건을 모았어. 별도로 세 명이 독립 검수한 표본 200개는 여섯 가지 품질 기준을 다수결로 전부 통과했고, 그중 192개는 만장일치였어.

힌트와 도구 정리가 각각 다른 데 들어

개입 실험 결과가 실무에 바로 닿아. 어느 자료를 보라고 힌트를 주면 모델 네 개 중 세 개에서 답 정확도가 올랐어. 반면 관계없는 도구를 빼주면 답보다는 자료 선택과 효율이 좋아졌어.

같은 “성능 개선”인데 들어가는 지점이 다른 거야. 도구 목록을 정리하는 작업과 프롬프트에 자료 힌트를 넣는 작업은 서로 다른 문제를 푸는 셈이지.

사내 자료를 붙인 에이전트를 운영한다면

  • 진단 순서: 답이 틀렸을 때 검색을 의심하는 경우가 많은데, 이 결과대로면 자료 선택이 거의 완벽해도 답은 절반에서 4분의 3 사이야. 두 단계를 나눠 로그를 봐야 원인이 잡혀.
  • 도구 목록 관리: 관계없는 도구를 붙여두는 비용이 자료 선택 정확도와 실행 효율로 나타났어. 도구를 늘리는 게 늘 이득은 아니야.
  • 데이터 범위: 과제가 기존 워크스페이스 벤치마크에서 파생됐어. 실제 사내 문서로 만든 게 아니라서, 우리 자료 구조에 그대로 옮기기 전에 같은 방식으로 다시 재보는 게 안전해.

아직 arXiv 프리프린트 v1이고, 벤치마크 설계와 평가를 저자들이 직접 했어. 모델 이름도 초록에 없어서 순위보다는 두 지표를 나눠 보는 관점을 참고하는 게 맞다고 봐.