싼 심판으로도 되는지 실제로 재봤다
딥리서치 시스템이 답에 인용을 제대로 달았는지 채점하려면 심판 역할을 할 모델이 필요해. 이 arXiv 논문은 그 심판을 꼭 제일 비싼 모델로 세워야 하는지 물어. 심판 LLM 8개를 rubric 판정 1,248개로 비교했고, 그중 378개는 심판끼리 의견이 갈린 어려운 사례야. 채점 축은 두 개, 인용이 질문과 관련 있는지(출처 관련성)와 인용이 실제로 주장을 뒷받침하는지(사실 뒷받침)야.
싼 모델이 붙었어
출처 관련성부터 보면, 싼 축인 GPT-5-mini가 pass-class F1 0.908로 제일 높았어. 사실 뒷받침 쪽은 심판들 신뢰구간이 겹쳐서 어느 모델도 확실히 앞서지 않았고. 그러니까 인용 채점이라는 작업에서는, 값비싼 프런티어 모델을 심판으로 세운다고 결과가 눈에 띄게 나아지지 않았다는 거야. 이건 딥리서치 파이프라인을 돌리는 팀 입장에서 바로 비용 얘기가 돼.
근데 함정이 있어
같은 F1이라고 다 같은 심판은 아니야. 논문은 F1이 비슷해도 심판마다 통과율이 얼마나 흔들리는지(pass-rate drift), 틀린 걸 통과시키는 비율(오탐), 맞는 걸 떨어뜨리는 비율(누락)이 크게 갈렸다고 적었어. 그러니까 싼 모델을 그냥 꽂으면 평균 점수는 비슷해도 어떤 인용을 놓치고 어떤 걸 잘못 통과시키는지가 달라져. 붙이기 전에 내 데이터로 기준선을 맞추는 보정이 먼저야.
검증 비용을 낮출 수 있나
출처 대조 단계를 운영하는 팀이라면 이 결과가 바로 비용 문제로 이어져. 관련성 판단 같은 작업은 싼 모델로 내려도 전체 품질이 크게 안 떨어질 수 있고, 그만큼 예산을 아낄 여지가 있어. 다만 이건 저자 자체 벤치마크 하나에서 나온 결론이라, 독립 재현이 쌓이기 전까지는 자기 데이터에서 오탐·누락 비율을 직접 재보고 판단하는 게 맞아.