한 줄 정의

한 번에 이해하려면 먼저 이 한 줄이 기준이야: 같은 과제를 같은 규칙으로 돌려 점수를 비교하는 장치가 벤치마크야.
처음 벤치마크를 볼 때도 어렵지 않아.
기준이 통일돼 있으면, 비교는 훨씬 공정해져. 다시 말하면, 같은 과제를 같은 규칙으로 실행해 점수를 비교하는 장치예요.
기준이 통일돼 있으면, 비교는 훨씬 공정해져.

benchmark는 성능을 비교할 수 있게 동일한 규칙으로 과제를 실행하고 점수를 매기는 평가 체계예요.
쉽게 말해, “누가 더 잘했는지”를 서로 다른 방식이 아니라 같은 기준으로 비교하는 장치예요.

어떻게 작동하나

벤치마크는 보통 네 단계로 동작해.

  1. 평가 대상 고르기
    같은 과제를 수행할 대상(모델, 에이전트, 시스템)을 정해.
  2. 평가 데이터 정하기
    입력 데이터, 정답 기준, 난이도 범위를 정하고 실험 조건을 고정해.
  3. 측정 지표 정하기
    정확도, 정답률, 비용, 응답 시간 같은 지표를 정하고, 계산 가능한 형태로 바꿔.
  4. 비교와 해석
    같은 규칙으로 점수를 내고, 왜 차이가 났는지 실패 패턴과 함께 해석해.
    지표를 먼저 정해두면, 결과 해석이 훨씬 쉬워져.

왜 중요한가

벤치마크는 숫자로 말할 수 있게 해줘.
동일 과업에서 어떤 모델이 빠른지, 정확한지는 한눈에 보이지만 “무슨 조건에서 측정했는지”를 함께 봐야 공정하게 해석돼.
그래서 모델 선택, 비용 계획, 에이전트 전략 설계의 기준점 역할을 해.

실제로 어디에 쓰이나

모델 지원 실험에서 벤치마크는 실무적으로 자주 나와.
예를 들어 신입자 과제 수행 실험을 다룬 arXiv 연구(2602.16703v1, 2602.23329v1)에서는 LLM 도움 전후 성능을 같은 과업 집합으로 비교해, “도움이 실제로 얼만큼 개선했는지”를 점검했어.
이렇게 누적된 점수 데이터가 있으면 agent의 과업 난이도 분류, agentic-coding의 실행 전략, 토큰/비용 정책 조정 근거가 돼.

관련 용어

출처