한 줄 정의
SWE-Bench Pro는 AI 코딩 에이전트가 낯선 코드베이스의 실제 이슈를 끝까지 고치는지 보는 소프트웨어 엔지니어링 평가 벤치마크야. SWE-bench 계열을 이어받되 과제를 더 길게 만들고, 공개 과제·보류 과제·상업 과제를 분리해 점수를 내. 그래서 공개 점수 하나만 보고 실무 적합도를 단정하지 말라는 신호를 먼저 줘.
어떻게 작동하나
입력은 GitHub 이슈형 과제 설명이 돼. 예를 들어 “로그인 실패 후 캐시가 갱신되지 않는다” 같은 이슈 설명을 받고, 모델은 관련 파일을 찾아 패치를 만든 뒤 테스트를 통과시키는지로 채점돼. 점수는 저장소별·문제별로 어렵기 때문에, 같은 모델이라도 문제 난이도에 따라 격차가 크지.
SWE-Bench Pro는 공개셋, 보류셋, 상업셋으로 나누고 상업 셋에서는 공개 데이터에서 드러나지 않는 환경 제약이 추가돼. 그래서 공개셋 리더보드 성적만으로는 조직 성능을 가늠하기 어렵고, 실제 운영에서는 어떤 과제군에서 성능이 유지되는지가 더 중요해.
왜 중요한가
이 용어는 단순한 숫자 표보다 해석 프레임을 바꿔. 검증 성능이 높은 모델일수록 공개 셋의 패턴만 잘 맞출 가능성이 커서, 도메인 특성(언어 스택, 테스트 구조, 의존성 깊이)에 따라 성능이 달라져.
또한 OpenAI가 공개/벤치마크 오염 가능성 문제로 SWE-bench Verified를 재해석한 흐름과 함께 보면, 점수에 대해 “좋다/나쁘다”가 아니라 “어느 셋에서 왜 좋은지”를 질문하게 만들어.
실무 활용
조직에서 이 지표를 쓸 때는 Pro 점수를 그대로 KPI로 쓰기보다 이렇게 쓰는 게 실무적이야.
- 평가 환경에서 공개/보류/상업 축을 분리해 채점 템플릿을 만들기
- 에이전트/자동코딩 조합 전환 전, 현재 코드베이스 테스트 난이도에 맞춰 파일 수·수정량 임계치를 맞추기
- 상업 과제 성능이 공개셋 대비 얼마나 떨어지는지, 그리고 오염 위험이 어느 수준인지 별도 보고서로 기록하기
실행 순서는 단순해. 먼저 내부 저장소에서 10~20개 이슈를 골라 작은 평가셋을 만들고, 기존 자동코딩 도구의 성공률을 재. 그 다음 SWE-Bench Pro 점수와 내부 성공률이 같이 움직이는지 비교하면 돼. 둘이 어긋나면 공개 벤치마크보다 내부 테스트를 우선해야 해.