CreditCardQA는 카드 약관 문제로 모델을 재본 벤치마크야

CreditCardQA는 실제 신용카드 약관 27건에서 만든 문제 1,800개로 언어 모델 11개를 재본 벤치마크야.

7월 29일 arXiv에 올라온 CreditCardQA 논문은 수수료·이자·상환 질문에서 모델이 어디서 틀리는지 봤어.

재밌는 건 틀린 이유야. 오류 표본 50개를 유형별로 뜯어봤더니 순수 계산 실수는 14%뿐이었어. 대신 공식을 엉뚱한 값에 대입한 게 70%, 적용해야 할 조건을 통째로 빠뜨린 게 54%였어. 한 문제에 유형이 여러 개 붙어서 합이 100%를 넘어.

조건을 빠뜨리는 지점이 정해져 있어

  • 비교: 두 조건 중 어느 쪽이 유리한지 따지는 문제에서 오류가 많았어.
  • 조건부 논리: “잔액이 얼마 이하면”처럼 상황에 따라 규칙이 갈리는 문제도 마찬가지야.
  • 금액 제약: 최소 수수료나 상한 같은 금액 조건이 걸린 문제에서 자주 틀렸어.

특히 연체 수수료나 잔액이 아주 적은 상황처럼 가장자리 사례에서 오류가 몰렸어. 논문은 이 구간이 소득이 낮거나 재정 여유가 없는 사람에게 더 자주 닿는다는 점을 짚었어.

코드로 풀게 하면 오르긴 하는데

같은 문제를 말로 풀게 한 Chain-of-Thought와 코드를 만들어 실행하게 한 Program-of-Thought로 나눠서 비교했어. 코드로 풀게 하니 모델 11개가 전부 올랐어.

  • 코드 실행 효과: 말로 풀게 할 때보다 코드로 풀게 할 때 점수가 0.9-6.2%p 올랐어.
  • 모델 격차: 말로 풀 때는 추론 특화 모델이 일반 모델보다 4-5%p 앞섰는데, 코드로 풀 때는 격차가 2-3%p로 줄었어.
  • 정확도 기준: ±5% 오차를 허용하면 상위 모델은 79% 수준까지 갔어. 반대로 낮은 쪽은 ±0.2% 기준 말로 풀기에서 61.1%였어.

다만 코드 실행이 메꿔주는 건 산수야. 조건을 못 읽는 문제는 그대로 남아.

규정을 다루는 업무에 모델을 넣는다면

  • 검증 순서: 계산 정확도부터 재는 경우가 많은데, 이 결과대로면 규정 조건 적용을 먼저 봐야 해. 계산은 코드로 넘겨서 줄일 수 있는 오류고, 조건 누락은 그렇지 않아.
  • 테스트 케이스 설계: 평범한 사례 말고 연체, 소액 잔액, 상한 걸린 금액처럼 가장자리 조건을 테스트에 먼저 넣는 게 낫겠어.
  • 데이터 범위: 미국 신용카드 약관 27건 기준이야. 국내 약관이나 다른 금융 상품에 그대로 옮기기 전에 같은 방식으로 다시 재보는 게 안전해.

아직 arXiv 프리프린트 v1이고 동료 심사를 거친 결과는 아니야. 벤치마크를 만든 팀이 평가도 직접 설계했으니, 순위보다 오류 유형 쪽을 참고하는 게 맞다고 봐.