같은 300명인데 결정이 21.7% 어긋났어

“같은 데이터, 같은 300명인데 인과 그래프에서 선 하나를 빼니 여성 승인율이 24%에서 44%로 바뀌었어.”

8월 4일 arXiv에 올라온 Implementing Causal Perception이 그 실험이야. 독일 신용평가 데이터(German Credit) 1,000건을 7대 3으로 나눠 시험용 300명을 남기고, 심사자 둘을 서로 다른 인과 그래프로 세웠어.

R1은 성별이 신용 위험에 직접 영향을 준다고 보고 그 간선을 그래프에 넣었고, R2는 뺐어. 나머지 조건은 같아. 그런데 300명 중 21.7%가 서로 다른 승인·거절 결정을 받았어.

편향이 데이터가 아니라 심사자 쪽에 붙어 있어

  • R1(성별→위험 간선 있음): 여성 승인율 24.0%, 남성 83.3%, 인구통계 격차 -0.594
  • R2(간선 없음): 여성 43.8%, 남성 60.8%, 격차 -0.170
  • 기회 균등: 진양성률 격차가 R1은 -0.567, R2는 -0.134

“이 모델은 성별로 차별하나”라는 질문의 답이 심사자가 세운 인과 가정에 따라 세 배 넘게 벌어져. 논문은 이걸 편향이 심사자의 인과 모델에 붙어 있다고 표현해.

정확도로는 어느 쪽이 맞는지 못 가려

R1과 R2의 예측 정확도는 거의 같아. ROC AUC가 0.563과 0.555고, 정밀도-재현율 AUC는 0.722와 0.728이야.

성능이 더 좋은 쪽을 맞는 인과 모델로 고르는 방법이 안 통한다는 뜻이야. 어느 그래프를 쓸지는 데이터가 정해주는 게 아니라 사람이 정해.

공정성 보고서를 받는 쪽이 확인할 것

  • 거리 지표: 두 심사자의 차이를 재는 방법으로 Wasserstein-2, KL, 총변동 셋을 썼는데, 같은 실험에서 0.039, 0.591, 0.428로 제각각 나와.
  • 임계값: 논문은 0.1을 예시로 잡았어. 지표와 임계값 조합에 따라 인식 차이가 있다는 판정 자체가 뒤집혀.
  • 적용 범위: 데이터 하나에 심사자 둘짜리 시연이야. 실제 은행 심사 조직의 편향 수치로 옮겨 읽으면 안 돼.
  • 다음 질문: 공정성 점검 결과를 받으면 격차 숫자보다 먼저 어떤 인과 그래프를 전제했는지 물어보는 게 나아. 개념 자체는 선행 논문에 정리돼 있어.