어떤 문제를 본 논문인가

arXiv 2605.22771은 LLM이 대립하는 정치 주제를 비대칭으로 다루는 “covert political bias” 문제를 짚었어. 같은 강도의 질문을 진영을 바꿔 던졌을 때, 어조나 응답 깊이가 다르게 나오는 현상이 본질이야. 모델이 “편향됐다”고 말하지 않아도, 다루는 방식 자체가 한쪽에 유리하게 기우는 거지.

저자들은 이걸 post-training 단계에서 잡으려고 Political Consistency Training(PCT) 을 제안해. RL 기반 학습법인데, 두 갈래의 보상 신호를 같이 써.

  • Sentiment Consistency Training: 좌우 진영을 바꿨을 때 어조·표현이 대칭인지를 측정해 보상으로 쓴다.
  • Helpfulness Consistency Training: 응답의 깊이와 도움 수준이 대칭인지를 측정해 보상으로 쓴다.

abstract는 PCT가 covert political bias를 “상당히 줄였고”, held-out 벤치마크에 일반화되며, 전체 도움성도 유지된다고 주장해. 다만 구체 퍼센트는 abstract에 적혀 있지 않아서, 본문 표 확인 전엔 정량 비교는 어렵다고 봐야 해.

왜 이게 실무에 의미 있나

내부에서 LLM을 직접 도입하는 회사·팀이 점점 늘면서, “모델이 정치적으로 어떤 색이냐”는 질문이 평가 항목으로 들어가는 추세야. 그런데 흔한 정치 편향 평가는 ‘민감 주제 회피 비율’ 같은 표면 신호에 머무르는 경우가 많아. PCT가 짚는 covert bias는 그 표면을 넘어, 어조와 응답 깊이의 비대칭까지 측정해야 한다는 주장을 깔고 있어.

도구를 도입하는 입장에선 두 가지 함의가 있어. 첫째, 정치 편향 평가를 자체적으로 만들 거라면 “회피했나”뿐 아니라 “대칭으로 답했나”까지 보는 항목을 추가할 만해. 둘째, 모델 벤더가 alignment를 어떤 보상 신호로 했는지를 도입 검토에서 같이 묻는 게 합리적이야.

신중하게 봐야 할 점

abstract만으로는 정량 효과 크기와 부작용을 단정하기 어려워. PCT가 줄이는 편향이 절대 수치로 얼마인지, 응답 길이나 사실성에 어떤 영향이 가는지는 본문 표를 봐야 알아. 또 정치 편향 자체가 평가자·언어·국가별로 기준이 갈리는 영역이라, 영어권 결과가 한국어 사용 환경으로 그대로 옮겨가는지도 확인이 필요해.

그래서 결론은 단순해. 정렬을 자체 평가 항목에 넣는 팀이라면, “회피 비율”에서 “대칭성”으로 평가 축을 한 칸 옮겨볼 만한 시점이라는 거야.