검색해서 답해도 이념은 따라와
“검색해서 답을 만드는 AI라도, 샘플링 온도를 어떻게 두느냐에 따라 답변에 밴 이념 색이 진해지기도 하고 옅어지기도 해.” 7월 13일 arXiv에 올라온 프리프린트가 이걸 실측했어. RAG는 모델이 답하기 전에 외부 문서를 먼저 찾아서 그걸 근거로 답을 만드는 방식이야. 환각을 줄이려고 요즘 많이 쓰는데, 검색해온 문서에 정치적·이념적 입장이 섞여 있으면 그게 LLM 답변으로 그대로 옮겨붙을 수 있다는 게 이번 문제의식이야.
온도가 뭐냐면
여기서 온도(sampling temperature)는 모델이 다음 단어를 고를 때 얼마나 과감하게 고르는지를 조절하는 값이야. 낮으면 확률 높은 뻔한 답으로 좁혀지고, 높으면 다양하고 튀는 답이 나와. 보통은 창의성 조절 손잡이 정도로만 생각하는데, 이번 연구는 이 손잡이가 이념이 옮겨붙는 세기까지 바꾼다고 봤어.
1,117편으로 실험했어
연구진은 COVID-19 치료를 다룬 논문 1,117편을 모아 이념 담론 3개를 뽑아냈어. 이걸 RAG의 검색 소스로 붙이고, 여러 LLM한테 이념적인 질문을 서로 다른 온도로 던진 다음, 생성된 답이 이념 기준 텍스트와 얼마나 닮았는지 의미·어휘 양쪽으로 쟀어. 결과는 중간 온도에서 이념 전이가 가장 강했고, 온도를 아주 낮춰 답을 결정적으로 만들면 오히려 전이가 억제됐어.
뭐가 걸리나
검색 기반 AI를 도입하는 팀이면, RAG가 검색 문서를 중립적으로 전달할 거라는 가정을 그대로 믿기 어려워졌어. 온도 하나로도 답변 편향의 세기가 달라지니까, 파라미터랑 검증 기준을 같이 봐야 해. 다만 이건 아직 동료심사 전 프리프린트고, 이념을 측정한 방식(어휘 다차원 분석)도 저자들 방법론에 기댄 거라 해석은 조심할 필요가 있어.