말투는 바뀌어도 선택은 남아
“모델 계보는 말투가 아니라 선택형 문항 답 패턴으로 잡히더라.”
옥스퍼드대 컴퓨터과학과 연구팀이 7월 28일 arXiv에 올린 Stemma 얘기야. 기존 방법은 LLM의 응답 문장에서 특징을 뽑아 계보를 추정했어. 그런데 그 특징은 파인튜닝이나 배포 설정만 바뀌어도 흔들려.
Stemma는 열린 형식의 답변을 버리고, 보기 4개짜리 문항을 던져서 어떤 보기를 고르는지만 기록해. 같은 문항을 보기 순서만 돌려가며 다시 물어서 순서 편향도 걷어내.
어떤 문항을 골라 쓸지가 성능을 만들어
- 안정성: 보기 순서를 바꿔도 같은 답을 고르는 문항만 남겨. 정답 위치에 흔들리는 문항은 버려.
- 강건성: 1등 보기와 2등 보기의 확률 차이가 큰 문항을 골라. 파인튜닝이나 배포 설정으로 경계가 조금 밀려도 답이 안 바뀌어.
- 특이성: 관계없는 배경 모델들이 잘 고르지 않는 답을 남겨. 모두가 맞히는 정답 문항은 계보 증거가 안 되니까 걸러내.
세 기준으로 문항을 걸러 순위를 매긴 다음, 남은 문항 묶음을 지문처럼 써.
숫자로 보면 이렇게 벌어져
공개 체크포인트 56개에서 만든 원본-용의자 조합 770쌍이 1차 검증 세트야. 여기서 Stemma의 AUC는 0.967이 나왔어. AUC는 1에 가까울수록 판별이 정확하다는 지표고, 비교 대상 네 방법 중 성적이 앞선 ZeroPrint가 0.617이었어.
오탐을 1%로 묶었을 때 실제 파생본을 잡아낸 비율은 87.8%야. 배포 환경 91개를 섞은 1,260쌍에서는 AUC 0.995, 같은 조건에서 탐지율 93.5%로 올라갔어.
실험에 쓴 모델은 Qwen, Llama, Mistral, Falcon, OLMo 계열 1.7B에서 14B 사이야. 파인튜닝과 양자화, 증류, 모델 병합까지 변형 목록에 들어갔어.
모델을 공개하는 팀이 확인할 것
- 판별 도구: 응답 문체만 비교하는 도구를 쓰고 있으면 배포 설정 변경에 약해. 시스템 프롬프트, 사고 과정 출력, 검색 결합, 디코딩 설정을 바꾼 배포 환경 91개에서 비교 대상 최고치는 AUC
0.670에 머물렀어. - 증거 강도: 오탐 1%에서 탐지율 93.5%라도 남는 6.5%는 못 잡아. 라이선스 분쟁 근거로 쓰려면 이 수치를 그대로 옮기지 말고 자기 모델 계열에서 다시 재야 해.
- 검증 비용: 지문 하나 만드는 데 4.5분, 용의자 한 곳 검증에 38초야. 상시 감시로 돌려볼 만한 비용이야.
저자들이 직접 만든 벤치마크에서 나온 수치라, 독립 재현은 아직 없어. 가중치를 공개하는 팀이라면 자기 모델로 한 번 재보는 것부터 해볼 수 있어.