3B가 7배 큰 모델과 같은 성적을 냈어

“안전 분류기를 3B로 내렸는데 텍스트 F1 84.9%가 나왔어.”

7월 28일 arXiv에 올라온 Shieldstral 논문 얘기야. 파라미터 3B짜리 안전 분류기인데, 텍스트 안전 벤치마크 평균 F1이 84.9%로 거의 7배 큰 모델들과 같은 줄에 섰어. F1은 놓친 것과 잘못 걸러낸 것을 함께 보는 점수야.

바탕 모델은 Mistral의 Ministral-3B-Base-2512고, 이미지 입력은 Pixtral 비전 인코더가 처리해. 멀티모달 안전 분류에서는 평균 F1 83.8%로 기존 최고 성적을 넘었어.

예/아니오 한 문제로 바꾼 게 데이터를 모아줬어

기존 안전 분류기는 위험 유형 목록이 서로 달라서 데이터셋을 합치기가 어려웠어. Shieldstral은 모더레이션을 “이 내용이 이 정책을 어겼나”라는 예/아니오 질문 하나로 바꿨어.

질문 형태가 같아지면 분류 체계가 다른 데이터셋도 한 학습 틀에 들어와. 그렇게 큐레이션하고 생성해서 모은 학습 표본이 약 5,410만 개야.

비교에 쓴 가드레일 모델은 10개야. ShieldGemma 9B, LlamaGuard-4 12B, GPT-OSS-Safeguard 20B처럼 파라미터가 훨씬 많은 것들이 섞여 있어.

정책이 바뀌어도 다시 학습하지 않아

학습에 쓴 택소노미는 상위 분류 11개에 말단 항목 73개야. 평가에는 상위 12개에 말단 52개짜리 다른 택소노미를 썼고, 형제 항목끼리 겹치지 않게 짰어.

학습 때 못 본 세분류를 그대로 던졌을 때 F1 91.3%가 나왔어. 회사마다 금지 항목이 다르고 분기마다 바뀌는 상황에서, 정책 문장만 바꿔 넣어도 버티는지를 재본 숫자야.

평가는 텍스트·멀티모달·다국어를 합쳐 벤치마크 16개, 세부 분할 21개에서 돌렸어.

모더레이션을 직접 돌리는 팀이 확인할 것

  • 가중치 공개 여부: 논문에는 모델을 내려받는 경로가 없어. 라이선스 표기 CC BY 4.0은 논문에 붙은 표기고, Mistral 공식 발표나 모델 카드는 찾지 못했어.
  • 평가 주체: 데이터 구성과 평가 세트를 저자들이 직접 설계했어. 20B급을 3B로 내리는 판단은 자기 정책 문장과 실제 트래픽으로 다시 재본 다음에 해도 늦지 않아.
  • 비교 조건: 상대 모델들이 같은 정책 문장을 받고 겨뤘는지는 초록만으로 확인이 안 돼. 수치 차이를 그대로 성능 차이로 읽지 않는 게 안전해.

작은 모델로 내려서 추론 비용을 줄이는 시도는 여러 번 나왔어. 이번엔 안전 분류기에서도 같은 결과가 나왔는데, 아직 논문 단계야.