30B를 따로 학습해서 82.6%를 냈어
보안 경보 트리아지를 다룬 arXiv 논문이 Nemotron-3-Nano-30B를 도메인 데이터로 파인튜닝해서 시험 정확도 82.6%를 보고했어.
학습에 쓴 건 사람이 직접 라벨을 붙인 윈도우 단말 탐지 기록이야. 8주치 388,336건으로 학습하고, 그다음 2주치 59,162건으로 검증하고, 마지막 1주치 42,686건으로 시험했어.
7월 30일 올라온 프리프린트고, 문제 배경은 단순해. 관제 센터에 하루에 올라오는 탐지가 담당 인력이 볼 수 있는 양을 넘어선다는 거야.
생각을 시켰더니 신뢰도가 망가졌어
여기서 논문이 걸린 지점이 재밌어. 라벨만 바로 뱉게 하는 대신 사고 사슬로 따져 보게 만들었더니, 정답률은 올랐는데 자동 분류가 기대는 값이 나빠졌거든.
자동 트리아지는 보통 모델이 라벨 토큰에 매긴 확률을 보고 “이건 사람이 안 봐도 되겠다”를 가려. 그런데 사고 사슬을 붙이면 그 확률이 실제 정확도와 어긋나. 확신 없는 판정에 높은 점수가 붙는 거야.
그래서 저자들은 판정 자체와 신뢰도를 분리했어. 추론 흔적을 통째로 읽고 “이 판정이 맞을 확률”을 매기는 보정기를 따로 학습한 거야. 이걸 학습 안 된 판정기로 바꾸면 고신뢰 구간 재현율이 0으로 무너져.
자동 처리 구간에서만 따로 잰 값이 있어
- 정상 판정: 라벨만 뱉는 기준 분류기가 21.8%였고, 여기서
43.0포인트 올랐어. 사람이 안 봐도 되는 경보를 그만큼 더 걸러낸다는 뜻이야. - 악성 판정: 같은 기준선이 34.7%였고
18.3포인트 올랐어. 상승 폭은 정상 판정 쪽이 더 커. - 전체 정확도: 82.6%는 시험 데이터 전체 기준이야. 위 두 값과는 측정 지점이 달라서 같이 놓고 더하면 안 돼.
위협을 더 잘 잡는 데서가 아니라 사람이 확인하지 않아도 되는 정상 경보를 골라내는 데서 43.0포인트가 나왔어. 논문이 겨냥한 경보 피로 감소와 직접 연결되는 수치야.
규모보다 데이터를 택한 결과야
논문이 적은 결론은 이거야. 도메인 데이터로 파인튜닝한 30B 모델이 프런티어 범용 모델보다 뚜렷하게 나았고, 그래서 규모를 키우는 것보다 목표를 좁혀 학습하는 편이 낫다는 것. 비교에 쓴 프런티어 모델 이름은 초록에 없어서 여기 적지 않았어.
다만 조건을 빼면 안 돼. 논문이 스스로 적은 대로 과제는 이진 분류이고 윈도우 단말 탐지에 한정돼. 사내 관제 데이터로 학습했으니 그 환경에 맞춰진 결과이기도 해.
경보 자동 분류를 붙이려는 팀이 볼 것
- 먼저 볼 조건: 사람이 라벨을 붙여둔 과거 경보가 수십만 건 쌓여 있다면 특화 학습을 재볼 만해. 그 데이터가 없으면 이 논문 조건이 성립하지 않아.
- 설계 순서: 판정 모델만 붙이고 확률을 그대로 자동화 기준으로 쓰면 위험해. 신뢰도를 읽는 장치를 따로 둘지부터 정하는 게 순서야.
- 재확인할 항목: 정상 판정 쪽 고정밀 동작점이 검증 구간과 시험 구간 사이 분포 차이에 민감하다고 논문이 적었어. 경보 구성이 바뀌는 조직이면 재보정 주기를 같이 계산해야 해.
- 평가 주체: 데이터, 라벨, 벤치마크 실행이 모두 저자 쪽 환경에서 나왔어. 자기 경보로 다시 재보기 전에는 도입 근거로 이르다고 봐.
아직 arXiv 프리프린트 v1이고 공개 코드나 다른 팀의 재현 기록은 찾지 못했어. 지금 쓸 수 있는 건 결론보다 설계 순서야. 판정과 신뢰도를 한 모델에 같이 맡기지 말라는 것.