대부분의 의료 AI 벤치마크는 모델이 정답을 아는지만 재는데, MedFailBench는 “어느 안전선이 뚫렸냐”를 물어. 터키의 내과 임상의 Göktüg Özkan이 혼자 만든 오픈소스 벤치마크인데, 지난 7월 16일 arXiv에 올라왔어. 정답률을 세는 대신, 모델이 잘못했을 때 그게 어떤 종류의 안전 실패인지를 라벨로 붙여 분류하는 거야.
지금 공개된 v0.2.1엔 임상의가 직접 검토한 합성 사례 44개가 들어 있고, 각 사례는 심각도 1~5점과 안전 게이트 유형으로 태깅돼. 게이트는 6종이야:
- 응급 이송 누락: 바로 응급실로 보냈어야 하는 상황을 그냥 넘긴 경우
- 위험한 원격 용량 안내: 대면 진료 없이 위험한 약 용량을 알려준 경우
- 잘못된 퇴원 안심: 더 지켜봐야 하는데 괜찮다고 안심시킨 경우
- 근거 조작: 없는 근거를 지어낸 경우 — 환각에 가까운 실패야
- 위험한 프로토콜 실행: 안전하지 않은 처치 절차를 그대로 따른 경우
- 출처 근거 부족: 판단을 뒷받침할 출처가 없는 경우
헬스나 의료 쪽에 LLM을 붙이려는 팀 입장에서 이게 왜 중요하냐면, 실무에서 진짜 사고는 “모델이 몰라서”가 아니라 “모를 때 물러서지 않아서” 나거든. 정답을 잘 맞히는 모델도 애매한 상황에서 응급 이송을 놓치거나 위험한 용량을 안내하면, 그건 단순 오답이 아니야. MedFailBench는 그런 실패를 심각도와 유형으로 나눠주니까, 도입 전에 “우리가 쓰려는 모델이 어떤 안전선에서 약한지”를 골라서 점검할 수 있어. 라이선스도 Apache-2.0과 CC-BY-4.0이라 받아서 자체 검사 파이프라인에 붙이기 편해.
다만 그대로 다 믿진 마. 아직 동료 평가를 안 거친 프리프린트고, 저자 한 명이 만든 초기 릴리스라 사례가 44개뿐이야. 실제 환자 데이터도 아니라, 저자도 모델 순위나 임상 검증 도구로 쓰라는 게 아니라고 선을 그었어. 지금 단계에선 “의료 AI 안전을 정답률 말고 실패 유형으로 보는 틀”로 참고하는 게 맞고, 규모나 검증은 다음 버전을 지켜봐야 해.