무슨 일이 있었나

Mistral이 1조 파라미터짜리 Mistral Large 4 프리뷰를 API로 먼저 내놨어. Mistral 공식 발표에 따르면 전체 파라미터는 1조 개인데, 한 번 답할 때 실제로 계산에 쓰는 활성 파라미터는 490억 개라고 하더라. 학습은 유럽 자체 데이터센터의 NVIDIA Grace Blackwell GPU 3,800장으로 했다는 게 회사 설명이야. Simon Willison도 프리뷰가 API로 나왔다고 전했지.

가중치는 아직 안 나왔어

지금 쓸 수 있는 건 API 프리뷰뿐이야. Mistral은 오픈 웨이트(직접 내려받아 내 서버에서 돌릴 수 있는 모델 파일)를 이달 말, 그러니까 10월 말에 공개하겠다고 했지. Artificial Analysis 모델 페이지도 현재 프리뷰는 가중치가 공개되지 않은 상태로 적어 뒀더라. 약속이 지켜지는지는 10월 말에 확인하면 되는 거야.

직접 확인되는 외부 점수는 38점이야

Artificial Analysis 페이지에서 바로 확인되는 점수는 Intelligence Index 38점이거든. Mistral 발표에는 다른 외부 평가도 여럿 인용돼 있어.

  • Artificial Analysis Cyber Index: 보안 결함을 찾고 고치는 능력을 재는 독립 평가라고 Mistral이 소개했지
  • vals.ai: 법률·금융 과제를 맡긴 제3자 평가자라고 하더라
  • Surge AI: 코딩 품질을 모델 이름을 가리고 사람이 평가한 거야
  • Lakera B3 AI Security Benchmark: AI 보안 공개 벤치마크야

다만 이 결과들은 Mistral이 발표에 옮긴 거라, 각 평가 기관 자료로 따로 확인하지는 못했어.

도입을 고민하는 팀이라면

모델을 자체 서버에 올려야 하는 팀은 지금 API로 품질부터 써보고, 10월 말에 가중치가 실제로 나오는지 확인한 다음 정해도 늦지 않을 거야. 급할 거 없지.