무슨 일이 일어났나

Mistral이 7월 2일 형식 검증 특화 모델 Leanstral 1.5를 공개했어. 지난 3월에 나온 Leanstral-2603의 후속판인데, 이번엔 Apache-2.0 라이선스로 가중치를 통째로 풀고 무료 API까지 같이 열었거든. 구조는 총 119B 파라미터 중 6B만 활성화하는 MoE라, 크기 대비 돌리기 부담이 적은 편이야.

벤치마크에서 뭐가 달라졌나

핵심은 Lean 4 증명 벤치마크 성적이야. 자체 측정치 기준으로 이렇게 올라왔어.

  • miniF2F: validation·test 양쪽을 100%로 포화시킴
  • PutnamBench: 672문제 중 587개 해결
  • FATE-H: 87% (자체 SOTA 주장)
  • FATE-X: 34% (자체 SOTA 주장)

mid-training, 지도학습 미세조정, CISPO 기반 강화학습 3단계를 거쳤고, 컴파일러 피드백으로 증명을 고치는 환경과 파일시스템을 직접 도는 코드 에이전트 환경 두 곳에서 훈련했다고 해.

실무에서 어떤 의미인가

숫자 게임만은 아니야. Mistral은 실제 저장소 57개를 검증에 돌려서 기존에 안 알려졌던 버그 5건을 찾아냈다고 밝혔거든. 형식 검증이 논문 벤치마크에서 실제 코드베이스 버그 사냥으로 넘어오는 신호라, 증명 자동화를 붙여볼까 고민하던 사람이면 지금이 테스트해볼 타이밍이야. 가중치는 Hugging Face, 무료 API는 leanstral-1-5 엔드포인트로 바로 붙일 수 있어.

다만 위 성적은 전부 Mistral 자체 벤치마크라 독립 재현은 아직 남았다는 점(MarkTechPost 정리)은 감안하고 보면 돼.