AI 모델 공개가 쏟아지는 와중에 AIDC-AI가 Ovis2.6-80B-A3B를 HuggingFace에 올렸어. 이름에 답이 있는데, 80B는 총 파라미터 수고 A3B는 활성 파라미터(Active 3B)야. MoE 구조라 추론할 때 실제로 돌아가는 건 3B 규모라는 얘기거든.

Ovis2.5에서 LLM 백본을 MoE 아키텍처로 교체한 게 이번 버전의 핵심 변경이야. 텍스트랑 이미지를 같이 이해하는 멀티모달 성능이 더 올라갔다는 게 모델 카드의 주요 클레임이고, r/LocalLLaMA 커뮤니티에서 공개 직후 반응이 빠르게 달아올랐어.

MoE 모델의 현실적인 포인트는 이거야 — 활성 파라미터가 3B여도 전체 80B 가중치는 어딘가에 올라가 있어야 해. 그러니까 추론 속도는 3B급이어도 VRAM 사용량은 다르게 계산해야 해. 로컬 실행을 염두에 두고 있다면 양자화 버전이 나올 때까지 기다리거나 충분한 VRAM을 확보해두는 게 현실적이야. 멀티모달 벤치마크 성능이 궁금하다면 지금 HuggingFace에서 바로 테스트해볼 수 있어.