27B 가중치가 Apache 2.0으로 나왔어

Qwen3.8-27B 가중치가 Apache 2.0으로 Hugging Face에 올라왔어. 예고에 없던 비전 인코더까지 같이 붙어서 나왔지.

파라미터 27B를 전부 켜는 덴스 구조야. 일부 전문가만 골라 쓰는 방식이 아니라서, 가중치를 직접 운영할 생각이면 규모를 그대로 계산에 넣어야 해. 지난달 다운로드는 기본 저장소가 91,917건, FP8 저장소가 123,157건으로 찍혀 있어.

텍스트만 받는 모델이 아니야

모델 카드에는 이미지와 비디오를 이해하는 인코더가 포함된다고 적혀 있어. 입력에 화면 캡처나 영상이 들어가고 출력은 텍스트로 돌아오는 구성이야.

컨텍스트는 네이티브 262,144 토큰이고, 확장하면 1,000,000 토큰까지 늘어난다고 적혀 있어. 100만은 기본값이 아니라 상한이니까 사양을 잡을 때 둘을 섞으면 안 돼.

어텐션을 네 블록에 하나만 넣었어

레이어는 64개고, 배치가 좀 특이해. 3 × (Gated DeltaNet → FFN) 다음에 1 × (Gated Attention → FFN)을 놓는 묶음을 16번 반복해.

즉 네 블록 중 세 개는 Gated DeltaNet이 맡고, 일반 어텐션은 한 번만 들어가는 거야. 입력이 길어질수록 부담이 커지는 쪽은 어텐션이니까, 그 비중을 줄여 긴 입력을 감당하려는 배치로 읽혀. 다만 얼마나 줄었는지 잰 수치는 카드에 없어.

모델 카드에 적힌 점수

전부 배포자가 자기 저장소에 올린 값이야. 같은 조건으로 다시 잰 제3자 결과는 아직 안 보여. 순위 근거로 쓰기엔 이르고, 어떤 과제를 겨냥한 모델인지 읽는 용도로는 충분해.

직접 올릴지 정할 때 볼 것

  • 화면을 조작하는 자동화를 만든다면: OSWorld-Verified 84.3점처럼 컴퓨터 조작 계열 점수가 앞에 나와 있어. 사내 과제로 한 번 재보고 정할 값이야.
  • 장비를 잡는다면: 덴스라서 27B 전체가 메모리에 올라가. 필요한 VRAM과 처리량은 카드에 없어서 실측이 필요해.
  • 재배포나 파생 모델을 계획한다면: 라이선스가 Apache 2.0으로 적혀 있어 조건을 먼저 확인할 여지가 적어.

급할 건 없어. FP8 저장소가 같이 올라와 있으니 양자화본으로 먼저 감을 잡고 정해도 늦지 않아.