Qwen3.6 27B FP8, RTX PRO 5000 Blackwell 한 장에서 약 200K 컨텍스트 보고

무슨 일이 일어났나

LocalLLaMA의 원본 Reddit 게시물에서 단일 GPU 장문맥 셋업이 공유됐어. Qwen3.6-27B FP8 모델을 RTX PRO 5000 Blackwell 48GB 한 장에서 196,608 안팎 토큰의 BF16 KV 캐시와 함께 돌렸다는 보고야.

왜 이게 일어났나

구성의 차이는 모델은 FP8로 줄이고 KV는 BF16으로 둔 점이야. RTX PRO 5000 Blackwell은 48GB GDDR7 옵션이 있는 워크스테이션 GPU라, H100급 서버 카드 없이 장문맥 자체 호스팅을 시험하는 후보가 될 수 있어.

어떤 의미인가

재현은 아래 조건을 맞춘 뒤 확인해야 해.

• vLLM 버전과 실행 옵션
• 컨텍스트 길이와 KV 캐시 dtype
• 배치 크기와 동시 요청 수
• 드라이버, CUDA, GPU 전력 설정

주의할 점

이건 단일 측정이라 60-90 TPS가 그대로 나오지 않을 수 있어. Hugging Face 모델 카드는 모델 존재 확인용이지 성능 재측정 출처가 아니야. 사내 평가 셋으로 봐야 해.