GDDR7(그래픽 DRAM 7세대)

한 줄 정의

GDDR7은 GPU와 AI 가속기 주변에 붙는 고대역폭 그래픽 DRAM 세대야. 로컬 LLM 문맥에서는 새 모델 이름이 아니라, GPU VRAM이 가중치와 KV 캐시를 얼마나 넓은 통로로 읽고 쓸 수 있는지 보는 하드웨어 조건으로 읽으면 돼.

그래서 GDDR7이 Qwen3.6 27B FP8, 200K, BF16 KV, 1,344 GB/sec 같은 말과 같이 나오면 칸을 먼저 나눠야 해. 모델은 Qwen3.6 27B FP8이고, 문맥 길이는 200K 안팎이고, 캐시 dtype은 BF16이고, GDDR7은 그 작업을 받치는 GPU 메모리 세대야.

JEDEC 발표는 JESD239 GDDR7이 PAM3 인터페이스를 쓰고, GDDR6 대비 두 배 대역폭을 목표로 하며, device당 최대 192 GB/s를 제시한다고 설명해. 이건 답변 속도 숫자가 아니라 GPU 메모리 표에서 보는 재료의 성격에 가까워.

어떻게 작동하나

GDDR7은 일반 PC 메인보드에 꽂는 시스템 RAM이 아니야. 그래픽카드나 가속기 보드에 붙어서 GPU가 바로 읽고 쓰는 VRAM 쪽 메모리야. Samsung GDDR7 설명도 GDDR7을 그래픽 카드, 게임 콘솔, 자동차, HPC, AI/ML에 쓰는 고속 그래픽 DRAM으로 설명하고, 일반 메인보드용 메모리가 아니라 GPU와 가속기 하드웨어에 직접 붙는 메모리라고 적어.

핵심 변화는 신호 방식과 대역폭이야. GDDR6의 NRZ 방식과 달리 GDDR7은 PAM3를 쓰고, JEDEC은 독립 채널 수가 2개에서 4개로 늘었다고 설명해. Micron의 GDDR7 페이지는 32 Gb/s data rate와 384-bit bus 기준 1.5 TB/s 초과 시스템 대역폭을 예로 들어. 숫자가 크지만, 이 숫자는 모델이 매초 몇 토큰을 만든다는 뜻이 아니라 GPU가 메모리에서 데이터를 움직일 수 있는 폭을 말해.

LLM 추론에서는 이 차이가 가중치와 KV cache에서 드러나. 모델 가중치가 먼저 VRAM에 올라가고, 긴 컨텍스트 윈도우에서는 이전 토큰의 key/value가 계속 캐시에 남아. 문맥이 4K에서 20만 토큰 가까이 커지면, 모델 파일을 올리는 문제보다 캐시를 계속 읽고 쓰는 문제가 더 크게 보일 수 있어.

왜 중요한가

GDDR7이 AI 인프라 문맥에서 자주 보이는 이유는 워크스테이션급 NVIDIA GPU가 로컬 추론의 경계선을 바꾸고 있기 때문이야. NVIDIA의 RTX PRO 5000 Blackwell 사양은 48GB 또는 72GB ECC 적용 GDDR7, 1,344 GB/sec 메모리 대역폭, 300 W max power를 적어. TechPowerUp GPU Database도 같은 카드를 48GB GDDR7, 384-bit bus, 1.34 TB/s bandwidth로 적어 같은 급의 숫자를 확인하게 해.

이 숫자는 GPU VRAM 용량과도 분리해서 봐야 해. 48GB나 72GB는 담을 수 있는 공간이고, 1,344 GB/sec는 그 공간에서 데이터를 움직이는 폭이야. 여기에 FP8 가중치, BF16 KV cache, vLLM 설정, CUDA 버전이 붙어야 로컬 LLM 실행표가 된다.

Hugging Face의 Qwen/Qwen3.6-27B-FP8 모델 카드는 이 모델을 27B parameters, fine-grained FP8 quantization, block size 128, native context 262,144 tokens로 설명해. LocalLLaMA 게시글은 NVIDIA RTX PRO 5000 Blackwell 48GB 한 장에서 vLLM 0.20.1, CUDA 12.9, --max-model-len 196608, BF16 KV cache 조건으로 실행한 커뮤니티 벤치마크를 제시해. 글 제목의 80 TPS는 80 tok/s 안팎 자체 보고로 봐야 하고, NVIDIA나 Qwen의 벤더 성능표가 아니야. 여기서 GDDR7은 그 결과값이 아니라, 그 장비가 가진 메모리 세대와 대역폭 조건이야.

GDDR7과 주변 용어를 나눠 보기

GDDR7은 메모리 세대 이름이고, GDDR7 ECC는 그 메모리와 오류 대응 기능이 같이 제품 표에 붙은 더 좁은 표현이야. GPU VRAM은 용량 예산을 묻는 말이고, KV cache는 그 예산을 실제로 먹는 런타임 데이터야. HBM은 데이터센터 GPU에서 자주 보는 다른 메모리 계열이라, GDDR7 카드 한 장과 같은 숫자표로 바로 비교하면 안 돼.

짧게 나누면 이렇게 돼.

• GDDR7: GPU가 쓰는 그래픽 DRAM 세대야. 대역폭과 전력 효율을 읽는 칸에 들어가.
• GDDR7 ECC: GDDR7 제품 표에 오류 감지·보고 조건이 붙은 표현이야. 모델 품질 보장이 아니라 하드웨어 신뢰성 표기야.
• GPU VRAM: 48GB나 72GB처럼 실제로 담을 수 있는 공간이야. GDDR7은 그 공간의 메모리 종류에 가까워.
• HBM: 서버 GPU에서 자주 보는 고대역폭 메모리 계열이야. 패키징, 비용, 전력, GPU 간 연결 조건이 달라서 워크스테이션 GDDR7과 따로 봐야 해.
• KV cache: 긴 문맥에서 이전 토큰의 key/value를 저장하는 런타임 데이터야. GDDR7이 빨라도 KV cache dtype과 컨텍스트 길이가 크면 VRAM이 먼저 찰 수 있어.

JEDEC 표준은 on-die ECC, 실시간 보고, data poison, Error check and Scrub, command/address parity 같은 RAS 기능을 포함한다고 설명하지만, 실제 사용자가 보는 ECC 상태는 GPU 제품과 드라이버가 어떻게 노출하느냐에 따라 달라.

그래서 제품 사양에서 ECC가 붙은 GDDR7 표기를 보면 세 가지를 따로 확인하면 돼.

• GDDR7인지: 메모리 세대와 대역폭을 보는 칸이야.
• ECC가 명시됐는지: 오류 감지와 보고 경로를 보는 칸이야.
• 실제 LLM 설정이 무엇인지: KV cache dtype, max model length, batch, 동시 요청 수를 보는 칸이야.

이 셋을 섞으면 판단이 흐려져. GDDR7이라고 해서 모든 제품이 같은 ECC 경험을 주는 건 아니고, ECC가 있다고 해서 모델 답변이 더 정확해지는 것도 아니야.

주의해서 볼 점

첫째, GDDR7은 HBM 같은 데이터센터 GPU 메모리와 같은 말이 아니야. 둘 다 고대역폭 GPU 메모리 문맥에서 나오지만, 워크스테이션 카드의 GDDR7과 서버 GPU의 HBM은 패키징, 비용, 전력, 대역폭, GPU 간 연결 조건이 다르다. 제품 이름보다 메모리 표를 먼저 봐야 해.

둘째, GDDR7 대역폭을 tok/s로 바로 바꾸면 안 돼. 1,344 GB/sec가 보여도 80 tok/s가 보장되는 건 아니야. prompt 길이, prefill 포함 여부, output 길이, attention backend, batch, 전력 제한, 온도, 동시 요청 수가 같이 속도를 바꿔.

셋째, 커뮤니티 실행값은 환경표까지 가져와야 의미가 있어. Reddit 사례의 200K 안팎 BF16 KV cache와 80 TPS 주장을 보려면 GPU 모델, VRAM 용량, GDDR7 대역폭, vLLM 버전, CUDA 12.9 같은 실행 환경, max model length, KV cache dtype을 같이 적어야 해. 숫자 하나만 떼어 오면 좋은 소식처럼 보이는데, 실제 재현은 VRAM 표에서 막힐 수 있어.

넷째, 2차 분석은 방향을 보는 자료로 두는 편이 좋아. StartupFortune 분석은 이 사례를 로컬 추론 경제성으로 읽지만, 하드웨어 숫자는 NVIDIA 공식 사양과 독립 GPU 데이터베이스로 다시 확인해야 해. 장비 구매 판단에는 전력, 장애 대응, 활용률, 모델 업데이트, 품질 회귀 비용까지 붙는다.

정리하면 GDDR7은 “모델이 빨라졌다”는 말보다 “GPU 메모리 표의 한 줄이 달라졌다”는 말에 가까워. 긴 컨텍스트 로컬 LLM에서는 이 줄이 VRAM 용량, 대역폭, KV cache dtype, prefill 시간과 같이 읽힐 때 비로소 쓸모가 생겨.