한 줄 정의

RTX PRO는 NVIDIA의 전문가용 RTX GPU 제품군이야. 로컬 LLM 이야기에서는 “그래픽카드가 빠르다”보다 더 구체적으로, Blackwell 세대, GDDR7 ECC VRAM, CUDA 경로, 전력과 냉각 조건이 붙은 워크스테이션·서버 GPU로 읽는 편이 맞아.

이 이름이 헷갈리는 이유는 RTX PRO가 단일 제품명이 아니기 때문이야. RTX PRO 6000 Blackwell, RTX PRO 5000 Blackwell, 서버용 RTX PRO 6000, 노트북용 RTX PRO가 같은 우산 아래에 들어간다. 그래서 기사나 Reddit 글에서 “RTX PRO”만 보이면 먼저 어느 카드인지, 메모리가 몇 GB인지, 서버용인지 데스크톱용인지부터 갈라야 해.

어떻게 작동하나

RTX PRO는 런타임이나 모델 포맷이 아니라 하드웨어 제품군이야. NVIDIA의 RTX PRO 6000 Blackwell Series 사양은 세 가지 6000 계열을 나눠 보여 줘. 서버판, 일반 데스크톱판, Max-Q판이 모두 96GB GDDR7 ECC를 쓰지만 전력 조건은 각각 400-600W, 600W, 300W로 갈라져. 같은 96GB라도 서버 랙에 넣는 카드와 단일 워크스테이션 카드가 같은 운영 조건은 아니야.

RTX PRO 5000 Blackwell은 더 낮은 단위의 좋은 비교점이야. NVIDIA 사양 기준으로 48GB 또는 72GB GDDR7 ECC, 1,344GB/s 메모리 대역폭, 300W 최대 전력, 2064 AI TOPS가 붙어. 또 3개 9세대 NVENC, 3개 6세대 NVDEC, 최대 2개 MIG 인스턴스 같은 기능이 적혀 있어. 이 정도면 “24GB 소비자 카드보다 큰 한 장”과 “H100급 서버 GPU” 사이의 워크스테이션 선택지로 읽을 수 있어.

NVIDIA의 2025년 3월 발표 자료는 RTX PRO Blackwell을 데이터센터 GPU, 데스크톱 GPU, 노트북 GPU로 나눠 소개했어. 데스크톱 쪽에는 RTX PRO 6000, 5000, 4500, 4000이 있고, 노트북 쪽에는 RTX PRO 5000부터 500까지가 들어가. 그래서 RTX PRO라는 말만으로 96GB, 서버용, 노트북용, 24GB급을 자동 추정하면 바로 틀릴 수 있어.

왜 중요한가

로컬 LLM 문맥에서 RTX PRO가 중요해진 건 “긴 컨텍스트를 카드 한 장에서 어디까지 밀 수 있나”라는 질문과 붙어 있기 때문이야. LocalLLaMA의 Qwen3.6 27B FP8 사례처럼 RTX PRO 5000 Blackwell 48GB 한 장에서 약 200K 컨텍스트 윈도우를 돌렸다는 커뮤니티 보고가 나오면, 사람들은 8장짜리 서버가 아니라 워크스테이션 한 대의 실험 가능성을 보게 돼.

그렇지만 여기서 공식 사양과 사용자 보고를 섞으면 안 돼. NVIDIA 사양은 RTX PRO 5000의 48GB·72GB 메모리와 300W 전력 조건을 확인해 주지만, 특정 Qwen3.6-27B FP8 모델이 모든 환경에서 같은 tokens/sec를 낸다고 보장하지는 않아. 실제 결과는 KV cache dtype, BF16 유지 여부, 배치 크기, vLLM 옵션, 드라이버와 CUDA 버전에서 갈라져.

또 하나는 Apple Silicon과의 비교야. M3 Ultra 96GB 통합 메모리와 RTX PRO 6000 96GB GDDR7 ECC는 숫자만 같지 구조가 달라. Apple Silicon은 CPU와 GPU가 통합 메모리를 공유하고, RTX PRO는 NVIDIA CUDA 생태계와 전용 그래픽 메모리, 전문 드라이버를 탄다. “96GB니까 같다”가 아니라, 어떤 런타임이 필요한지 먼저 봐야 해.

주의해서 볼 점

첫째, 제품 접미사를 봐. RTX PRO 6000의 서버판, 데스크톱판, Max-Q판은 이름이 비슷하지만 전력, 냉각, 배치 방식이 다르다. 특히 서버판은 수동 냉각과 다중 GPU 구성을 전제로 읽어야 하고, 데스크톱 워크스테이션 카드처럼 바로 꽂는다고 보면 안 돼.

둘째, 메모리 숫자를 제품군 전체로 일반화하지 마. 6000 계열의 96GB, 5000 계열의 48GB·72GB, 노트북 제품의 최대 24GB는 모두 다른 조건이야. 로컬 LLM에서는 모델 가중치와 KV cache가 VRAM을 나눠 먹으니까, 같은 모델명이라도 FP8, BF16, Q4, Q8 설정에 따라 남는 공간이 달라져.

셋째, AI TOPS를 체감 속도로 읽지 마. 4000 TOPS나 2064 AI TOPS 같은 숫자는 정밀도와 sparsity 조건이 붙은 이론치에 가깝다. 실제 서비스에서는 p50·p95 지연시간, 토큰/sec, 동시 요청 수, 배치 크기, 첫 토큰 지연시간을 따로 재야 해.

넷째, Reddit 보고는 방향을 보여 주는 신호로만 써. 커뮤니티 글은 어떤 조합이 가능해 보이는지 빨리 알려 주지만, 전력 제한, 드라이버, CUDA, vLLM 커밋, 프롬프트 길이, 출력 길이가 빠지면 같은 결과를 재현하기 어려워. RTX PRO가 보이면 “좋다/나쁘다”보다 먼저 카드 모델, 메모리, 런타임, KV dtype, 측정 조건을 적어 두는 게 낫다.

정리하면 RTX PRO는 NVIDIA GPU 안의 전문가용 제품군 이름이야. Blackwell 세대라는 점은 중요하지만, 그보다 먼저 봐야 할 건 어느 카드인지, VRAM이 몇 GB인지, CUDA 런타임이 맞는지, 전력과 냉각을 감당할 수 있는지야.