한 줄 정의
RTX 3090은 NVIDIA의 GeForce RTX 30 계열 고급 소비자 GPU야. 로컬 LLM 이야기에서는 “GPU가 있다”보다 더 구체적인 조건, 즉 24GB VRAM을 가진 NVIDIA GPU 카드라는 뜻으로 읽는 편이 좋아.
어떻게 작동하나
RTX 3090은 일반적인 GPU 개념이 아니라 특정 제품명이야. 그래서 기사나 벤치마크에 이 이름이 나오면 “NVIDIA 계열 카드”, “CUDA 목록에 들어가는 카드”, “24GB VRAM 예산을 가진 카드”라는 조건을 먼저 분리해 읽어야 해.
이 차이는 로컬 LLM에서 중요해. 모델이 돌아갔다는 결과만 보면 쉬워 보이지만, 실제로는 카드의 VRAM, 모델 가중치 정밀도, KV 캐시 정밀도, 컨텍스트 길이가 같이 적혀 있어야 비교가 돼. RTX 3090은 그 조건 중 하드웨어 쪽을 가리키는 단서야.
왜 중요한가
첫째, 로컬 LLM에서는 VRAM이 모델 실행 가능 여부를 크게 좌우해. 어떤 모델이 RTX 3090에서 돌아갔다는 말은 “아무 GPU에서 된다”가 아니라, 24GB VRAM급 NVIDIA 카드 조건에서 나온 사례라는 뜻에 가까워. 이 사례를 8GB 노트북 GPU나 서버 GPU 일반론으로 바로 확장하면 안 돼.
둘째, 긴 작업에서는 모델 가중치뿐 아니라 KV 캐시와 컨텍스트도 메모리를 쓴다. 그래서 RTX 3090이 언급되면 카드 이름만 보지 말고, 모델 정밀도, KV 캐시 정밀도, 컨텍스트 길이를 함께 봐야 해.
주의해서 볼 점
RTX 3090이 보이면 아래 순서로 읽어.
- 카드 수: RTX 3090 한 장인지 두 장인지 먼저 기록해.
- 모델 정밀도: FP16, FP8, Q4, Q8 같은 말이 모델 가중치에 붙은 것인지 확인해.
- KV 캐시 정밀도: 모델은 FP8인데 KV 캐시는 FP16일 수도 있고, 둘 다 낮춘 설정일 수도 있어.
- 컨텍스트 길이: 짧은 질문과 긴 에이전트 작업은 VRAM 부담이 다르게 커져.
- 실행 경로: vLLM, llama.cpp, SGLang, PyTorch처럼 어떤 런타임이었는지 기록해야 같은 조건끼리 비교할 수 있어.
예를 들어 “RTX 3090 두 장에서 FP8 모델을 돌렸다”는 문장을 보면, 모델 파일 정밀도와 카드 수는 보이지만 KV 캐시 정밀도는 아직 모를 수 있어. 이때는 KV 캐시가 FP16인지 FP8인지 따로 찾아야 해. 또 “RTX 3090에서 짧은 프롬프트는 빠르다”는 말만으로 긴 코딩 에이전트 작업까지 안정적이라고 보면 안 돼. 긴 작업은 컨텍스트와 KV 캐시가 커져서 다른 병목이 생길 수 있어.
GPU는 계산 장치 전체를 가리키는 일반 개념이고, NVIDIA GPU는 NVIDIA 제품군과 CUDA 생태계를 묶어 부르는 말이야. RTX 3090은 그중 특정 카드라서, 기사에서 이 이름이 나오면 일반 GPU 설명보다 VRAM, 드라이버, 런타임 조건을 먼저 봐야 해.