한 줄 정의

M5 Max 64GB는 새 칩 이름이 아니라, M5 Max 칩이 들어간 장비에 64GB 통합 메모리가 붙어 있다는 setup 표현이야. 로컬 LLM 문맥에서는 “이 모델이 M5 Max에서 돌아간다”보다 더 좁게, 모델 파일과 KV cache, draft 모델, 런타임 버퍼를 64GB 안에서 어떻게 나눠 쓰는지 보는 말로 읽어야 해.

그래서 M5 Max 64GB는 Apple Silicon 하드웨어 스펙표와 커뮤니티 벤치마크 사이에 있는 조건표에 가까워. 칩은 M5 Max이고, 실행 경로는 보통 MLX 같은 Mac용 런타임이며, 숫자는 모델과 측정 범위가 붙을 때만 의미가 생겨.

어떻게 작동하나

Apple Silicon은 CPU와 GPU가 완전히 따로 떨어진 VRAM 경계만으로 움직이는 장비와 달리, 통합 메모리 풀을 중심으로 읽는 편이 맞아. Apple의 M1 발표는 이 구조를 SoC와 unified memory architecture로 설명했고, M5 Max 발표는 M5 Max가 최대 128GB 통합 메모리와 최대 614GB/s 대역폭을 지원한다고 적어. 여기서 64GB는 그 최대 스펙 자체가 아니라, 특정 테스트 장비가 가진 메모리 용량이야.

DFlash Reddit 글이 딱 이 쓰임을 보여 줘. 작성자는 setup을 M5 Max, 64GB, MLX, no CUDA라고 적고, Qwen3.5-9B BF16에서 1024 tokens 생성 85 tok/s, baseline 26 tok/s, 3.3배를 보고했어. 같은 글에서 2048 tokens는 80 tok/s 대 26 tok/s, 3.1배야.

하지만 이 값은 생성 구간만 본 숫자야. 프롬프트를 처음 읽는 prefill은 빠져 있고, acceptance는 80-87% around라고 제한돼 있어. 예를 들어 긴 코드베이스를 넣고 에이전트가 여러 번 도는 작업이라면, prefill과 KV cache 증가가 다시 큰 비용으로 돌아올 수 있어.

왜 중요한가

M5 Max 64GB가 따로 잡히는 이유는, CUDA GPU 서버가 아닌 Mac 장비에서도 추론 가속 기법의 체감이 숫자로 나오기 때문이야. DFlash 논문은 자동회귀 LLM이 다음 토큰을 순서대로 뽑기 때문에 지연과 낮은 GPU 활용률이 생긴다고 설명해. 그래서 작은 block diffusion draft 모델이 후보 토큰을 병렬로 만들고, target 모델이 검증하는 구조를 제안해.

이 구조는 64GB 같은 메모리 조건을 더 중요하게 만들어. target 모델만 올라가는 게 아니라 draft 모델, target hidden feature, KV cache, verify tree나 버퍼까지 같이 들어가기 때문이야. Reddit 댓글에서도 speculative decoding에는 두 번째 모델이 RAM에 들어간다는 지적이 나와. 그냥 “9B 모델이면 64GB에서 충분하겠지”로 읽으면 실제 병목을 놓치기 쉬워.

실무에서는 이 표현이 보이면 아래 네 가지를 같이 확인하면 돼.

  • 장비 조건: M5 Max인지 M5 Pro인지, 통합 메모리가 64GB인지 128GB인지 확인해.
  • 실행 경로: MLX인지 llama.cpp인지, CUDA 없는 경로인지 확인해.
  • 모델 조건: Qwen3.5-9B BF16인지, 27B quantized인지, MoE A3B인지 확인해.
  • 측정 범위: 1024 tokens 생성 구간만 잰 값인지, prefill과 긴 컨텍스트까지 포함했는지 확인해.

이 네 항목이 붙어야 85 tok/s 같은 숫자가 실제 선택 기준이 돼.

주의해서 볼 점

첫째, M5 Max 64GB는 M5 Max 전체를 대신하지 않아. Apple 공식 발표에서 M5 Max는 최대 128GB 통합 메모리까지 지원한다고 나오고, Reddit 수치는 그중 64GB 장비의 커뮤니티 측정이야.

둘째, 64GB는 넉넉해 보여도 DFlash에서는 금방 좁아질 수 있어. target 모델, draft 모델, KV cache, 중간 버퍼가 같은 통합 메모리를 나눠 쓰니까, 양자화나 컨텍스트 길이가 바뀌면 성공 여부와 속도가 같이 흔들려.

셋째, Reddit의 85 tok/s는 Apple 공식 벤치마크가 아니야. M5 Max 64GB, MLX, Qwen3.5-9B BF16, no CUDA, 생성 구간 측정이라는 조건이 붙은 구현 보고야. 같은 글도 4bit target에서는 BF16 draft가 오히려 병목이 될 수 있다고 적어. 숫자는 꽤 선명하지만, 적용 범위는 좁게 읽는 게 맞아.

마지막으로, M5 Max 64GB를 24GB GPU와 단순 비교하면 절반만 맞아. GPU VRAM은 빠른 전용 메모리 예산이고, Apple Silicon의 통합 메모리는 CPU와 GPU가 공유하는 풀에 가까워. 어느 쪽이 낫다는 문제가 아니라, 모델을 어디에 올리고 어떤 런타임이 병목을 줄이는지 따로 봐야 해.