무슨 일이 일어났나
NVIDIA가 허깅페이스 모델을 거의 그대로 파인튜닝하게 해주는 NeMo AutoModel을 공개했어. 파인튜닝은 이미 공개된 모델을 내 데이터로 한 번 더 학습시켜 내 용도에 맞게 길들이는 작업인데, 보통 체크포인트를 따로 변환하고 학습 코드를 새로 짜야 했어. NeMo AutoModel은 import 한 줄만 바꾸면 기존 from_pretrained()를 그대로 쓰게 만들어서, 그 변환 단계를 건너뛰게 해줘.
숫자가 말하는 것
NVIDIA가 내세운 건 MoE(전문가 혼합) 모델 파인튜닝 속도야. 같은 H100 GPU 8장 위에서, native Transformers v5와 비교해 학습 처리량 3.4~3.7배, GPU 메모리 29~32% 절감을 봤다고 해.
- Qwen3-30B-A3B: 처리량
3.69배, 메모리는 68.2 GiB에서 48.1 GiB로-29% - Nemotron 3 Nano 30B A3B: 처리량
3.36배, 메모리 62.1 GiB → 42.5 GiB로-32% - 대규모(550B): 128장 H100에서 GPU당
815 토큰, 피크 메모리 58.2 GiB — 같은 규모에서 v5는 메모리 부족으로 아예 못 돌았대
어떻게 빨라졌나
빨라진 이유는 MoE 모델 구조를 정면으로 손봤기 때문이야. 핵심 장치는 이렇게 나뉘어.
- Expert Parallelism(EP): 전문가 가중치를 GPU 여러 장에 쪼개 한 장당 메모리 부담을 줄여
- DeepEP fused dispatch: 토큰을 전문가로 보내는 통신과 실제 계산을 겹쳐서 노는 시간을 줄여
- TransformerEngine 커널: 어텐션·선형 연산·RMSNorm을 NVIDIA 전용 커널로 가속해
- FSDP2 연동: 여러 GPU에 모델을 나눠 큰 모델도 돌아가게 해
어떤 의미인가, 그리고 주의할 점
내가 코드를 직접 안 짜더라도 이 흐름은 신호로 읽을 만해. 오픈모델을 내 데이터로 길들이는 비용이 내려가면, 그걸 깔고 만든 제품이나 사내 도구가 더 빨리·싸게 나온다는 뜻이거든. 다만 이건 어디까지나 개발자용 라이브러리야. 그리고 더 중요한 건, 3.69배나 -32% 같은 숫자가 전부 NVIDIA 자체 벤치마크라는 점이야. 비교 기준도 ‘MoE 모델 + Transformers v5’로 좁고, 외부 독립 검증은 아직 없어. 잘 나온 조건만 골라 보여줬을 가능성을 깔고, 도입할 거면 내 모델·내 GPU에서 직접 재보는 게 맞아.