Andrew Ng가 “빠른 추론 하드웨어로 LLM 앱을 만드는 강의”를 열었어

“응답이 빠른 LLM 앱은 결국 하드웨어에서 갈려.” Andrew Ng의 DeepLearning.AI가 Cerebras와 함께 만든 무료 단기 강의 Fast LLM Inference with Cerebras를 공개했거든. Cerebras 소속 Zhenwei Gao·Sebastian Duerr·Sarah Chieng 3명이 가르치고, 주제는 하나야. 빠른 추론에 맞춰 설계된 칩 위에서 사용자 요청에 바로 반응하는 앱을 만드는 법.

왜 GPU보다 몇 배 빠른가

LLM이 텍스트를 만들 때 시간을 잡아먹는 건 계산 자체보다 모델 가중치를 메모리에서 연산 유닛으로 옮기는 과정이야. 강의는 이 이동을 줄이는 방법으로 가중치를 칩 위에 붙여 두는 WSE-3 웨이퍼 스케일 엔진을 쓰는데, 결과 차이가 커. GPT-OSS 120B를 돌렸을 때 Artificial Analysis 독립 벤치마크 기준 초당 1500토큰이 넘게 나오고, 같은 모델을 일반 GPU 구성에 올리면 수백 토큰 수준에 그쳐. 넉넉잡아도 3배 이상 벌어지는 셈이야. 속도 근거가 Cerebras 자체 자료가 아니라 제3자 벤치마크라는 점이 중요해.

나한테 뭐가 달라지나

앱을 만드는 입장에서 이 차이는 사용자 경험으로 바로 튄다. 실시간 개인화, 여러 도구를 연달아 호출하는 에이전트, 대화가 끊기면 안 되는 화면처럼 지연에 민감한 곳에서 토큰 생성 속도가 몇 배 벌어지면 체감이 완전히 달라져. 반대로 배치 요약이나 야간 처리처럼 몇 초 늦어도 되는 작업이면 굳이 전용 하드웨어를 붙일 이유는 없어.

그래서 이 강의는 “빠른 칩이 무조건 좋다”가 아니라 “내 앱이 지연에 민감한가”를 먼저 묻게 만들어. 무료라 진입 문턱은 낮으니, 실시간 응답이 제품 가치의 핵심인 앱을 짜고 있다면 하드웨어 선택지를 한 번 재보는 계기로 쓰기 좋아.