무슨 일이 있었나

OpenAI가 오픈웨이트 추론 모델 gpt-oss-20B를 LM Studio로 로컬에서 실행하는 방법을 공식 쿡북으로 공개했어. 클라우드 API 없이 자체 하드웨어에서 돌리는 방식인데, OpenAI API 호환 인터페이스를 제공해서 기존 코드에서 base_url만 바꾸면 쓸 수 있어.

LM Studio로 어떻게 쓰나

LM Studio는 GUI 기반 로컬 LLM 런처야. gpt-oss-20B를 올리면 OpenAI API 호환 서버가 로컬에서 뜨거든.

  • HuggingFace에서 openai/gpt-oss-20b 다운로드 (20B 파라미터 MoE 모델)
  • LM Studio에서 모델 로드 후 로컬 서버 시작
  • OpenAI 클라이언트에서 base_url 1줄만 로컬 주소로 변경
  • 기존 OpenAI API 코드를 수정 없이 재사용 가능

MoE 구조라 활성 파라미터는 전체 20B보다 적지만, 32GB VRAM 이상 GPU를 권장해. LM Studio는 기본 포트 1234에서 OpenAI 호환 서버를 실행하고, base_url을 http://localhost:1234/v1로 바꾸면 돼. 모델 파일 크기는 약 40GB이고, 저사양에서는 응답 속도가 크게 느려져.

왜 로컬 실행이 의미 있나

API 비용 없이 OpenAI 추론 모델 계열을 돌릴 수 있다는 게 달라지는 점이야. 민감한 데이터를 외부 서버에 보내기 어려운 케이스, 오프라인 환경, 무제한 호출이 필요한 배치 작업에 특히 유용해. gpt-oss-20B는 20B 파라미터 MoE 모델이고, OpenAI Cookbook 기준 openai 라이브러리 1줄 수정(base_url 변경)으로 기존 코드를 재사용할 수 있어. OpenAI가 오픈 모델을 HuggingFace에 공개한 만큼, 로컬 실행도 공식 지원 범위에 들어온 셈이거든.