무슨 일이 있었나

OpenAI가 오픈웨이트 추론 모델 gpt-oss-20B를 HuggingFace Transformers로 파인튜닝하는 공식 쿡북을 공개했어. 20B 파라미터 MoE 모델인데, 기본적으로 영어로만 추론하는 한계가 있어서 쿡북이 다국어 추론을 가르치는 방법을 보여줘.

어떻게 학습하나

LoRA(Low-Rank Adaptation)로 효율적으로 파인튜닝하는 구조야.

  • 데이터셋: 1,000개 다국어 사고 과정 예제 (프랑스어·스페인어·독일어·이탈리아어 포함)
  • LoRA 설정: rank=8, lora_alpha=16, MXFP4 양자화
  • 학습 시간: H100 80GB 단일 GPU에서 18분
  • TRL 라이브러리: 데이터 포맷팅과 학습 파이프라인 처리

배치사이즈 4에 그래디언트 누적 4단계로 유효 배치 16을 유지해.

실무 의미가 뭔가

gpt-oss-20B를 직접 파인튜닝할 수 있다는 건 OpenAI 모델 계열을 특정 언어·도메인에 맞게 커스텀할 수 있다는 거야. 단, H100 80GB가 필요하다는 점에서 접근 문턱은 있어 — 1,000개 데이터셋 기준으로 18분이지만, 데이터를 늘리면 시간도 비례해서 늘어나거든. 공식 쿡북이라 OpenAI의 권장 접근법을 바로 쓸 수 있다는 점은 장점이야.