한 줄 정의
Training(학습)은 모델이 데이터 예시를 보면서 내부 가중치를 바꾸는 과정이야. 가중치는 모델이 어떤 패턴을 더 중요하게 볼지 정하는 숫자들이고, training은 그 숫자들을 반복해서 조정하는 일이야.
어떻게 작동하나
보통은 데이터를 여러 묶음으로 넣고 오차를 계산한 다음, 역전파와 옵티마이저로 가중치를 조금씩 움직여. 프리트레이닝, 파인튜닝, RLHF처럼 이름은 달라도 핵심은 모델 파라미터가 실제로 업데이트되느냐에 달려 있어.
왜 중요한가
모델 성격의 큰 부분은 training 단계에서 굳어져서, 어떤 데이터를 봤는지와 어떤 목표로 학습했는지가 나중 답변 스타일과 한계를 많이 좌우해. 기사에서 training cost, training run, training data라는 표현이 나오면 그건 서비스 실행 단계가 아니라 모델을 만드는 공장 쪽 이야기로 읽으면 돼.
주의해서 볼 점
모든 개선이 training은 아니야. 프롬프트를 잘 쓰는 일, RAG를 붙이는 일, 캐시나 추론 엔진을 최적화하는 일은 보통 가중치를 안 바꾸니까 training과는 다른 층위야. 또 사용자가 서비스에 질문했다고 그 대화가 자동으로 학습에 들어가는 것도 아니어서, 실제로는 수집 정책과 옵트인 여부를 따로 봐야 해.
관련 용어
- Alignment: alignment는 모델이 어떤 방향으로 답해야 하는지 기준을 맞추는 쪽이야. 그 기준을 실제 가중치 변화로 밀어 넣는 순간은 training 단계에서 자주 일어나.
- Claude: Claude는 학습이 끝난 뒤 서비스로 쓰이는 모델 제품 이름이야. 그래서 Claude를 보는 일과 Claude가 어떻게 training됐는지를 보는 일은 같은 질문이 아니야.
- GitHub Copilot: Copilot은 training 과정 자체보다 학습된 모델을 개발 도구에 붙여 쓰는 제품에 가까워. Copilot 성능 이야기를 읽을 때도 뒤에는 training과 inference가 같이 숨어 있어.
- adaptation: adaptation은 모델을 새 환경에 맞추는 넓은 말이야. training은 그 적응을 실제 가중치 업데이트로 밀어붙이는 대표 방법 중 하나야.
- deep learning: deep learning은 여러 층의 신경망으로 패턴을 배우는 방식 전체를 가리켜. training은 그 신경망이 실제로 배우는 절차라고 보면 돼.