허깅페이스 PEFT 팀이 직접 실험을 하나 올렸어. 파인튜닝 할 때 다들 LoRA를 쓰는데, 그게 정말 최선인지 벤치마크로 따져본 거야. 모델 카드 표본 중 98.4%, 이미지 생성 체크포인트의 95.0%가 LoRA를 쓸 만큼 거의 기본값이거든.

그래서 던진 질문은 단순해. “이걸 이기는 기법이 있을까?” 비교 대상으로 올린 건 이런 것들이야.

  • DoRA: 가중치 업데이트를 크기랑 방향으로 나눠서, 방향은 LoRA가 맡고 크기는 따로 학습해
  • OFT: 직교 변환을 써서 원래 가중치를 비틀어 맞추는 방식
  • BEFT, Lily, GraLoRA, Cartridges: 메모리나 표현력 같은 다른 축을 노린 변형들

결과는 한쪽으로 안 갈려. 이미지 생성(FLUX 기반)에선 OFT가 유사도 0.708로 LoRA의 0.697을 살짝 앞섰고, 메모리도 덜 썼어. 수학 벤치마크(Llama-3.2-3B)에선 LoRA가 53.2% 정확도로 효율 곡선 위에 잘 앉아 있었는데, Lily가 54.9%로 정확도는 더 높았어. 대신 메모리를 더 쓰지. 정확도는 낮아도 메모리를 아끼는 BEFT 같은 선택지도 있고.

조심할 게 있어. 이 숫자들은 전부 허깅페이스 팀이 자기 환경에서 돌린 자체 실험이야. 외부에서 같은 결과를 재현한 건 아니고, OFT가 이긴 폭도 작아. 작업이나 설정 바꾸면 순위가 뒤집힐 수 있다는 뜻이야. 그래서 원문도 “LoRA가 더 낫다”가 아니라 “나쁜 선택은 아니지만 더 나은 후보가 있을 수 있다” 정도로만 말해.

바이브코딩 하면서 모델 하나 손볼 일 있으면, 일단 LoRA로 시작하는 게 여전히 무난해. 다만 메모리가 빠듯하거나 이미지 쪽을 만진다면, OFT나 BEFT를 한 번 시험해볼 만하지. 급할 거 없어. 기본값으로 돌려보고 안 맞을 때 갈아타도 늦지 않아.