무슨 일이 일어났나
멀티모달 LLM을 새 작업에 파인튜닝할 때 기존에 잘 되던 다른 작업 성능이 떨어지는 문제가 있어. 이걸 ‘파국적 망각(Catastrophic Forgetting)‘이라고 부르는데, 비전-언어 모델의 지속적 학습에서 주요 장벽이거든. ProtoAda는 프로토타입 가이드 방식으로 어댑터를 동적 확장하고, 기하학적 통합으로 작업 간 간섭을 줄이는 방법을 제안해. 교차 참조된 관련 논문이 2개 이상 있어.
어떻게 작동하나
핵심은 새 작업마다 어댑터를 새로 추가하되, 기존 지식의 기하학적 구조를 기준점으로 삼아 충돌을 최소화하는 거야. 기존 방식은 모든 파라미터를 한 번에 업데이트해서 이전 학습 정보가 덮어씌워지는 문제가 있었어. ProtoAda는 어댑터를 분리 확장하면서 이전 프로토타입의 공간적 관계를 보존하는 구조야.
실무에서 왜 중요한가
“AI 모델에 새 기능을 추가할 때 기존 기능이 망가지지 않게 하는 방법”은 운영 비용과 직결되거든. 지금은 일반적으로 전체 재학습을 하거나 작업별로 별도 모델을 유지하는 방식을 쓰는데, 연속 학습이 가능해지면 그 비용이 크게 줄어들 수 있어. ProtoAda가 이 방향의 실용적 해법으로 자리잡는다면 AI 모델 관리 방식이 달라질 거야.