무슨 일이 일어났나
코딩 에이전트나 멀티모달 모델을 긴 컨텍스트로 돌려본 사람이면 알 거야. 정답에 필요한 단서가 툴 로그 수백 줄 중 딱 한 줄이거나, 이미지 한 구석의 작은 디테일일 때 모델이 그걸 자주 놓쳐. 연구진이 6월 15일 arXiv에 공개한 ContextRL은 이걸 학습 단계에서 줄이는 강화학습 방식이야.
핵심은 보상 주는 방식을 바꾼 거야. 보통은 모델이 내놓은 최종 답만 보고 보상을 줘. ContextRL은 질문 하나, 답 하나, 그리고 서로 아주 비슷한 맥락 두 개를 같이 주고, 그중 질문-답을 진짜로 뒷받침하는 맥락을 고르게 해서 보상해. 답을 맞히는 능력 말고, 답의 근거를 정확히 짚는 능력을 따로 키우는 거지.
데이터는 어떻게 만들었나
비슷한데 미묘하게 다른 맥락 쌍을 만드는 게 이 방식의 관건이야. 두 도메인에서 다르게 뽑았어.
- 코딩 에이전트: 에이전트가 남긴 작업 기록(trajectory)을 맥락으로 써서, 조건 필터링으로 1,000쌍을 만들었어.
- 멀티모달 추론: 이미지를 맥락으로 쓰고, 생성형 편집과 유사도 검색으로 7,000쌍을 만들었어.
같은 질문에 거의 똑같아 보이는 두 후보를 붙여두면, 모델이 대충 비슷한 걸 고르는 게 아니라 결정적 차이를 짚어야 보상을 받게 돼.
어떤 의미인가
수치로 보면 표준 GRPO 대비 긴 추론 벤치마크 5개에서 평균 +2.2%, 시각 질의응답 12개에서 평균 +1.8% 올랐어. 큰 도약이라기보다 미세한 향상이야. 그래도 방향이 흥미로운 게, 답 자체가 아니라 “근거를 고르는 연습”을 시켰더니 긴 맥락 추론이 같이 좋아졌다는 점이야. 바이브코딩으로 에이전트한테 긴 로그를 떠넘기는 입장이면, 모델이 핵심 줄을 더 잘 짚게 만드는 학습 레버가 하나 더 생긴 셈이야.
주의해서 볼 점
급하게 결론 낼 일은 아니야. +2.2%, +1.8%는 평균치고, 저자들이 직접 만든 대조 데이터와 벤치마크에서 나온 숫자야. 외부에서 같은 결과가 재현되는지, 다른 모델·작업에도 통하는지는 아직 안 나왔어. 신규 논문 수준으로 보고, 내 작업에 쓸 땐 직접 한번 돌려보고 판단해도 늦지 않아.