Anthropic이 Accenture 평가팀을 회사 안에 들이는데, 그 비용은 Anthropic이 직접 내

Anthropic이 Accenture 평가팀을 회사 안에 들이기로 했는데, 그 비용은 평가받는 Anthropic이 직접 내. 발표로는 지금의 외부 평가자와 달리, 평가자가 회사 안에서 직원에 준하는 접근권을 갖고 일하는 방식이야.

누가 들어와서 뭘 보나

실제 평가는 Accenture의 AI 사업부 Faculty가 맡아. 모델 평가와 레드팀, 정렬 평가, 안전장치 시험이 일의 범위야. 평가자는 학습 중인 모델을 지켜보고, 모델을 어떻게 만들고 배포할지 정하는 결정을 따라가고, 직원과 직접 이야기할 수 있어. 두 회사는 앞으로 5년 동안 이 분야 역량에 각자 10억 달러 이상을 쓸 계획이야.

TechCrunch는 Faculty가 Accenture가 1월에 인수한 회사라고 전했어. 그동안 내부 평가자 논의는 METR 같은 안전 연구 기관에 쏠려 있었대. TechCrunch는 Accenture 선정을 의외로 받아들인 관찰자가 많았고, 발표 뒤 Accenture 주가가 시간외 거래에서 8% 올랐다고 전했어.

아직 정해지지 않은 것

Anthropic 스스로 평가자가 어떤 정보에 접근하고 결과를 어떻게 보고할지 정한 기준이 아직 없다고 밝혔어. 장기적으로는 공동 기금이나 정부 예산으로 평가 비용을 대야 한다고 보지만, 지금은 그런 자금이 없대. 이번 Accenture 평가 비용은 Anthropic이 직접 낸다고 밝혔어. 평가를 언제 시작하는지, 결과를 어디에 공개하는지도 발표에 나오지 않았어.

TechCrunch는 이런 업계 자율 감시 구상을 책임을 피하려는 방법으로 보는 비판도 있다고 전했어. Anthropic은 발표문에서 내부 평가자가 자기 책임을 덜어 주는 게 아니라, 그 책임을 밖에서 확인하기 쉽게 만든다고 설명했어. 이번 협력은 독점이 아니고, 다른 평가자는 몇 주 안에 더 발표할 예정이래. METR 등 비영리 평가 기관과는 그 기관들이 직접 낸 자금으로 내부 평가 일부를 시범 운영하는 방안을 논의하고 있어.

모델을 고르는 쪽이 확인할 것

앞으로 AI 회사가 “독립 평가를 받았다”고 내세우면, 평가자가 누구인지만 보지 말고 세 가지를 같이 확인해 봐. 비용을 누가 냈는지, 평가자가 학습 과정까지 볼 수 있었는지, 결과가 실제로 공개됐는지야. 이번 발표에서 정해진 건 앞의 두 가지고, 공개 방식은 아직 비어 있어.