에이전트를 에이전트로 레드팀하자는 제안이 나왔어

7월 13일 arXiv cs.AI에 올라온 논문 ‘Agent Hacks Agent’는 Claude Code나 Codex 같은 프로덕션 코딩 에이전트가 위험하게 행동하는 조건을, 다른 에이전트로 반복 시험해 찾아보자는 레드팀 접근을 제안해. 여기서 Autoresearch는 공격이 한 번 성공한 사례만 모으는 게 아니라, 어떤 입력과 권한 조합에서 에이전트가 안전하지 않게 움직이기 시작하는지 자동으로 추적해보자는 뜻에 가까워. 논문 초록은 이런 도구가 신뢰할 수 없는 콘텐츠, 파일, 명령, 워크스페이스 상태까지 다루기 때문에 보안 실패가 바로 실제 행동으로 이어질 수 있다고 설명해. 그래서 레드팀도 모델·도구가 바뀌는 속도를 따라가야 한다는 문제의식을 내세워.

기존 레드팀의 빈틈을 짚었어

논문이 지적하는 지금 방식의 한계는 이래. 기존 접근은 공격 성공률을 올리고 벤치마크, 페이로드, 공격 프로그램 같은 산출물을 남기는 데 집중해. 근데 이건 “어디서 공격이 성공했나”는 기록해도, “왜 에이전트가 안전하지 않게 행동했나”라는 조건은 안 남긴다는 거야. 저자들이 말하는 레드팀 접근은 한 번 뚫린 사례를 수집하는 데서 멈추지 않고, 외부 입력을 어떻게 넘겼는지, 명령 실행이 어디서 붙었는지, 쓰기 권한이 있었는지 같은 조건을 반복 실험으로 드러내자는 제안이야. Autoresearch는 그 조건 자체를 자동으로 찾자는 접근이라고 논문은 밝혀.

실무에선 어떻게 보면 되냐면

판단축은 “우리가 에이전트한테 외부 입력을 얼마나 그대로 넘기냐”야.

  • 파일·명령에 직접 붙여 쓰는 팀: 사내 저장소나 셸에 코딩 에이전트를 연결해 쓰면 이 논문이 말하는 공격면이 그대로 걸려. 조건 중심 레드팀 관점은 참고할 만해.
  • 외부 입력이 곧바로 실행 흐름으로 이어지는 팀: 외부 PR, 이슈, 문서, 검색 결과를 거의 정제하지 않고 에이전트 프롬프트나 작업 지시로 넘기고, 그 뒤에 명령 실행까지 연결한다면 바로 참고할 만한 조건이야.
  • 워크스페이스 쓰기 권한까지 주는 팀: 읽기 전용이 아니라 파일 수정·커밋 생성·스크립트 실행 권한까지 열어뒀다면, 공격 성공 사례보다 “어떤 조건에서 안전하지 않은 작업 흐름이 시작됐는지”를 로그에 남기는 기준이 더 중요해져.
  • 읽기·요약 위주로만 쓰는 팀: 명령 실행 권한을 안 준다면 체감이 덜해. 급하게 뭘 바꿀 건 없어.
  • 보안·검증 담당: 공격 성공 사례만 모으는 지금 방식 말고, 안전하지 않은 행동을 부르는 조건을 남기는 방식으로 점검 로그를 다시 볼 수 있어.

주의할 점

이건 arXiv 프리프린트라 아직 동료심사 전이야. 방법론도 저자가 직접 돌린 실험이고, 다른 팀이 똑같이 재현했다는 확인은 아직 없어. Autoresearch가 조건을 잘 찾아낸다는 것도 논문의 제안이지 검증된 결과로 단정할 단계는 아니야. 원문은 arXiv 초록에서 직접 확인할 수 있어.