이사회 질문에 숫자가 안 나온다

“에이전트 AI에 수백만 달러를 쓰는데, 대체 뭐가 돌아오는 거냐.” 이사회가 CIO한테 이걸 물으면, 대부분 팀이 숫자로 답을 못 해. LangChain과 Pay-i가 7월 17일 낸 파트너 글이 이 지점을 정면으로 짚었어. 문제는 관측 도구가 없어서가 아니야. 토큰 소비량, 지연, 에러율은 이미 잘 재거든. 근데 이사회가 궁금한 건 “요청 한 건 처리하는 데 얼마 들고, 그게 사람보다 싼가”라는 결과 단위 비용이야. 전통 관측은 LLM 호출 단의 기술 지표만 잡고 이 비즈니스 비용은 못 매핑해서, 질문에 답이 안 나오는 거지.

RFP랑 AML, 뭘 재야 숫자가 되나

글은 금융권 유즈케이스 두 개로 “뭘 측정할지”를 구체화했어. 핵심은 유즈케이스마다 목표 KPI를 숫자로 못박은 거야.

  • RFP 처리 자동화: 복잡한 제안요청서 하나에 사람 수백 시간이 드는 작업인데, 초안 무수정 승인률 65%, 요건 추출 정확도 95%, 출처 인용 완결성 95%를 목표로 걸었어. 업계 데이터로도 AI 생성 답변의 60~66%는 편집 없이 통과한다는 근거를 붙였어.
  • AML 컴플라이언스 모니터링: 오탐 60% 감축과 평균 조사 시간 50% 감축을 목표로 잡았어. 규칙 기반 AML 경보는 오탐이 95%를 넘는 게 업계 상수라, 이 오탐을 줄이는 것 자체가 비용을 직접 깎는 지점이거든 (getfocal, Facctum).

구성은 LangGraph로 에이전트 흐름을 오케스트레이션하고, LangSmith로 추적·비용을 잡고, Pay-i가 그 비용을 비즈니스 KPI에 매핑하는 스택이야.

벤더 목표치는 네 베이스라인으로 바꿔 읽어야 해

여기서 걸러야 할 게 있어. 이 글은 LangChain과 Pay-i가 자기 도구를 파는 파트너 포스트라, 65%·95% 같은 숫자는 달성한 성과가 아니라 벤더가 제시한 목표일 뿐이야. 그러니까 도구 스택 홍보는 놔두고, 자동화·제품 오너가 쓸 이식 가능한 방법만 떼어 가면 돼.

  • 결과 단위 KPI 정의: 유즈케이스마다 “무수정 승인률”, “오탐 감축률”처럼 결과 단위 지표를 목표 숫자와 함께 못박는다.
  • 결과당 비용 산출: 그 결과 한 건당 실제로 든 비용을 붙여, 사람이 하던 비용과 직접 비교한다.
  • 베이스라인 환산: 벤더 목표치를 그대로 믿지 말고 네 현재 베이스라인을 먼저 재서 개선폭으로 환산한다.

이사회 질문에 답이 되는 건 도구 이름이 아니라, 이렇게 목표 KPI에 묶인 결과 단위 비용 숫자야.