대화형 에이전트는 보통 대화가 끝난 뒤에 채점된다. 사용자가 답을 얻었나, 중간에 나가버렸나. 핀테크 Candidly는 이 순서를 뒤집었다. 자사 금융 상담 에이전트 Cait를 두고, 대화 진행 중에 매 턴마다 사용자가 지금 어떤 상태인지 추정해 응답 방식을 바꾸는 하네스를 LangSmith로 만들었다고 밝혔어. Ben Levine(CPO)과 Patrick Hendershott가 6월 29일 공개한 사례다.
핵심은 트레이스를 상태 모델로 바꾼 거야. LangSmith 로그에 라벨을 붙여 사용자를 4개 상태로 나눴다. 정렬이 좋은 Engaged가 53%, 짧게 답하고 이탈 신호가 강한 Disengaging이 23%, 나머지가 Guided(17%)와 Detailed(7%)다. Candidly 자체 보고로는 자동 라벨과 사람 라벨의 일치율이 92.3%였고, 해결로 갈지 이탈로 갈지 예측하는 모델은 0.90 AUC를 냈다.
왜 굳이 나눴을까. 평균만 보면 잘 굴러가는 것 같아도, 그 안에서 이탈 사용자가 조용히 빠져나가고 있거든. 실제로 해결률은 Engaged에서 약 78%인데 Disengaging에선 약 30%까지 떨어진다. 상태를 실시간으로 읽으면 지금 이 사람이 이탈 쪽으로 기운다는 걸 대화 도중에 알아채고 응답 방식을 틀 수 있어.
효과도 숫자로 나왔다. 상태 인식 정책을 넣자 이탈 턴이 23%에서 11%로 반토막 났고, 그 대부분이 참여 쪽으로 넘어가 참여 턴은 53%에서 64%로 늘었다. 평가를 끝난 뒤의 점수가 아니라 운영 루프 안에 집어넣은 결과지.
업무자동화용 챗봇이나 상담 에이전트를 굴리는 사람에게 이 사례가 주는 건 방향 하나야. eval을 사후 리포트로만 쓰지 말고 대화 중간 신호로 바꿀 수 있는지 보라는 거지. 다만 위 수치는 전부 Candidly 자체 보고라, 다른 도메인에서 같은 개선폭이 나올지는 별개다.