상한을 넘기면 402가 돌아와

“에이전트가 예산을 넘기면 402를 돌려주는 게이트웨이가 열렸어.”

LangChain이 7월 30일 LangSmith LLM Gateway를 퍼블릭 베타로 공개했어. 에이전트와 모델 API 사이에 층을 하나 세우고, 거기서 모델 호출을 통과시킬지 말지 정하는 구조야.

402는 결제가 필요하다는 뜻으로 쓰는 응답 코드야. 지출 상한에 걸린 에이전트는 모델 응답 대신 이 코드를 받고 멈춰. 상한은 조직, 워크스페이스, API 키, 사용자 네 단계로 따로 걸 수 있어.

런타임에서 거는 제어는 다섯 가지야

  • 비용 상한: 네 단계 각각에 지출 한도를 걸고, 넘기면 402로 끊어.
  • 호출 제한: 같은 네 단계에 트래픽 제한을 걸어서 실수로 폭주하거나 갑자기 몰리는 걸 막아.
  • 모델 폴백: 모델과 호스트를 가로질러 대체 규칙을 정해두고 모든 앱에 강제해. 한 제공사가 멈춰도 호출이 다른 곳으로 넘어가.
  • 민감 정보 처리: 요청이 모델 제공사에 닿기 전에 개인정보와 시크릿을 찾아서 지우거나 바꿔. Enterprise 요금제 전용이야.
  • 고객별 정책: 커스텀 헤더로 고객을 구분해서, 고객마다 API 키를 따로 만들지 않고도 지출 한도와 호출 제한을 나눠 걸어.

받는 제공사는 OpenAI, Anthropic, Fireworks고, OpenAI나 Anthropic 형식과 호환되는 자체 엔드포인트도 붙일 수 있어.

코드를 고치는 대신 주소를 바꾸는 방식이야

붙이는 순서는 게이트웨이 엔드포인트를 가리키게 하고, LangSmith API 키로 인증하고, 제공사 자격 증명을 워크스페이스 시크릿에 넣고, 제어 규칙을 설정한 다음 base URL을 바꾸는 거야.

그러니까 에이전트 코드 안에 비용 계산 로직을 심는 대신, 호출 경로를 한 곳으로 모아서 정책을 거는 접근이야. 여러 팀이 각자 에이전트를 돌리고 있으면 이 차이가 커져.

앞단에 게이트웨이를 세울지 고민 중이라면

  • 단일 장애점: 모든 모델 호출이 한 경로를 지나. 그 경로가 멈추면 전부 멈추는 구조라 폴백 규칙과 별개로 게이트웨이 자체 가용성을 봐야 해.
  • 종속의 방향: 제공사 종속을 줄이려고 넣는 층인데, 대신 LangSmith에 붙게 돼. Plus와 Enterprise 요금제에서만 쓸 수 있다는 점도 같이 계산에 넣는 게 맞아.
  • 지연 시간: 호출이 한 단계를 더 지나는데, 늘어나는 시간이 얼마인지는 발표문에 없어. 실시간 응답이 중요한 서비스면 직접 재보고 판단해도 늦지 않아.

아직 퍼블릭 베타 단계고, 벤더 발표 말고 실제로 돌려본 독립 기록은 아직 없어. 지출 상한이 필요한 상황이 이미 있는 팀이면 먼저 재볼 만해.