한 줄 정의

TPU는 텐서 계산을 빠르게 돕는 AI 가속기의 개념이야. 학습과 추론을 분리해서 쓰면 어디가 병목인지 더 빨리 잡히는데요. 8세대는 학습용 TPU 8t와 추론용 TPU 8i가 분리된 형태예요.

어떻게 작동하나

  • TPU는 하나의 연산 장치가 아니라 칩 설계, 메모리, 인터커넥트, 호스트 연결이 함께 맞아야 하는 시스템으로 봐야 해요.
  • 8t는 학습을 위한 처리량 최적화로 설계돼요. 발표 자료에서 단일 TPU 8t superpod은 9,600칩 구성과 2PB 메모리, 121 ExaFlops를 함께 보여줘요.
  • 8i는 응답 지연이 중요한 추론용으로 설계돼요. 288GB + 384MB 조합과 19.2 Tb/s ICI 대역폭이 핵심 수치로 제시돼요.
  • 그래서 핵심은 무조건 둘 다 쓰는 게 아니라, 어디가 병목인지 먼저 나누는 거야.

왜 중요한가

  • 같은 시스템 안에서도 학습은 계산량, 추론은 응답 속도가 중요해요.
  • 에이전트형 파이프라인에서는 이 차이가 크게 드러나고, 8t/8i 분리가 운영 효율을 바꿔요.
  • 수치로는 80%와 2x 개선이 함께 언급돼요.
  • AI 인프라 관점에서 보면, 이 분리는 A3B처럼 대규모 모델 시스템을 설계할 때 결정 포인트가 돼요.

실무에서 보는 포인트

  • 내 과제가 새로 미세조정을 자주 반복한다면 8t 쪽에서 비용/속도 균형부터 보게 돼요.
  • 사용자 응답이 체감 지연에 민감하고 호출 빈도가 높다면 8i 축을 먼저 점검해야 해요.
  • 8t와 8i를 비교할 때는 배치 크기, 토큰 길이, 모델 크기 조건을 고정해서 봐야 해요.

주의할 점

  • 본문 수치가 크다고 해서 모든 환경에서 그대로 적용되진 않아요.
  • 발표 시점의 기준은 바뀔 수 있고, 지역·가격·지원 범위도 나중에 달라질 수 있어요.
  • 같은 조건 비교가 전제되어야 공정하고, 이 점이 가장 많이 놓치기 쉬워요.