로봇이 영상을 보면서 자기가 어디까지 했는지 판정해

“로봇이 영상을 계속 보면서 자기가 어디까지 했는지 판정해.”

Google이 7월 30일 공개한 Gemini Robotics ER 2 얘기야. Gemini 계열이고, 이전 세대는 명령을 받아 동작을 계획하는 데까지였는데, 이번엔 연속 영상 피드를 보면서 진행 상황을 스스로 추적하고 뭔가 잘못되면 조정해.

그 판정 능력을 잰 점수가 진행 상황 분류 정확도 57.4%야. 절반을 조금 넘는 수준이라 아직 사람 감독 없이 맡길 숫자는 아니지만, Google DeepMind가 비교 기준으로 세운 이전 세대 ER 1.6보다는 높아.

ER 1.6에서 실제로 바뀐 건 세 가지야

  • 진행 추적: 영상 피드를 계속 보면서 작업이 어디까지 됐는지 판정해. 이전 세대에는 없던 동작이야.
  • 순간 찾기: 영상에서 중요한 사건이 일어난 프레임을 지목하는 과제에서 정확도 91.3%, 평균 오차 0.96초가 나왔고 실행 속도는 4배야.
  • 여러 로봇 협업: 로봇 한 대가 아니라 여러 대가 같이 일하는 상황을 다루는 기능이 새로 들어갔어.

도구를 순서대로 호출하는 오케스트레이션은 제어 모드 세 가지 모두에서 ER 1.6을 앞섰어. 계기를 읽는 능력도 10종으로 범위가 늘었고, 사람이 가까이 오면 휴머노이드를 멈췄다가 비켜나면 다시 시작하는 시연이 안전 항목으로 들어갔어.

열린 건 추론 모델 하나뿐이야

같은 날 나온 발표 묶음에는 모델이 여러 개 들어 있는데, 지금 바로 써볼 수 있는 건 임베디드 추론 모델인 ER 2야. Gemini API와 Google AI Studio에서 열렸고, Gemini Enterprise Agent Platform은 비공개 프리뷰 단계야.

몸 전체를 움직이는 VLA 모델과 온디바이스 모델은 얼리 액세스 파트너만 받을 수 있어. 그러니까 API 키만 있으면 로봇 팔이 움직이는 구조는 아니고, 상위에서 계획하고 판정하는 부분만 열린 거야.

물리 자동화를 검토하는 팀이 확인할 것

  • 측정 주체: 57.4%와 91.3%는 전부 Google 자체 벤치마크 결과야. 자기 작업 영상으로 다시 재보기 전에는 도입 근거로 쓰기 이르다고 봐.
  • 모델 경계: ER 2는 계획과 판정을 맡고, 실제 모터 제어는 아래 단계 VLA 모델이 받아. 이 두 층을 하나로 묶어 예산을 잡으면 파트너 승인 대기에서 일정이 밀려.
  • 안전 시연의 범위: 사람 접근 감지와 재개는 벤치마크와 시연에서 확인된 동작이야. 현장 배치의 안전 보증과는 다른 이야기라 별도 검증이 필요해.

물리 세계에 에이전트를 붙이는 흐름은 몇 년째 이어지고 있어. 이번엔 “동작을 얼마나 잘하나”보다 “자기가 어디까지 했는지 아나”가 지표로 올라왔는데, 그 점수가 아직 57.4%라는 게 지금 위치야.