r/artificial에 “AI가 ‘이해’한다는 말, 우리가 의인화하는 게 아닌가”라는 글이 올라와 댓글 211개를 모았어. 매주 새 논문이나 X 글이 모델이 “맥락을 이해한다”, “수학을 추론한다”, “자기가 뭘 모르는지 안다”고 주장하는데, 막상 들여다보면 ‘understanding’이 무엇인지부터 합의가 없다는 게 핵심 문제 제기야.
원글이 끌어온 프레임 세 개를 정리해볼게. 첫째는 Searle의 중국어 방(1980) — 방 안 사람이 중국어 규칙대로 답을 내놓는다고 그게 이해는 아니라는 40년된 비유야. 둘째는 Bender·Koller의 stochastic parrots 비판 — 형식적 입력으로만 학습한 모델은 의미와 세계가 연결되지 않으니 이해가 아니라 토큰 예측 천장에 갇혀 있다는 거고. 셋째는 Tononi의 통합정보이론(IIT) — 현재 LLM 아키텍처의 phi 값은 사실상 0에 가까워서 의식 같은 ‘understanding’이 발생할 구조가 아니라는 주장이지.
그런데 GPT-4가 변호사 시험을 통과해. Inquiry 2024 학술지 논문이 LLM을 Turing test와 중국어 방 양쪽으로 다시 분석한 게 그래서 의미가 있어. “변호사 시험 통과”가 ‘understanding’의 증거인지, 아니면 ‘understanding 정의가 의인화 오류’인지를 가르는 작업이거든.
실무 영향은 모델 마케팅 카피를 받아들이는 자세에 있어. 벤더가 “이 모델이 X를 이해한다”고 말할 때, 그게 측정 가능한 동작인지 (예: 특정 벤치마크 점수) 의인화 비유인지 구분하지 않으면 의사결정이 흐려지거든. 자기 work에서 LLM에게 책임 위임 범위를 정할 때, “이해한다 가정”보다 “어떤 입력에 어떤 출력을 내놓는지” 측정 가능한 기능으로 끊는 쪽이 안전해.
다만 원글이 끌어온 세 프레임은 서로 다른 층위라 한 줄로 묶기 어려워. Searle은 의미와 통사의 구분, Bender는 학습 데이터의 의미 결핍, Tononi는 의식의 정량 측정에 초점이 다 다르거든. AI ‘이해’ 마케팅 카피를 의심하는 도구로 쓰는 건 좋지만, 어느 한 프레임으로 모든 LLM 능력을 깎아내리는 건 또 다른 의인화의 거울상이야.