무슨 일이 있었나

1998년형 iMac G3와 32MB RAM에서 LLM을 실제로 돌렸다는 보고야. 원문 포스트가 Reddit에서 추천 1,352개, 댓글 91개를 모은 것도 단순한 복고 감성 때문만은 아니거든. “로컬 추론의 하한선이 어디까지 내려갈 수 있나”를 꽤 극단적으로 보여줬기 때문이야.

핵심은 결과 화면보다 구현 디테일이야. 작성자는 233MHz PowerPC 750, Mac OS 8.5, 무개조 상태의 iMac G3에 약 1MB 크기의 TinyStories 체크포인트를 올렸고, Mac mini에서 Retro68로 크로스 컴파일한 뒤 엔디언 변환과 FTP 전송까지 직접 처리했어. 여기에 메모리 파티션 제한, 콘솔 출력 불가, grouped-query attention 대응 같은 고전 환경 특유의 병목이 줄줄이 붙었고, 그래서 이 실험은 “돌아간다”보다 “어떻게 겨우 돌렸나”가 더 중요해.

왜 중요할까

이 실험이 중요한 이유도 성능 자랑이 아니라 조건 적합성에 있어. 최신 모델을 빠르게 돌리는 이야기와 반대로, 아주 작은 모델과 극단적으로 오래된 하드웨어 조합으로도 추론 파이프라인을 성립시킬 수 있다는 걸 보여주잖아. 엣지 장치, 교육용 실험, 초저사양 배포를 고민하는 팀이라면 여기서 봐야 하는 건 FPS가 아니라 병목의 종류야.

앞으로 볼 점

커뮤니티 상위 댓글도 “여기서 LLM의 첫 글자 L이 상당히 무리하고 있다”는 식으로 웃으면서도, 결국은 이 삽질이 실제로 어디에 쓸모가 있느냐를 묻고 있었어. 그래서 이 글은 재미있는 데모로 끝낼 게 아니라, 로컬 AI 실험이 어떤 제약을 넘기면 의미 있는 사례가 되는지 보여주는 기준점으로 보는 편이 맞아.