한 줄 정의
Simon Willison(사이먼 윌리슨)은 Datasette를 만든 독립 오픈소스 개발자이자 Django 공동 창시자로, LLM 실험을 자기 블로그에 촘촘히 남기는 글쓴이야.
AIKI에서는 그의 이름을 “공식 벤치마크 기관”으로 읽기보다, 모델 비교 글에서 실험 조건과 해석 한계를 확인하게 해 주는 출처로 다루는 편이 맞아.
실제로 무엇을 하나
Simon의 about 페이지는 그가 Datasette와 SQLite를 중심으로 데이터 저널리즘용 오픈소스 도구를 만들고, 2002년부터 웹 개발과 프로그래밍을 블로그에 써 왔다고 설명해. 그래서 AI 글도 보도자료를 옮긴 글이라기보다, 직접 돌려 본 실험과 출처 해석을 같이 남기는 기록에 가까워.
2026년 4월 16일 글이 좋은 예야. 그는 Qwen3.6-35B-A3B의 20.9GB quantized 모델을 MacBook Pro M5와 LM Studio로 돌리고, Claude Opus 4.7과 “펠리컨이 자전거를 타는 SVG” 결과를 비교했어. 결론은 그 장난스러운 과제에서는 Qwen 쪽 손을 들어줬지만, 같은 글 안에서 그 벤치마크가 견고한 테스트는 아니고 21GB급 로컬 모델이 Anthropic의 최신 proprietary 모델보다 전반적으로 낫다고 보기는 어렵다고 선을 그어.
여기서 숫자 출처는 따로 봐야 해. Hugging Face 카드 기준 Qwen3.6-35B-A3B는 35B total / 3B activated 구조이고, 262,144 토큰 기본 컨텍스트를 제시해. Officechai의 2차 정리에서는 같은 모델이 Terminal-Bench 2.0 51.5, SWE-bench Pro 49.5, SWE-bench Verified 73.4로 나온다. 이건 Simon의 SVG 실험이 아니라 별도 벤치마크 표야.
왜 중요한가
Simon Willison 항목이 중요한 이유는 headline을 그대로 믿지 않게 해 주기 때문이야. “Qwen이 Opus를 이겼다”는 식으로만 읽으면 개인 로컬 실험, 공식 모델 카드, 2차 벤치마크 요약이 한 덩어리로 뭉개져. 그러면 Claude 대체 후보를 고를 때도, 로컬 LLM 실험을 설계할 때도 비교가 바로 흔들려.
특히 agentic-coding 모델을 고를 때는 이 구분이 꽤 중요해. 펠리컨 SVG 결과는 프롬프트 한 개의 정성 신호고, SWE 계열 점수는 저장소 작업 평가고, Hugging Face 카드는 배포 스펙이야. 세 가지가 모두 유용하지만 같은 질문에 답하지는 않아.
실무 활용
- 블로그 글을 볼 때는 프롬프트, 하드웨어, 런타임, 반복 횟수를 먼저 적어. MacBook Pro M5, LM Studio, 20.9GB quantized 모델 같은 조건이 빠지면 재현 가능성이 바로 낮아져.
- 모델 카드에서는 전체 파라미터와 활성 파라미터를 나눠 봐. Qwen3.6-35B-A3B의 3B activated는 3B dense 모델이라는 뜻이 아니라, 큰 MoE 모델에서 일부 경로만 켜진다는 뜻에 가까워.
- 2차 벤치마크 글은 출처를 낮게 보라는 뜻이 아니라, 먼저 비교표의 대상과 harness 조건을 확인하라는 뜻이야. Gemma 4와의 점수 비교는 Simon의 Qwen-vs-Opus SVG 실험과 다른 표에서 나온다.
- Claude Code나 내부 코딩 에이전트 후보를 바꿀 때는 “재밌는 단일 실험”에서 “배포 기본 모델 교체”로 바로 뛰지 마. 같은 저장소, 같은 프롬프트, 같은 승인 절차로 작은 Eval부터 적용해.
주의해서 볼 점
Simon Willison은 AI 기술 자체가 아니라 사람과 출처에 가까운 항목이라 techMap: false가 맞아. 기술맵에서 봐야 할 대상은 Simon이 아니라 Qwen3.6-35B-A3B, Claude Opus 4.7, 벤치마크 같은 실제 모델과 평가 항목이야.
또 하나, 그의 글은 강한 주장보다 경계선이 더 중요해. 어떤 모델이 특정 SVG 프롬프트에서 더 잘 보였다는 말은 흥미로운 시작점이지, 제품에 넣을 모델을 골랐다는 뜻은 아니야. 급할 거 없어. 숫자는 숫자고, 내 작업에서 같은 조건으로 반복되는지가 진짜야.