무슨 일이 있었나
2018년 10월 11일 구글은 공식 연구 페이지와 arXiv 원문을 통해 BERT를 공개했어. BERT는 “Bidirectional Encoder Representations from Transformers”의 약자야. 쉽게 말하면 문장을 왼쪽에서 오른쪽으로만 읽지 않고, 양쪽 문맥을 함께 보도록 미리 학습한 트랜스포머 기반 인코더야. 그래서 단어 하나를 따로 보기보다 문장 안에서 뜻이 어떻게 바뀌는지 더 잘 이해해. 발표의 핵심도 여기야. BERT는 질문응답, 문장 추론 같은 이해 과제에 출력층 하나만 더해 붙여도 강한 성능을 냈고, 초록 기준으로 11개 NLP 벤치마크 과제에서 당시 최고 성능을 기록했어. 그 숫자도 본문 실험 섹션까지 내려가면 더 선명해. 논문 §5.1 Table 1에는 GLUE 80.5와 MultiNLI 86.7, §5.2 Table 2에는 SQuAD v1.1 F1 93.2, §5.3 Table 3에는 SQuAD v2.0 F1 83.1이 적혀 있어.
왜 중요할까
BERT가 중요했던 이유는 “더 큰 모델”보다 “문장을 어떻게 읽게 만들 것인가”에 기준을 바꿨기 때문이야. 검색 랭킹, FAQ 매칭, 고객 문의 분류, 리뷰·계약서에서 정보 추출처럼 정답을 새로 쓰는 것보다 문장을 정확히 해석하는 일이 핵심인 제품에는 바로 참고할 만한 신호였어.
- 검색 품질을 올리려는 팀이라면, 키워드 규칙을 더 덧대는 것보다 문맥 표현을 잘 뽑는 인코더 계열 접근을 검토할 이유가 생겼어.
- 질문응답이나 문서 분류 파이프라인을 운영하는 팀이라면, 과제마다 모델을 새로 짜기보다 미리 학습된 기반 모델을 미세조정하는 방식이 실전 선택지가 될 수 있다는 신호였어.
한계와 맥락
다만 BERT를 모든 NLP 문제의 만능 해법으로 읽으면 곤란해. BERT는 기본적으로 문장을 읽고 분류하거나 추론하는 데 강한 인코더야. 긴 답변을 자연스럽게 생성하는 모델로 바로 이해하면 범위가 어긋나. 또 발표 시점의 강점은 11개 벤치마크에서의 성능 개선이지, 실제 서비스의 지연시간, 서빙 비용, 운영 복잡도까지 해결했다는 뜻은 아니야. 그래서 BERT 발표를 보고 바로 생성형 챗봇 투자로 뛰는 것보다는, 검색 해석이나 문서 이해처럼 “문맥 해석이 병목인 문제”부터 적용 범위를 좁혀 보는 편이 맞아.
앞으로 볼 점
이 발표를 지금 다시 제품 신호로 읽을 때는 세 가지만 보면 돼.
- 우리 문제가 생성보다 이해에 가까운가.
- 추가 출력층을 붙여 미세조정할 데이터가 있는가.
- 정확도 상승이 지연시간과 비용 증가를 감수할 만큼 큰가.
이 셋이 맞으면 BERT류 발표는 바로 go에 가까운 신호야. 반대로 긴 생성, 대화 지속, 툴 호출 같은 요구가 핵심이라면 이 발표만으로는 부족하고 다른 모델 계열 신호를 같이 봐야 해.