한 줄 정의
Long Context는 긴 문서, 여러 파일, 긴 대화를 한 요청 안에 같이 올려 두고 처리하는 능력이야. 다만 많이 넣을 수 있다는 뜻이지, 모든 구간을 똑같이 잘 이해한다는 뜻은 아니야.
어떻게 작동하나
모델은 들어온 텍스트와 파일을 토큰 단위로 읽고 현재 문맥 창 안에서 계산해. 실제 서비스는 긴 자료를 통째로 넣기만 하지 않고 검색, 요약, 압축을 섞어서 중요한 부분이 창 안에 남도록 조정해.
왜 중요한가
긴 계약서 비교, 긴 회의록 정리, 여러 코드 파일 동시 분석처럼 앞뒤 문맥을 오래 붙잡아야 하는 작업에서 차이가 크게 나. 그래서 기사에서 128K나 1M 같은 숫자가 보여도, 필요한 정보를 다시 잘 꺼내 쓰는지까지 봐야 실전 성능인지 홍보 문구인지 가를 수 있어.
주의해서 볼 점
Long Context는 장기 기억과는 달라. 지금 요청 안에 넣은 정보는 참고할 수 있어도 세션이 바뀌거나 문맥 창 밖으로 밀려나면 그대로 이어진다고 보면 안 돼. 또 최대 길이와 실제 활용 품질은 같지 않아서 비용과 지연시간도 같이 봐야 해.
관련 용어
- Context Window (컨텍스트 윈도우): 한 번의 요청 안에 실제로 담을 수 있는 토큰 예산이야. Long Context는 그 창이 크거나 긴 문맥을 잘 다루는 성격을 가리키는 말이야.
- Token (토큰): 모델이 입력과 출력을 계산할 때 쓰는 기본 단위야. Long Context를 읽을 때도 결국 몇 토큰까지 넣고 얼마나 남길 수 있는지가 중요해.
- Memory (메모리): 여러 요청에 걸쳐 정보를 남겨 두는 저장 개념에 더 가까워. Long Context는 현재 요청 안에서 많이 담는 능력이고, Memory는 다음 요청에 다시 불러올 수 있느냐가 더 중요해.