한 줄 정의
Multimodal AI는 텍스트, 이미지, 음성, 영상처럼 형식이 다른 정보를 한 시스템 안에서 함께 다루는 AI를 말해. 중요한 건 입력 종류가 많다는 사실만이 아니라, 그 여러 형식을 하나의 작업 흐름으로 연결해서 이해하거나 만들어 낸다는 점이야.
어떻게 작동하나
멀티모달 시스템은 서로 다른 입력을 모델이 계산할 수 있는 내부 표현으로 바꾼 뒤, 그 표현들 사이의 대응 관계를 맞춰 결과를 내. 그래서 사진을 보고 답하거나, 음성을 듣고 텍스트로 옮기고, 다시 음성으로 응답하거나, 텍스트 설명을 바탕으로 이미지를 만드는 식의 작업이 가능해져.
왜 중요한가
이 개념이 중요한 이유는 실제 제품이 할 수 있는 일이 입력과 출력 형식에 따라 크게 달라지기 때문이야. 텍스트만 다루는 모델과 이미지·음성·영상까지 다루는 모델은 자동화할 수 있는 업무 종류가 완전히 달라져서, 제품 설명에서 멀티모달이라는 말이 나오면 체감 변화의 크기를 가늠하는 단서가 돼.
주의해서 볼 점
멀티모달이라는 말은 너무 넓게 쓰여서 지원 범위를 자세히 안 보면 금방 과장처럼 들려. 이미지 한 장을 읽는 기능과 긴 영상을 따라가며 맥락을 유지하는 기능은 다르고, 음성을 받는다고 해도 단순 전사인지 실시간 대화인지도 또 따로 봐야 해.
관련 용어
- vision-language-model: 이미지와 텍스트 결합에 집중한 하위 범주야. 멀티모달 AI의 한 갈래로 보면 감이 쉬워.
- whisper: 음성을 텍스트로 바꾸는 데 특화된 모델이야. 멀티모달 전체와 오디오 특화 모델을 구분하게 해 줘.
- speech-to-text: 음성 입력을 문자로 바꾸는 기능 이름이야. 입력 한 축만 다루는 사례와 비교할 때 좋아.
- text-to-speech: 텍스트를 음성으로 바꾸는 출력 기술이야. 멀티모달이 입력과 출력 둘 다 넓힐 수 있다는 점을 보여 줘.