본문 바로가기

멀티모달

글뿐 아니라 그림·소리·영상까지 함께 이해하고 만들어 내는 능력이에요.

Multimodal

어떤 개념인가요

초기의 LLM은 글만 읽고 글만 썼어요. 멀티모달 모델은 사진을 보고 설명하고, 목소리를 듣고 대답하고, 표나 그래프가 든 문서를 통째로 읽어요.

글·그림·소리를 따로따로 다루던 모델들이 하나로 합쳐지는 흐름이에요. 사람과 말로 주고받으며 화면을 같이 보는 AI가 가능해진 것도 이 덕분이에요.

예를 들면

냉장고 안을 사진으로 찍어 보내고 '이걸로 뭘 만들 수 있어?'라고 묻는 것이 멀티모달을 쓰는 예예요.

왜 알아둘 만한가요

현실의 정보는 대부분 글이 아니라 그림·소리·영상이에요. AI가 이것들을 함께 다루게 되면서 쓸 수 있는 곳이 크게 넓어졌어요.

멀티모달 AI, 다중 모달

LastAI에서 직접 보기

그림을 잘 다루는 모델 순위

연표에서 보기

GPT-4 공개, 같은 날 첫 Claude도2023-03-14구글 제미나이 발표2023-12-06

연결해서 읽을 개념

LLM(거대 언어 모델)아주 많은 글을 읽고 배워서, 다음에 올 말을 이어 쓰는 AI예요.생성형 AI글·그림·음악·영상·코드처럼 새 결과물을 만들어 내는 AI예요.이미지 생성 AI글로 설명하면 그에 맞는 그림이나 사진 같은 이미지를 새로 만들어 주는 AI예요.음성 인식사람이 하는 말을 듣고 글로 바꿔 주는 기술이에요.모델트랜스포머문장 속 낱말들이 서로 어떻게 이어지는지 한꺼번에 살피는 신경망 구조예요. 요즘 AI 모델 대부분이 이 구조를 써요.추론 모델답을 바로 내지 않고, 단계별로 따져 본 뒤에 답하도록 만든 AI 모델이에요.

마이