본문 바로가기

트랜스포머

문장 속 낱말들이 서로 어떻게 이어지는지 한꺼번에 살피는 신경망 구조예요. 요즘 AI 모델 대부분이 이 구조를 써요.

Transformer

어떤 개념인가요

예전 모델은 글을 앞에서부터 한 낱말씩 차례로 읽어서, 문장이 길어지면 앞의 내용을 잊곤 했어요. 트랜스포머는 문장의 모든 낱말을 한꺼번에 놓고, 낱말마다 다른 어떤 낱말을 눈여겨봐야 하는지 따져요. 이 방법을 '어텐션'이라고 해요.

2017년 구글 연구진이 낸 논문에서 처음 소개됐어요. 여러 낱말을 한꺼번에 계산할 수 있어서 GPU로 큰 모델을 빨리 가르칠 수 있었고, 이것이 지금의 LLM으로 이어졌어요. GPT라는 이름의 T가 바로 트랜스포머예요. 글뿐 아니라 그림·소리·영상 모델에도 쓰여요.

예를 들면

'동생이 사과를 먹었는데 그것이 아주 달았다'에서 '그것'이 '사과'라는 것을 알려면 두 낱말을 이어 봐야 해요. 트랜스포머는 이런 연결을 문장 전체에서 한 번에 찾아요.

왜 알아둘 만한가요

지금의 AI 열풍을 연 발명으로 꼽혀요. 대화형 AI부터 번역기, 그림 생성 AI까지 속을 들여다보면 대부분 트랜스포머가 들어 있어요.

트랜스포머 구조, 트랜스포머 모델

연표에서 보기

트랜스포머 논문이 나오다2017-06-12

연결해서 읽을 개념

신경망뇌의 신경세포가 서로 이어진 모양을 본떠 만든 계산 구조예요. 요즘 AI의 뼈대가 돼요.LLM(거대 언어 모델)아주 많은 글을 읽고 배워서, 다음에 올 말을 이어 쓰는 AI예요.딥러닝신경망을 여러 층으로 깊게 쌓아, 사진·말·글의 복잡한 특징을 스스로 배우게 하는 머신러닝 방법이에요.GPU같은 계산을 아주 많이, 한꺼번에 해내는 칩이에요. AI를 가르치고 돌리는 데 가장 많이 쓰여요.컨텍스트 창AI가 한 번에 보고 기억할 수 있는 글의 양이에요.모델파운데이션 모델엄청난 양의 자료로 미리 배워 두고, 여러 가지 일에 두루 가져다 쓰는 바탕 AI 모델이에요.멀티모달글뿐 아니라 그림·소리·영상까지 함께 이해하고 만들어 내는 능력이에요.

마이