트랜스포머
Transformer
문장 속 낱말들이 서로 어떻게 이어지는지 한꺼번에 살피는 신경망 구조예요. 요즘 AI 모델 대부분이 이 구조를 써요.
조금 더 자세히
예전 모델은 글을 앞에서부터 한 낱말씩 차례로 읽어서, 문장이 길어지면 앞의 내용을 잊곤 했어요. 트랜스포머는 문장의 모든 낱말을 한꺼번에 놓고, 낱말마다 다른 어떤 낱말을 눈여겨봐야 하는지 따져요. 이 방법을 '어텐션'이라고 해요.
2017년 구글 연구진이 낸 논문에서 처음 소개됐어요. 여러 낱말을 한꺼번에 계산할 수 있어서 GPU로 큰 모델을 빨리 가르칠 수 있었고, 이것이 지금의 LLM으로 이어졌어요. GPT라는 이름의 T가 바로 트랜스포머예요. 글뿐 아니라 그림·소리·영상 모델에도 쓰여요.
예를 들면
'동생이 사과를 먹었는데 그것이 아주 달았다'에서 '그것'이 '사과'라는 것을 알려면 두 낱말을 이어 봐야 해요. 트랜스포머는 이런 연결을 문장 전체에서 한 번에 찾아요.
왜 알아 둘 만한가요
지금의 AI 열풍을 연 발명으로 꼽혀요. 대화형 AI부터 번역기, 그림 생성 AI까지 속을 들여다보면 대부분 트랜스포머가 들어 있어요.
이렇게도 불러요트랜스포머 구조, 트랜스포머 모델