새 소식으로

AI · 영상

루프 트랜스포머, 가중치 늘리지 않고 깊이 2배로 추론 단계 늘려

Prompt Engineering ·

한눈에 보기

이 영상은 언어 모델이 글자 하나(토큰)를 만들 때 자기 일부를 여러 번 다시 돌리는 '루프 트랜스포머(looped transformer)' 구조를 설명해요. 띵킹머신즈의 오픈 모델 Inkling 2 Mini를 예로 들어, 추가 반복이 무엇을 나아지게 하는지, 무엇은 나아지지 않는지, 비용이 얼마나 드는지 살펴봐요.

핵심 내용

왜 중요할까요?

같은 모델 안에서 추론이 어떻게 이루어지는지 궁금한 독자에게 도움이 돼요.

원문과 출처

Looped Transformers: 2x Deeper Without More Weights

Prompt Engineering · 11월 22일 23:00 KST

YouTube에서 보기 ↗

AI가 영상 제목과 설명을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. Prompt Engineering.

AI