AI · 영상
루프 트랜스포머, 가중치 늘리지 않고 깊이 2배로 추론 단계 늘려
Prompt Engineering ·
한눈에 보기
이 영상은 언어 모델이 글자 하나(토큰)를 만들 때 자기 일부를 여러 번 다시 돌리는 '루프 트랜스포머(looped transformer)' 구조를 설명해요. 띵킹머신즈의 오픈 모델 Inkling 2 Mini를 예로 들어, 추가 반복이 무엇을 나아지게 하는지, 무엇은 나아지지 않는지, 비용이 얼마나 드는지 살펴봐요.
핵심 내용
- Inkling 2 Mini는 24개 층이 있고, 가운데 12개 층을 세 번씩 돌려 48번의 층 연산을 해요.
- 추가 반복으로 모델을 더 키우지 않고도 추론 단계를 늘릴 수 있어요.
- 반복이 개선하는 것과 개선하지 못하는 것, 그리고 드는 비용을 다뤄요.
- 추론을 루프 안으로 옮긴 것이 사람들에게 우려를 준 이유도 짚어요.
왜 중요할까요?
같은 모델 안에서 추론이 어떻게 이루어지는지 궁금한 독자에게 도움이 돼요.
원문과 출처
Looped Transformers: 2x Deeper Without More Weights
Prompt Engineering · 11월 22일 23:00 KST
YouTube에서 보기 ↗AI가 영상 제목과 설명을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. Prompt Engineering.
같은 분야의 다른 소식
- 케네디 상원의원, 젠슨 황 불륜 의혹 농담 뒤 칩 수출 규제 우회 질문
미국 상원의원 존 케네디가 엔비디아 전 최고경영자 젠슨 황의 보도된 불륜 의혹을 농담조로 언급했어요. 그는 이보다 중요한 문제로, 중국이 미국의 첨단 AI 칩 수출 규제를 어떻게 우회했는지 물었어요.
The Guardian · 11월 23일 04:34 KST - Cartesia의 H-Net, 기존 토큰화를 넘는 새 방식 나와
Cartesia의 H-Net은 AI가 글을 다루는 기존 방식인 토큰화(글을 작은 조각으로 나누는 과정)를 넘어서려는 새로운 방법이에요. 고정된 조각으로 나누는 대신 원시 바이트(컴퓨터가 쓰는 가장 작은 데이터 단위)를 스스로 묶는 법을 배워요. 영상에서는 선택한 시험에서 학습 효율이 최대 10배까지 좋아지고, 처음 보는 데이터도 더 잘 다룬다고 소개해요.
bycloud · 11월 23일 04:03 KST - OpenAI, 안전 이정표 맞춘 공동 AI 개발 한도 제안
OpenAI의 수석 과학자 Jakub Pachocki가 최첨단 AI를 만드는 회사들이 함께 개발 한도를 정하자고 제안했어요. 사전 학습(AI에게 방대한 글을 미리 가르치는 단계) 발전이 2027년쯤 빨라지면 AI 안전 연구가 따라가지 못할 수 있다고 경고했어요. 이 제안은 AI가 실제로 무엇을 할 수 있는지 확인하기 전까지 속도를 조절하자는 취지예요.
Unite.AI · 11월 23일 03:43 KST - 데이터 센터가 빅테크 반발의 중심에 선 이유
언론인 파리스 마크스가 새 책 『하이퍼스케일』에서 데이터 센터와 생성형 AI가 정치적 쟁점이 된 과정을 살펴봤어요. 마크스는 TechCrunch와의 인터뷰에서 데이터 센터 건설이 지속 불가능하다고 말했어요.
TechCrunch · 11월 23일 03:08 KST