새 소식으로

AI · 영상

Cartesia의 H-Net, 기존 토큰화를 넘는 새 방식 나와

bycloud ·

한눈에 보기

Cartesia의 H-Net은 AI가 글을 다루는 기존 방식인 토큰화(글을 작은 조각으로 나누는 과정)를 넘어서려는 새로운 방법이에요. 고정된 조각으로 나누는 대신 원시 바이트(컴퓨터가 쓰는 가장 작은 데이터 단위)를 스스로 묶는 법을 배워요. 영상에서는 선택한 시험에서 학습 효율이 최대 10배까지 좋아지고, 처음 보는 데이터도 더 잘 다룬다고 소개해요.

핵심 내용

왜 중요할까요?

AI 모델이 글을 처리하는 방식과 학습 효율에 관심 있는 분이 보면 좋아요.

원문과 출처

The current tokenization is suboptimal, and we just got a solution.

bycloud · 11월 23일 04:03 KST

YouTube에서 보기 ↗

AI가 영상 제목과 설명을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. bycloud.

AI