2026년 11월 9일 월
그래픽카드 없이 거대 AI 돌리기
그래픽카드 없이 메모리만으로 거대 AI 돌리기
글로 읽기
그래픽카드 없이 큰 AI를 돌렸어요
AI는 보통 비싼 그래픽카드로 돌려요
- 큰 AI는 계산할 것도 많고 차지하는 공간도 커서 보통 비싼 그래픽카드를 써요.
- AI를 올려 두는 공간은 책상에 비유할 수 있어요. 책상이 좁으면 큰 책을 펼칠 수 없어요.
양자화는 AI를 압축하는 방법이에요
- 양자화는 AI가 쓰는 숫자를 간단하게 줄여 크기를 작게 만드는 방법이에요.
- 대신 너무 많이 줄이면 답의 품질이 떨어질 수 있어요.
메모리 64GB에 거대 모델이 들어가요
- 속도는 초당 9~15개 단어 조각 정도예요.
- 작은 모델 종류는 더 빠르게 돌아간다고 해요.
개발자들은 기대와 걱정을 함께 말했어요
- 해커뉴스(개발자 커뮤니티)에서 댓글이 많이 달렸어요.
- 직접 AI를 돌리는 데 필요한 조건이 계속 낮아지고 있다는 반응이 있었어요.
- 많이 압축하면 성능이 떨어질 수 있다는 걱정도 나왔어요.
- 설명이 어렵다는 불만도 있었어요.
내 컴퓨터에서 AI를 쓰는 길이 넓어져요
- 비싼 그래픽카드가 없어도 큰 AI를 직접 돌려 볼 수 있을 가능성이 생겼어요.
- 다만 메모리 64GB가 필요하고 속도도 느릴 수 있어요.
밑줄 친 낱말을 누르면 AI 백과에서 뜻을 볼 수 있어요.
출처
- S1 synchopate/llama-modchip: 🐋 Run 284B DeepSeek-V4-Flash (<59GiB RAM, 44.4 tok/s pp, 9.1-14.7 tok/s) & 30B MoEs (25-111 tok/s) on a pure 64GB CPU at 256K ctx (0 GPUs). SwiGLU-H2, Stockfish-PVS L3 & 13ms Claude Code restore. GitHub | github.com
- S2 Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU Hacker News | news.ycombinator.com
- S3 Llama-modchip: GPU 없이 64GB RAM에서 284B DeepSeek 실행 - GeekNews AI 최신 뉴스 | news.google.com
이 리포트는 공개 자료를 AI가 요약하고 사실 확인을 거쳐 만들었어요. 정확한 내용은 원문을 확인해 주세요.
구독
새 리포트가 올라오면 바로 받아 보세요.
이메일
알림 받기
새 리포트가 올라오면 이 기기로 알려 드려요.
RSS
RSS 리더에 이 주소를 추가하세요.
https://lastai.org/media/cards/rss.xml