Loading news.
2026년 11월 9일 월
그래픽카드 없이 거대 AI 돌리기
그래픽카드 없이 메모리만으로 거대 AI 돌리기
글로 읽기
무슨 일이에요?
그래픽카드 없이 큰 AI를 돌렸어요
먼저 알아 둘 것
AI는 보통 비싼 그래픽카드로 돌려요
- 큰 AI는 계산할 것도 많고 차지하는 공간도 커서 보통 비싼 그래픽카드를 써요.
- AI를 올려 두는 공간은 책상에 비유할 수 있어요. 책상이 좁으면 큰 책을 펼칠 수 없어요.
먼저 알아 둘 것
양자화는 AI를 압축하는 방법이에요
- 양자화는 AI가 쓰는 숫자를 간단하게 줄여 크기를 작게 만드는 방법이에요.
- 대신 너무 많이 줄이면 답의 품질이 떨어질 수 있어요.
무엇이 새로워요?
메모리 64GB에 거대 모델이 들어가요
- 속도는 초당 9~15개 단어 조각 정도예요.
- 작은 모델 종류는 더 빠르게 돌아간다고 해요.
사람들은 어떻게 봤을까
개발자들은 기대와 걱정을 함께 말했어요
- 해커뉴스(개발자 커뮤니티)에서 댓글이 많이 달렸어요.
- 직접 AI를 돌리는 데 필요한 조건이 계속 낮아지고 있다는 반응이 있었어요.
- 많이 압축하면 성능이 떨어질 수 있다는 걱정도 나왔어요.
- 설명이 어렵다는 불만도 있었어요.
뭐가 달라져요?
내 컴퓨터에서 AI를 쓰는 길이 넓어져요
- 비싼 그래픽카드가 없어도 큰 AI를 직접 돌려 볼 수 있을 가능성이 생겼어요.
- 다만 메모리 64GB가 필요하고 속도도 느릴 수 있어요.
점선 밑줄이 그어진 말을 누르면 용어 사전의 쉬운 풀이가 열려요.
출처
- S1synchopate/llama-modchip: 🐋 Run 284B DeepSeek-V4-Flash (<59GiB RAM, 44.4 tok/s pp, 9.1-14.7 tok/s) & 30B MoEs (25-111 tok/s) on a pure 64GB CPU at 256K ctx (0 GPUs). SwiGLU-H2, Stockfish-PVS L3 & 13ms Claude Code restore.GitHub | github.com
- S2Llama-modchip: 284B DeepSeek on 64GB RAM, no GPUHacker News | news.ycombinator.com
- S3Llama-modchip: GPU 없이 64GB RAM에서 284B DeepSeek 실행 - GeekNewsAI 최신 뉴스 | news.google.com
이 리포트는 공개 자료를 AI가 요약하고 사실 확인을 거쳐 만들었어요. 정확한 내용은 원문을 확인해 주세요.