AI · 기사
노타, 초거대 AI 키미 K3.1 Pro 최적화해 GPU 구매비용 최대 20% 줄여
www.ebn.co.kr ·
한눈에 보기
AI 추론 효율화 기업 노타가 초거대 AI 모델 '키미 K3.1 Pro'를 더 저렴한 GPU에서도 돌아가도록 최적화했어요. 기존보다 낮은 사양의 장비로 같은 모델을 실행할 수 있어 도입 비용이 줄어들어요.
핵심 내용
- 기존에는 최신 B300 GPU 8장이 필요했지만, 이제 상대적으로 저렴한 B200 GPU 8장에서도 실행할 수 있어요.
- 노타는 모델 안의 일부 전문가 모듈을 골라 제거하는 프루닝(불필요한 부분을 덜어내는 기술) 방식으로 전문가 모듈을 최대 37% 줄였어요.
- 회사는 모델 크기를 줄였음에도 고난도 과학 추론 시험 점수가 원본의 99% 이상을 유지했다고 밝혔어요.
- 절약한 메모리로 한 번에 읽을 수 있는 글의 길이를 늘렸고, 답변 생성 속도도 높였어요.
왜 중요할까요?
AI를 도입하려면 비싼 장비가 큰 걸림돌인데, 이번 기술로 기존 장비를 활용하거나 저렴하게 도입할 길이 열려요.
원문과 출처
노타, 초거대 AI '키미 K3.1 Pro' 최적화…GPU 구매비용 최대 20% 절감
www.ebn.co.kr · 11월 10일 08:32 KST
www.ebn.co.kr에서 원문 읽기 ↗AI가 원문을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. www.ebn.co.kr.
같은 소식을 전한 곳
같은 분야의 다른 소식
- 디자이너들 "Ssense 사이트에서 옷이 실제와 다르게 보여"
디자이너 리스 쿠퍼는 자신의 브랜드 RCOS 패딩 코트가 명품 쇼핑몰 Ssense 사이트에서 왜곡되어 보인다고 알렸어요. 가슴의 고리 장식이 실제보다 훨씬 크게 그려졌다고 했어요. Ssense는 일부 사진이 '가상 착용(옷을 입은 모습을 컴퓨터로 만든 기능)' 기술로 만들어졌다고 밝혔지만, AI를 쓰는지는 답하지 않았어요.
The New York Times · 11월 21일 06:16 KST - AI 글을 사람처럼 바꾸는 도구 광고, 전후 점수 비교 공개
이 짧은 영상은 Walter Writes AI라는 도구의 유료 광고예요. AI가 쓴 글을 사람이 쓴 것처럼 읽히게 고쳐 주는 도구를 소개해요. 제작자는 문단 하나를 탐지기에 넣어 AI 티가 난 부분을 찾고, 이 도구로 고쳐 쓴 뒤 점수를 비교했다고 해요.
TheAIGRID · 11월 21일 06:15 KST - 앤트로픽 투자·HBM·클로드까지, 한국 기업의 AI 3각 포석
미국 AI 기업 앤트로픽의 기업공개(IPO)를 계기로 한국 기업들이 AI 시장에서 여러 방향으로 존재감을 넓히고 있어요. SK텔레콤은 초기 투자로 큰 평가이익을 얻었어요. 삼성전자와 SK하이닉스는 반도체 공급 협력을 강화하고 있어요. 삼성SDS와 LG CNS는 앤트로픽의 AI 모델 클로드로 기업용 AI 시장에 들어가고 있어요.
뉴스웨이 · 11월 21일 06:10 KST - MIT·IBM 연구팀, 멀티모달 AI의 이해 한계 파헤쳐
MIT과 IBM 연구팀이 텍스트·이미지·소리를 함께 다루는 멀티모달 AI 모델의 약점을 연구하고 있어요. 이 모델들은 겉으로는 여러 정보를 잘 다루지만 실제 이해는 부족한 경우가 많아요. 팀은 MIT의 짐 글래스 연구원과 함께 새 시험 방법과 적은 데이터로 배우는 기법을 만들고 있어요.
MIT News · 11월 21일 06:00 KST