AI · 기사
AI가 신경망 가중치를 읽고 고치는 능력, 사람 연구자도 할 수 있는 수준
GeekNews ·
한눈에 보기
GPT-6 Astra가 작은 게임 신경망의 가중치만 보고 어떤 게임인지 알아내고, 가중치를 고쳐 다른 모델의 성능을 높였다는 보고가 나왔어요. 하지만 이 작업은 유능한 사람 연구자도 할 수 있는 방식이라, 초인적 능력이라고 보기는 어렵다는 반론이 나왔어요.
핵심 내용
- 가중치는 신경망 내부의 연결 강도를 나타내는 숫자예요. 게임 신경망은 화면 칸마다 의미가 적혀 있어 가중치 크기만 봐도 단서를 얻을 수 있어요.
- Qwen 0.8B 모델은 32k 토큰(글자 조각 단위) 이후 같은 말을 반복하는 문제가 있었는데, 반복을 일으키는 가중치를 줄여 이를 고쳤어요.
- 이 방법은 반복하는 문장과 그렇지 않은 문장을 비교해 관련 가중치를 찾는 방식이라, 사람 연구자도 같은 절차로 할 수 있어요.
- 글쓴이는 AI가 연구에 기여하는 길은 가중치를 마법처럼 고치기보다 학습 과정을 개선하는 데 있다고 봐요.
왜 중요할까요?
AI가 스스로 모델을 개선하는 능력이 실제로 어디까지인지 과장 없이 가늠하는 데 도움이 돼요.
원문과 출처
LLM은 신경망 가중치를 읽고 쓰는 데 초인적이지 않다
GeekNews · 11월 5일 05:38 KST
GeekNews에서 원문 읽기 ↗AI가 원문을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. GeekNews.
같은 분야의 다른 소식
- MIT·IBM 연구팀, 멀티모달 AI의 이해 한계 파헤쳐
MIT과 IBM 연구팀이 텍스트·이미지·소리를 함께 다루는 멀티모달 AI 모델의 약점을 연구하고 있어요. 이 모델들은 겉으로는 여러 정보를 잘 다루지만 실제 이해는 부족한 경우가 많아요. 팀은 MIT의 짐 글래스 연구원과 함께 새 시험 방법과 적은 데이터로 배우는 기법을 만들고 있어요.
MIT News · 11월 21일 06:00 KST - AI 공급망 허점으로 사용자 비밀 정보 대량 유출 확인
연구자들이 AI 서비스 여러 곳을 거치는 요청에 가짜지만 실제로 작동하는 비밀번호와 열쇠를 약 200만 개 심어 추적했어요. 그 결과 많은 비밀 정보가 새어 나가 공격자들이 이를 이용해 클라우드 계정에 접근했어요.
Ars Technica · 11월 21일 05:59 KST - ChatGPT에서 Shopify 쇼핑몰 비즈니스를 등록하는 방법 공개
이 영상은 Shopify 쇼핑몰을 ChatGPT에 연결해서 내 비즈니스를 등록(클레임)하는 방법을 보여줘요. 비즈니스 허브(Business Hub) 또는 Shopify 앱스토어에서 시작할 수 있어요. 연결한 뒤에는 비즈니스 정보를 관리해서 ChatGPT에 어떻게 보일지 조정할 수 있어요.
OpenAI 공식 YouTube · 11월 21일 05:48 KST - 오픈AI, 최신 모델 속 생각 빼내기 공격 성공률 대폭 낮춰
OpenAI가 최신 AI 모델인 GPT-6.2 Astra와 GPT-6.2 Sol의 속 생각(내부 추론, AI가 답을 만들기 전 거치는 과정)을 몰래 빼내려는 공격을 크게 막았어요. 회사 내부 시험에서 공격 성공률이 크게 떨어졌고, 이 개선 일부를 GPT-6 Astra에도 적용하고 있어요.
The Decoder · 11월 21일 05:31 KST