AI · 기사
IBM, 지시와 자료를 나눠 읽는 AI 모델 2종 공개…숨은 악성 지시 막기 실험
코인리더스 ·

한눈에 보기
IBM이 지시문과 참고 자료를 따로 구분해 읽는 실험용 AI 모델 2종을 내놓았어요. 문서나 도구 응답 속에 숨은 나쁜 지시 때문에 AI가 원래 할 일을 바꿔 버리는 문제를 줄이려는 목적이에요. 모델은 허깅페이스 기술 블로그에서 공개됐어요.
핵심 내용
- 그라나이트 4.1 기반의 3B·8B 모델 두 가지예요.
- 입력을 지시, 참고 자료, 출력 조건 블록으로 나누는 레몬(LLMON) 형식을 읽고 만들도록 훈련됐어요.
- 회사는 여러 평가에서 악성 지시에 덜 속는다고 밝혔지만, 여러 번 대화하며 바뀌는 공격에 대한 방어는 아직 개선 중이에요.
- 3B 모델은 한국어를 포함한 12개 언어를 지원하고 아파치 2.0 라이선스로 공개됐어요.
왜 중요할까요?
AI가 인터넷 문서나 외부 도구의 글을 읽을 때 숨은 명령에 휘둘리지 않도록 하는 기술이라, 기업용 AI 도구와 에이전트를 안전하게 쓰는 데 도움이 될 수 있어요.
원문과 출처
IBM, 지시와 자료 나눠 읽는 AI 모델 2종…숨은 악성 지시 대응 실험
코인리더스 · 11월 14일 09:20 KST
코인리더스에서 원문 읽기 ↗AI가 원문을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. 코인리더스.
같은 분야의 다른 소식
- 디자이너들 "Ssense 사이트에서 옷이 실제와 다르게 보여"
디자이너 리스 쿠퍼는 자신의 브랜드 RCOS 패딩 코트가 명품 쇼핑몰 Ssense 사이트에서 왜곡되어 보인다고 알렸어요. 가슴의 고리 장식이 실제보다 훨씬 크게 그려졌다고 했어요. Ssense는 일부 사진이 '가상 착용(옷을 입은 모습을 컴퓨터로 만든 기능)' 기술로 만들어졌다고 밝혔지만, AI를 쓰는지는 답하지 않았어요.
The New York Times · 11월 21일 06:16 KST - AI 글을 사람처럼 바꾸는 도구 광고, 전후 점수 비교 공개
이 짧은 영상은 Walter Writes AI라는 도구의 유료 광고예요. AI가 쓴 글을 사람이 쓴 것처럼 읽히게 고쳐 주는 도구를 소개해요. 제작자는 문단 하나를 탐지기에 넣어 AI 티가 난 부분을 찾고, 이 도구로 고쳐 쓴 뒤 점수를 비교했다고 해요.
TheAIGRID · 11월 21일 06:15 KST - 앤트로픽 투자·HBM·클로드까지, 한국 기업의 AI 3각 포석
미국 AI 기업 앤트로픽의 기업공개(IPO)를 계기로 한국 기업들이 AI 시장에서 여러 방향으로 존재감을 넓히고 있어요. SK텔레콤은 초기 투자로 큰 평가이익을 얻었어요. 삼성전자와 SK하이닉스는 반도체 공급 협력을 강화하고 있어요. 삼성SDS와 LG CNS는 앤트로픽의 AI 모델 클로드로 기업용 AI 시장에 들어가고 있어요.
뉴스웨이 · 11월 21일 06:10 KST - MIT·IBM 연구팀, 멀티모달 AI의 이해 한계 파헤쳐
MIT과 IBM 연구팀이 텍스트·이미지·소리를 함께 다루는 멀티모달 AI 모델의 약점을 연구하고 있어요. 이 모델들은 겉으로는 여러 정보를 잘 다루지만 실제 이해는 부족한 경우가 많아요. 팀은 MIT의 짐 글래스 연구원과 함께 새 시험 방법과 적은 데이터로 배우는 기법을 만들고 있어요.
MIT News · 11월 21일 06:00 KST