IBM, 지시와 자료를 나눠 읽는 AI 모델 2종 공개…숨은 악성 지시 막기 실험

한눈에 보기

IBM이 지시문과 참고 자료를 따로 구분해 읽는 실험용 AI 모델 2종을 내놓았어요. 문서나 도구 응답 속에 숨은 나쁜 지시 때문에 AI가 원래 할 일을 바꿔 버리는 문제를 줄이려는 목적이에요. 모델은 허깅페이스 기술 블로그에서 공개됐어요.

핵심 내용

• 그라나이트 4.1 기반의 3B·8B 모델 두 가지예요.
• 입력을 지시, 참고 자료, 출력 조건 블록으로 나누는 레몬(LLMON) 형식을 읽고 만들도록 훈련됐어요.
• 회사는 여러 평가에서 악성 지시에 덜 속는다고 밝혔지만, 여러 번 대화하며 바뀌는 공격에 대한 방어는 아직 개선 중이에요.
• 3B 모델은 한국어를 포함한 12개 언어를 지원하고 아파치 2.0 라이선스로 공개됐어요.

왜 중요할까요?

AI가 인터넷 문서나 외부 도구의 글을 읽을 때 숨은 명령에 휘둘리지 않도록 하는 기술이라, 기업용 AI 도구와 에이전트를 안전하게 쓰는 데 도움이 될 수 있어요.

같은 분야의 다른 소식

• GitHub Next, 팀원과 AI 에이전트가 함께 쓰는 Mac 코딩 환경 'Ace' 공개

  GitHub Next가 Mac에서 팀원과 AI 에이전트가 함께 코딩하는 환경 Ace를 실험 프로젝트로 내놓았어요. 채널에서 대화하며 구현 방향을 정하고, 에이전트를 불러 작업을 맡길 수 있어요.

  GeekNews · 11월 14일 09:30 KST
• Claude 화이트보드·시트·데이터 기능, 지금 쓸 수 있는 것은?

  Claude의 새 기능인 화이트보드, 시트(표 계산), 데이터 기능을 실제로 써 보며 무엇이 쓸 만한지 살펴보는 영상이에요. 구글 시트에서 옮겨 갈 이유가 있는지도 함께 다뤄요.

  The AI Advantage · 11월 14일 08:57 KST
• 아마존, 전 세계 온라인 상품 정보 색인 계획 추진 보도

  아마존이 인터넷 어디에서 팔리든 모든 상품의 정보를 모아 자사 사이트에서 보여 주는 '월드 프로덕트 그래프'를 계획 중이라고 로이터가 보도했어요. 아마존이 직접 팔지 않는 상품까지 포함하는 것이 특징이에요.

  The Verge · 11월 14일 08:49 KST
• Gemini 4 Carbon 응답 지연 문제, 테오가 앞선 평가를 정정해요

  Theo(t3.gg) 채널의 영상이에요. 앞서 Gemini 4 Carbon을 가볍게 평가했던 내용을 바로잡고, 실제 사용에서 드러난 응답 지연 문제를 자세히 다뤄요. Gemini 4 Carbon은 Google의 AI 모델 이름이에요.

  Theo - t3.gg · 11월 14일 08:45 KST