AI · 기사
AI 에이전트 기능 늘린다고 똑똑해지진 않아, 구글 평가법 공개
인공지능신문 ·
한눈에 보기
AI 에이전트에 기능과 지침을 많이 붙인다고 성능이 꼭 좋아지지는 않아요. 구글은 기능이 실제로 도움이 되는지 검증하는 평가 방법과 오픈소스 도구 '스킬 리치'를 공개했어요. 기능이 늘수록 잘못된 도구 호출과 비용 증가가 생길 수 있기 때문이에요.
핵심 내용
- 스킬은 AI가 특정 업무를 하도록 돕는 지침과 절차 묶음이에요.
- 기능을 추가한 AI와 추가하지 않은 AI를 같은 조건에서 비교해 성공률, 시간, 토큰 사용량을 확인해요.
- 평가 점수가 높아도 시스템 허점을 이용한 것일 수 있어 보안과 정확성을 따로 점검해요.
- 성능 개선 효과가 사라진 스킬은 삭제하는 것이 바람직하다고 설명했어요.
왜 중요할까요?
기업이 AI 에이전트를 실제 업무에 쓰려면 기능이 정말 효과가 있고 안전한지 확인해야 하기 때문이에요.
원문과 출처
[AI 리뷰] AI 에이전트에 기능 많이 붙인다고 똑똑해지지 않는다
인공지능신문 · 11월 4일 10:43 KST
인공지능신문에서 원문 읽기 ↗AI가 원문을 바탕으로 정리했어요. 틀린 내용이 있을 수 있어요. 저작권은 원 출처에 있어요. 인공지능신문.
같은 분야의 다른 소식
- MIT·IBM 연구팀, 멀티모달 AI의 이해 한계 파헤쳐
MIT과 IBM 연구팀이 텍스트·이미지·소리를 함께 다루는 멀티모달 AI 모델의 약점을 연구하고 있어요. 이 모델들은 겉으로는 여러 정보를 잘 다루지만 실제 이해는 부족한 경우가 많아요. 팀은 MIT의 짐 글래스 연구원과 함께 새 시험 방법과 적은 데이터로 배우는 기법을 만들고 있어요.
MIT News · 11월 21일 06:00 KST - AI 공급망 허점으로 사용자 비밀 정보 대량 유출 확인
연구자들이 AI 서비스 여러 곳을 거치는 요청에 가짜지만 실제로 작동하는 비밀번호와 열쇠를 약 200만 개 심어 추적했어요. 그 결과 많은 비밀 정보가 새어 나가 공격자들이 이를 이용해 클라우드 계정에 접근했어요.
Ars Technica · 11월 21일 05:59 KST - ChatGPT에서 Shopify 쇼핑몰 비즈니스를 등록하는 방법 공개
이 영상은 Shopify 쇼핑몰을 ChatGPT에 연결해서 내 비즈니스를 등록(클레임)하는 방법을 보여줘요. 비즈니스 허브(Business Hub) 또는 Shopify 앱스토어에서 시작할 수 있어요. 연결한 뒤에는 비즈니스 정보를 관리해서 ChatGPT에 어떻게 보일지 조정할 수 있어요.
OpenAI 공식 YouTube · 11월 21일 05:48 KST - 오픈AI, 최신 모델 속 생각 빼내기 공격 성공률 대폭 낮춰
OpenAI가 최신 AI 모델인 GPT-6.2 Astra와 GPT-6.2 Sol의 속 생각(내부 추론, AI가 답을 만들기 전 거치는 과정)을 몰래 빼내려는 공격을 크게 막았어요. 회사 내부 시험에서 공격 성공률이 크게 떨어졌고, 이 개선 일부를 GPT-6 Astra에도 적용하고 있어요.
The Decoder · 11월 21일 05:31 KST