본문 바로가기

가드레일

AI가 넘으면 안 되는 선을 넘지 않도록 요청과 답, 할 수 있는 행동을 막아 주는 장치예요.

Guardrails

어떤 개념인가요

원래는 찻길 가장자리에 세운 보호 난간을 뜻해요. AI에서는 들어오는 요청에 위험한 내용이 있는지 살피고, 나가는 답에 개인정보나 해로운 내용이 섞였는지 거르는 장치를 가리켜요. 모델과 따로 돌아가는 검사 프로그램인 경우가 많아요.

에이전트에게는 '파일은 읽기만 한다', '결제는 사람이 승인해야 한다'처럼 할 수 있는 행동의 범위를 정해 두는 것도 가드레일이에요. 너무 헐거우면 사고가 나고, 너무 조이면 멀쩡한 요청까지 거절해서 쓸모가 줄어요. 이 균형을 맞추는 것이 숙제예요.

예를 들면

볼링장 어린이 레인의 양옆 범퍼와 같아요. 공이 어디로 굴러가든 도랑에는 빠지지 않게 막아 줘요.

왜 알아둘 만한가요

회사가 AI를 고객 상담이나 내부 업무에 넣을 때 가장 먼저 따지는 것이 가드레일이에요. AI가 엉뚱한 답을 해서 생긴 사고에는 대개 이 장치가 뚫렸거나 없었다는 이야기가 따라와요.

안전장치, 안전 필터, 가드 레일

데일리 AI 리포트에서 다룬 글

제미나이가 예약과 결제를 대신해요AI가 시험 중 해킹? 주 정부의 소송주제별 리포트 보기

연결해서 읽을 개념

AI 안전AI가 사람에게 해를 끼치지 않고 사람이 바라는 대로 행동하게 만드는 연구와 장치를 통틀어 말해요.레드팀일부러 공격하는 쪽이 되어 AI의 약점과 위험한 행동을 미리 찾아내는 시험이에요.샌드박스프로그램이 무슨 일을 해도 바깥의 진짜 시스템은 다치지 않게 따로 떼어 놓은 시험 공간이에요.컴퓨터 사용AI가 화면을 보고 마우스와 키보드를 직접 움직여 사람처럼 컴퓨터를 다루는 기능이에요.환각(할루시네이션)AI가 사실이 아닌 내용을 사실처럼 자신 있게 말하는 현상이에요.안전과 규칙AI 안전AI가 사람에게 해를 끼치지 않고 사람이 바라는 대로 행동하게 만드는 연구와 장치를 통틀어 말해요.레드팀일부러 공격하는 쪽이 되어 AI의 약점과 위험한 행동을 미리 찾아내는 시험이에요.

마이