가드레일
Guardrails
AI가 넘으면 안 되는 선을 넘지 않도록 요청과 답, 할 수 있는 행동을 막아 주는 장치예요.
조금 더 자세히
원래는 찻길 가장자리에 세운 보호 난간을 뜻해요. AI에서는 들어오는 요청에 위험한 내용이 있는지 살피고, 나가는 답에 개인정보나 해로운 내용이 섞였는지 거르는 장치를 가리켜요. 모델과 따로 돌아가는 검사 프로그램인 경우가 많아요.
에이전트에게는 '파일은 읽기만 한다', '결제는 사람이 승인해야 한다'처럼 할 수 있는 행동의 범위를 정해 두는 것도 가드레일이에요. 너무 헐거우면 사고가 나고, 너무 조이면 멀쩡한 요청까지 거절해서 쓸모가 줄어요. 이 균형을 맞추는 것이 숙제예요.
예를 들면
볼링장 어린이 레인의 양옆 범퍼와 같아요. 공이 어디로 굴러가든 도랑에는 빠지지 않게 막아 줘요.
왜 알아 둘 만한가요
회사가 AI를 고객 상담이나 내부 업무에 넣을 때 가장 먼저 따지는 것이 가드레일이에요. AI가 엉뚱한 답을 해서 생긴 사고에는 대개 이 장치가 뚫렸거나 없었다는 이야기가 따라와요.
이렇게도 불러요안전장치, 안전 필터, 가드 레일