레드팀
Red Teaming
일부러 공격하는 쪽이 되어 AI의 약점과 위험한 행동을 미리 찾아내는 시험이에요.
조금 더 자세히
군대 훈련에서 적 역할을 맡는 편을 레드팀이라고 부르던 데서 온 말이에요. AI 레드팀은 모델이 금지된 답을 하게 만들거나, 숨긴 정보를 털어놓게 하거나, 에이전트가 위험한 행동을 하도록 꾀어 보면서 어디가 뚫리는지 찾아요.
사람 전문가가 직접 하기도 하고, 다른 AI에게 수많은 공격 문장을 만들게 해서 자동으로 하기도 해요. 찾아낸 약점은 내놓기 전에 고쳐요. 다만 시험에서 찾지 못했다고 약점이 없다는 뜻은 아니어서, 내놓은 뒤에도 계속 살펴야 해요.
예를 들면
은행이 금고를 쓰기 전에 솜씨 좋은 자물쇠 기술자를 불러 '한번 열어 보라'고 맡기는 것과 같아요.
왜 알아 둘 만한가요
새 모델 발표에 '레드팀 평가를 거쳤다'는 말이 자주 붙어요. 누가, 어떤 위험을, 얼마나 시험했는지를 보면 그 회사가 안전을 얼마나 무겁게 다루는지 가늠할 수 있어요.
이렇게도 불러요레드 팀, 레드티밍, 레드팀 테스트