본문 바로가기

AI 안전

AI가 사람에게 해를 끼치지 않고 사람이 바라는 대로 행동하게 만드는 연구와 장치를 통틀어 말해요.

AI Safety

어떤 개념인가요

AI가 똑똑해질수록 잘못 쓰이거나 엉뚱하게 행동했을 때의 피해도 커져요. AI 안전은 위험한 정보를 알려 주지 않게 하고, 일을 하다가 사람을 속이거나 허락받지 않은 행동을 하지 않게 하는 일을 다뤄요. 사람의 뜻과 가치에 맞게 행동하도록 맞추는 일을 정렬이라고 해요.

AI 회사들은 새 모델을 내놓기 전에 위험한 능력이 있는지 시험하고, 결과를 보고서로 공개하기도 해요. 다만 '얼마나 안전해야 충분한가'에는 정해진 답이 없고, 빨리 내놓으려는 경쟁과 부딪히는 일이 잦아요.

예를 들면

자동차를 더 빠르게 만드는 것만큼, 브레이크와 안전띠를 달고 충돌 시험을 하는 일이 필요한 것과 같아요.

왜 알아둘 만한가요

AI에게 맡기는 일이 커질수록 '믿고 맡겨도 되는가'가 성능만큼 중요해져요. 새 모델 발표에 안전 평가가 함께 나오고, 규제 논의도 대부분 여기서 시작해요.

AI 안전성

연결해서 읽을 개념

가드레일AI가 넘으면 안 되는 선을 넘지 않도록 요청과 답, 할 수 있는 행동을 막아 주는 장치예요.레드팀일부러 공격하는 쪽이 되어 AI의 약점과 위험한 행동을 미리 찾아내는 시험이에요.AI 규제AI를 만들고 쓰는 회사와 기관이 지켜야 할 법과 규칙이에요.AGI(범용 인공지능)한두 가지 일만이 아니라, 사람이 하는 지적인 일을 두루 사람만큼 해내는 AI를 가리키는 말이에요.초지능(ASI)거의 모든 일에서 가장 뛰어난 사람보다도 훨씬 잘하는 AI를 가리키는 말이에요. 아직은 없는, 상상 속 단계예요.안전과 규칙로컬 AI멀리 있는 회사 서버가 아니라 내 컴퓨터나 휴대폰 안에서 직접 돌리는 AI예요.가드레일AI가 넘으면 안 되는 선을 넘지 않도록 요청과 답, 할 수 있는 행동을 막아 주는 장치예요.

마이