본문 바로가기

컴퓨터 사용

AI가 화면을 보고 마우스와 키보드를 직접 움직여 사람처럼 컴퓨터를 다루는 기능이에요.

Computer Use

어떤 개념인가요

보통 AI는 API라는 정해진 창구가 있는 서비스만 다룰 수 있어요. 컴퓨터 사용 기능이 있으면 AI가 화면을 사진처럼 찍어 보고, 어디를 누를지 정해 마우스를 움직이고 글자를 쳐요. 그래서 사람이 쓰라고 만든 웹사이트와 프로그램을 그대로 쓸 수 있어요.

웹에서 표를 예매하거나 양식을 채우는 브라우저 에이전트가 대표적이에요. 아직은 사람보다 느리고 엉뚱한 곳을 누르기도 해요. 화면에 적힌 글을 지시로 착각해 속을 수도 있어서, 결제나 삭제처럼 되돌리기 어려운 일은 사람이 확인하게 해 둬요.

예를 들면

전화로 방법만 알려 주던 친구가, 이제는 내 컴퓨터 앞에 앉아 대신 클릭해 주는 것과 같아요.

왜 알아둘 만한가요

따로 연결 장치가 없는 옛 프로그램과 웹사이트까지 AI가 다룰 수 있게 돼요. 편리한 만큼 AI가 내 계정으로 무엇을 할 수 있는지, 어디까지 맡길지가 중요한 문제가 돼요.

컴퓨터 유즈, 화면 조작 AI

연결해서 읽을 개념

AI 에이전트목표를 주면 스스로 계획을 세우고 도구를 써서 여러 단계의 일을 해내는 AI예요.도구 호출AI가 검색·계산 같은 바깥 도구를 써 달라고 정해진 꼴로 요청하고, 그 결과를 받아 답하는 구조예요.가드레일AI가 넘으면 안 되는 선을 넘지 않도록 요청과 답, 할 수 있는 행동을 막아 주는 장치예요.샌드박스프로그램이 무슨 일을 해도 바깥의 진짜 시스템은 다치지 않게 따로 떼어 놓은 시험 공간이에요.쓰는 법CLI(명령줄)버튼을 누르는 대신 글자로 명령을 쳐서 컴퓨터를 다루는 방식이에요.워크플로일을 여러 단계로 나눠 정해진 순서대로 흘러가게 이어 놓은 것이에요.

마이