LastAI 브리핑 · AI · 데스크톱 자동화 · 2026.11.22

마감 5분 전, Vercel Labs의 Agent Desktop

등대 사진 한 장이 들어간 신문을 인쇄하기까지 5분. LastAI 편집자 지수는 AI 둘에게 교정을 나눠 맡깁니다. Vercel Labs의 오픈소스 도구 Agent Desktop v1.3.1을 읽고 세 가지 모의 테스트를 직접 실행해, 두 포인터가 무엇을 함께 할 수 있는지 살펴봤습니다.

마감 5분 전
사진은 너, 목록은 너
버튼에도 이름이 있다
눌렀으면, 다시 읽기
두 화살표가 나란히
클릭에는 차례가 있다
버튼이 옆으로 밀렸다
이제 인쇄해도 되겠어
글로 읽기

마감 5분 전

인쇄 버튼은 내가 누를게. Vercel Labs의 오픈소스 도구 Agent Desktop. 오늘 지수는 교정용 창 두 개를 AI에게 맡깁니다. 등대 사진이 실릴 호의 마감이 다가옵니다. 무엇을 할지는 연결한 AI가 결정하고, Agent Desktop은 앱의 상태를 읽고 조작하는 일을 맡습니다.

사진은 너, 목록은 너

캡션하고 체크 표시만 봐 줘. 한 AI는 사진 설명을, 다른 AI는 교정 목록을 확인합니다. 지수는 자기 마우스로 지면을 읽습니다. 기본 모드는 앱이 제공하는 요소를 조작하므로 실제 마우스를 옮기거나 활성 창을 바꾸지 않습니다.

버튼에도 이름이 있다

여기 ‘교정 완료’가 보여! 앱은 버튼의 역할과 이름, 체크 여부를 운영체제에 알려 줍니다. AI는 이 구조를 읽고 누를 항목을 고릅니다. 접근성 트리를 읽으면 각 항목의 참조값을 얻습니다. 앱이 이 구조에 내놓지 않은 그림 속 버튼은 같은 방식으로 찾을 수 없습니다.

눌렀으면, 다시 읽기

체크 표시가 남았네. AI는 목록을 한 번 더 읽습니다. ‘눌러 달라’는 요청이 ‘교정 완료’라는 결과로 이어졌는지 확인하는 순간입니다. 이 방식은 macOS·Windows·Linux에서 쓸 수 있지만 앱과 운영체제가 제공하는 기능은 다릅니다. Mac에서 앱 조작에는 손쉬운 사용 권한, 화면 캡처에는 화면 기록 권한도 필요합니다.

두 화살표가 나란히

둘 다 벌써 도착했어? 다중 에이전트 세션에서 두 AI는 서로 다른 ID를 씁니다. 커서 표시를 켜면 각 포인터가 목표를 향해 함께 움직일 수 있습니다. 화면에 그리는 커서는 진행 상황을 보여 줍니다. 예를 들어 Linux의 Wayland에서는 표시 설정을 저장해도 커서가 그려지지 않습니다.

클릭에는 차례가 있다

먼저 도착! 클릭은 내 차례에. LastAI가 실행한 모의 테스트에서 기본 모드의 순서는 ‘이동 → 조작 권한 확보 → 클릭 전달’이었습니다. 포인터를 보여 주는 일과 앱에 입력을 보내는 일의 순서가 다릅니다. 여러 포인터는 함께 이동할 수 있고, 실제 조작은 한 번에 하나씩 실행됩니다.

버튼이 옆으로 밀렸다

아까 그 자리가 아닌데? 두 번째 테스트에선 같은 버튼이 움직이자 포인터가 새 위치로 갔습니다. 세 번째에선 대상을 찾지 못하자 오래된 참조 오류를 돌려줬습니다. 모의 앱에서 관찰된 두 경우입니다. 대상을 잃었을 때는 현재 창을 다시 읽고 새 참조값을 얻습니다.

이제 인쇄해도 되겠어

등대 사진, 캡션, 교정 표시까지! 지수는 교정 표시를 확인하고 인쇄를 누릅니다. 두 AI가 얼마나 바삐 움직였는지보다, 바뀐 결과가 지면에 남았는지가 중요했습니다. 이번에 직접 확인한 범위는 v1.3.1의 모의 테스트 세 가지입니다. 아래에서 Vercel Labs의 공식 저장소와 테스트 코드를 열어 볼 수 있습니다.

Vercel Labs 원문과 검증 자료

웹툰에서 다룬 버전의 코드와 테스트를 직접 확인할 수 있어요.

출처 Agent Desktop 공식 저장소 · v1.3.1 릴리스 · 여러 AI가 쓰는 세션 · 포인터 이동 순서 테스트 · 대상이 사라졌을 때의 테스트 · 설치와 플랫폼별 권한

LastAI가 2026년 11월 22일 Vercel Labs의 v1.3.1 소스와 문서를 조사하고 모의 테스트 3개를 직접 실행했어요. 편집실과 인물은 이해를 돕기 위한 창작이며 글·그림·번역에는 AI를 사용했어요.