대규모 에이전트 조율, Superhuman Go에서 얻은 교훈

한눈에 보기

Superhuman의 응용 연구 과학자가 AI 비서 Superhuman Go가 100개 넘는 에이전트 가운데 알맞은 도구를 고르는 과정(라우팅)을 연구한 내용을 공개했어요. 도구가 많아질수록 엉뚱한 도구를 고르기 쉬워지는 원인을 살피고, 가장 유망한 해법으로 임베디드 쇼트리스팅(후보 도구를 먼저 추려 내는 방식)을 꼽았어요.

핵심만 콕콕

1. 1

   Go에는 100개 넘는 에이전트와 800개 도구가 있고, 날씨 같은 단일 기능부터 15가지 넘는 동작을 가진 Gmail까지 다양해요.

2. 2

   기존 연구에서는 도구가 49개에서 741개로 늘면 AI의 도구 호출 성능이 7~85% 떨어졌어요.

3. 3

   Go는 먼저 알맞은 에이전트를, 이어서 그 안의 도구를 골라야 하고, Google Docs와 Coda Docs처럼 비슷한 도구가 많아 실수하기 쉬워요.

4. 4

   연구팀은 GPT-5.1, GPT-5.4, Claude Sonnet 4.5 세 모델로 라우팅 성능을 재는 평가 틀을 만들었어요.

왜 중요할까요?

Superhuman 규모에서는 실패율이 1%만 돼도 수십만 명이 영향을 받아, AI 비서에 기능을 늘릴수록 알맞은 도구를 고르는 정확도가 중요해져요.