내 PC에서 도는 ‘컴퓨터 사용’ 에이전트

프랑스 스타트업 H Company가 컴퓨터를 직접 조작하는 ‘컴퓨터 사용 에이전트(computer-use agent)’ 신모델군 Holo3.1을 공개했습니다. 핵심은 클라우드뿐 아니라 일반 PC·모바일에서 ‘로컬로’ 돌면서도 웹·데스크톱·모바일을 가리지 않고 화면을 보고 클릭·입력하는 자동화를 수행한다는 점입니다.

"어디서든 동작하고, 어떤 에이전트 스택에도 통합되며, 워크플로가 있는 곳에서 그대로 실행되는 ‘보편 컴퓨터 사용 에이전트’."Hugging Face (H Company)

왜 중요한가

지금까지 화면을 조작하는 에이전트는 대개 클라우드의 큰 모델에 의존했습니다. 데이터가 외부로 나가고 비용·지연도 컸습니다. Holo3.1은 0.8B·4B·9B·35B 네 가지 크기와 FP8·Q4·NVFP4 양자화 체크포인트로, 성능 손실을 최소화하며 소비자 하드웨어에서 돌아갑니다. 모바일 벤치마크(AndroidWorld)에서 35B 모델은 67%에서 79.3%로, 소형(4B·9B)은 58%에서 72%로 뛰었고, NVFP4는 처리량 1.74배·평균 단계 시간 6.8초에서 3.3초로 빨라졌습니다.

실무 적용

온디바이스 실행은 ‘프라이버시가 곧 경쟁력’인 영역 — 사내 시스템 자동화, 민감 데이터 처리, 오프라인 현장 — 에서 특히 의미가 큽니다. 함수 호출(function calling) 프로토콜이 JSON 출력과 거의 같은 정확도에 도달해 기존 에이전트 프레임워크에 끼워 넣기도 쉬워졌습니다. 도입 시에는 에이전트가 접근하는 화면·권한 범위와 사람이 끼어들 검수 지점을 먼저 정해 두는 것이 안전합니다.

교차 참고

• Hugging Face: NVIDIA Cosmos 3 — ‘세계를 이해하는’ 모델과 짝을 이루는, 실제로 ‘행동하는’ 에이전트의 진화를 함께 보여줍니다.
• Google Blog: Managed Agents in the Gemini API — 클라우드 샌드박스 기반 에이전트와 로컬 실행 노선을 대비해 보완합니다.

Wemeet의 관점

에이전트 경쟁의 한 축이 ‘더 큰 모델’에서 ‘어디서 어떻게 돌리느냐’로 옮겨가고 있습니다. Wemeet은 빠르고 저렴한 로컬 자동화의 이점을 취하되, 권한·검수·기록 기준을 먼저 세워 ‘내 손 안에서 도는’ 자동화의 신뢰를 함께 확보하는 방식을 우선합니다.