나무모에 미러 (일반/어두운 화면)
최근 수정 시각 : 2026-10-11 06:35:37

Computer Use

CUA에서 넘어옴

파일:다른 뜻 아이콘.svg  
#!if 넘어옴1 != null
'''CUA'''{{{#!if 넘어옴2 == null
{{{#!if 넘어옴1[넘어옴1.length - 1] >= 0xAC00 && 넘어옴1[넘어옴1.length - 1] <= 0xD7A3
{{{#!if ((넘어옴1[넘어옴1.length - 1] - 0xAC00) % 28) == 0
는}}}{{{#!if ((넘어옴1[넘어옴1.length - 1] - 0xAC00) % 28) != 0
은}}}}}}{{{#!if 넘어옴1[넘어옴1.length - 1] < 0xAC00 || 넘어옴1[넘어옴1.length - 1] > 0xD7A3
은(는)}}}}}}{{{#!if 넘어옴2 != null
, ''''''{{{#!if 넘어옴3 == null
{{{#!if 넘어옴2[넘어옴2.length - 1] >= 0xAC00 && 넘어옴2[넘어옴2.length - 1] <= 0xD7A3
{{{#!if ((넘어옴2[넘어옴2.length - 1] - 0xAC00) % 28) == 0
는}}}{{{#!if ((넘어옴2[넘어옴2.length - 1] - 0xAC00) % 28) != 0
은}}}}}}{{{#!if 넘어옴2[넘어옴2.length - 1] < 0xAC00 || 넘어옴2[넘어옴2.length - 1] > 0xD7A3
은(는)}}}}}}}}}{{{#!if 넘어옴3 != null
, ''''''{{{#!if 넘어옴4 == null
{{{#!if 넘어옴3[넘어옴3.length - 1] >= 0xAC00 && 넘어옴3[넘어옴3.length - 1] <= 0xD7A3
{{{#!if ((넘어옴3[넘어옴3.length - 1] - 0xAC00) % 28) == 0
는}}}{{{#!if ((넘어옴3[넘어옴3.length - 1] - 0xAC00) % 28) != 0
은}}}}}}{{{#!if 넘어옴3[넘어옴3.length - 1] < 0xAC00 || 넘어옴3[넘어옴3.length - 1] > 0xD7A3
은(는)}}}}}}}}}{{{#!if 넘어옴4 != null
, ''''''{{{#!if 넘어옴5 == null
{{{#!if 넘어옴4[넘어옴4.length - 1] >= 0xAC00 && 넘어옴4[넘어옴4.length - 1] <= 0xD7A3
{{{#!if ((넘어옴4[넘어옴4.length - 1] - 0xAC00) % 28) == 0
는}}}{{{#!if ((넘어옴4[넘어옴4.length - 1] - 0xAC00) % 28) != 0
은}}}}}}{{{#!if 넘어옴4[넘어옴4.length - 1] < 0xAC00 || 넘어옴4[넘어옴4.length - 1] > 0xD7A3
은(는)}}}}}}}}}{{{#!if 넘어옴5 != null
, ''''''{{{#!if 넘어옴6 == null
{{{#!if 넘어옴5[넘어옴5.length - 1] >= 0xAC00 && 넘어옴5[넘어옴5.length - 1] <= 0xD7A3
{{{#!if ((넘어옴5[넘어옴5.length - 1] - 0xAC00) % 28) == 0
는}}}{{{#!if ((넘어옴5[넘어옴5.length - 1] - 0xAC00) % 28) != 0
은}}}}}}{{{#!if 넘어옴5[넘어옴5.length - 1] < 0xAC00 || 넘어옴5[넘어옴5.length - 1] > 0xD7A3
은(는)}}}}}}}}}{{{#!if 넘어옴6 != null
, ''''''{{{#!if 넘어옴7 == null
{{{#!if 넘어옴6[넘어옴6.length - 1] >= 0xAC00 && 넘어옴6[넘어옴6.length - 1] <= 0xD7A3
{{{#!if ((넘어옴6[넘어옴6.length - 1] - 0xAC00) % 28) == 0
는}}}{{{#!if ((넘어옴6[넘어옴6.length - 1] - 0xAC00) % 28) != 0
은}}}}}}{{{#!if 넘어옴6[넘어옴6.length - 1] < 0xAC00 || 넘어옴6[넘어옴6.length - 1] > 0xD7A3
은(는)}}}}}}}}}{{{#!if 넘어옴7 != null
, ''''''{{{#!if 넘어옴8 == null
{{{#!if 넘어옴7[넘어옴7.length - 1] >= 0xAC00 && 넘어옴7[넘어옴7.length - 1] <= 0xD7A3
{{{#!if ((넘어옴7[넘어옴7.length - 1] - 0xAC00) % 28) == 0
는}}}{{{#!if ((넘어옴7[넘어옴7.length - 1] - 0xAC00) % 28) != 0
은}}}}}}{{{#!if 넘어옴7[넘어옴7.length - 1] < 0xAC00 || 넘어옴7[넘어옴7.length - 1] > 0xD7A3
은(는)}}}}}}}}}{{{#!if 넘어옴8 != null
, ''''''{{{#!if 넘어옴9 == null
{{{#!if 넘어옴8[넘어옴8.length - 1] >= 0xAC00 && 넘어옴8[넘어옴8.length - 1] <= 0xD7A3
{{{#!if ((넘어옴8[넘어옴8.length - 1] - 0xAC00) % 28) == 0
는}}}{{{#!if ((넘어옴8[넘어옴8.length - 1] - 0xAC00) % 28) != 0
은}}}}}}{{{#!if 넘어옴8[넘어옴8.length - 1] < 0xAC00 || 넘어옴8[넘어옴8.length - 1] > 0xD7A3
은(는)}}}}}}}}}{{{#!if 넘어옴9 != null
, ''''''{{{#!if 넘어옴10 == null
{{{#!if 넘어옴9[넘어옴9.length - 1] >= 0xAC00 && 넘어옴9[넘어옴9.length - 1] <= 0xD7A3
{{{#!if ((넘어옴9[넘어옴9.length - 1] - 0xAC00) % 28) == 0
는}}}{{{#!if ((넘어옴9[넘어옴9.length - 1] - 0xAC00) % 28) != 0
은}}}}}}{{{#!if 넘어옴9[넘어옴9.length - 1] < 0xAC00 || 넘어옴9[넘어옴9.length - 1] > 0xD7A3
은(는)}}}}}}}}}{{{#!if 넘어옴10 != null
, ''''''{{{#!if 넘어옴10[넘어옴10.length - 1] >= 0xAC00 && 넘어옴10[넘어옴10.length - 1] <= 0xD7A3
{{{#!if ((넘어옴10[넘어옴10.length - 1] - 0xAC00) % 28) == 0
는}}}{{{#!if ((넘어옴10[넘어옴10.length - 1] - 0xAC00) % 28) != 0
은}}}}}}{{{#!if 넘어옴10[넘어옴10.length - 1] < 0xAC00 || 넘어옴10[넘어옴10.length - 1] > 0xD7A3
은(는)}}}}}} 여기로 연결됩니다. 
#!if 설명 == null && 리스트 == null
{{{#!if 설명1 == null
다른 뜻에 대한 내용은 아래 문서를}}}{{{#!if 설명1 != null
{{{#!html Computer Using Agent라는 OpenAI의 모델}}}에 대한 내용은 [[CUA(OpenAI)]] 문서{{{#!if (문단1 == null) == (앵커1 == null)
를}}}{{{#!if 문단1 != null & 앵커1 == null
의 [[CUA(OpenAI)#s-|]]번 문단을}}}{{{#!if 문단1 == null & 앵커1 != null
의 [[CUA(OpenAI)#|]] 부분을}}}}}}{{{#!if 설명2 != null
, {{{#!html 컴퓨터 활용 능력을 평가하는 자격 시험}}}에 대한 내용은 [[컴퓨터활용능력]] 문서{{{#!if (문단2 == null) == (앵커2 == null)
를}}}{{{#!if 문단2 != null & 앵커2 == null
의 [[컴퓨터활용능력#s-|]]번 문단을}}}{{{#!if 문단2 == null & 앵커2 != null
의 [[컴퓨터활용능력#|]] 부분을}}}}}}{{{#!if 설명3 != null
, {{{#!html }}}에 대한 내용은 [[]] 문서{{{#!if (문단3 == null) == (앵커3 == null)
를}}}{{{#!if 문단3 != null & 앵커3 == null
의 [[#s-|]]번 문단을}}}{{{#!if 문단3 == null & 앵커3 != null
의 [[#|]] 부분을}}}}}}{{{#!if 설명4 != null
, {{{#!html }}}에 대한 내용은 [[]] 문서{{{#!if (문단4 == null) == (앵커4 == null)
를}}}{{{#!if 문단4 != null & 앵커4 == null
의 [[#s-|]]번 문단을}}}{{{#!if 문단4 == null & 앵커4 != null
의 [[#|]] 부분을}}}}}}{{{#!if 설명5 != null
, {{{#!html }}}에 대한 내용은 [[]] 문서{{{#!if (문단5 == null) == (앵커5 == null)
를}}}{{{#!if 문단5 != null & 앵커5 == null
의 [[#s-|]]번 문단을}}}{{{#!if 문단5 == null & 앵커5 != null
의 [[#|]] 부분을}}}}}}{{{#!if 설명6 != null
, {{{#!html }}}에 대한 내용은 [[]] 문서{{{#!if (문단6 == null) == (앵커6 == null)
를}}}{{{#!if 문단6 != null & 앵커6 == null
의 [[#s-|]]번 문단을}}}{{{#!if 문단6 == null & 앵커6 != null
의 [[#|]] 부분을}}}}}}{{{#!if 설명7 != null
, {{{#!html }}}에 대한 내용은 [[]] 문서{{{#!if (문단7 == null) == (앵커7 == null)
를}}}{{{#!if 문단7 != null & 앵커7 == null
의 [[#s-|]]번 문단을}}}{{{#!if 문단7 == null & 앵커7 != null
의 [[#|]] 부분을}}}}}}{{{#!if 설명8 != null
, {{{#!html }}}에 대한 내용은 [[]] 문서{{{#!if (문단8 == null) == (앵커8 == null)
를}}}{{{#!if 문단8 != null & 앵커8 == null
의 [[#s-|]]번 문단을}}}{{{#!if 문단8 == null & 앵커8 != null
의 [[#|]] 부분을}}}}}}{{{#!if 설명9 != null
, {{{#!html }}}에 대한 내용은 [[]] 문서{{{#!if (문단9 == null) == (앵커9 == null)
를}}}{{{#!if 문단9 != null & 앵커9 == null
의 [[#s-|]]번 문단을}}}{{{#!if 문단9 == null & 앵커9 != null
의 [[#|]] 부분을}}}}}}{{{#!if 설명10 != null
, {{{#!html }}}에 대한 내용은 [[]] 문서{{{#!if (문단10 == null) == (앵커10 == null)
를}}}{{{#!if 문단10 != null & 앵커10 == null
의 [[#s-|]]번 문단을}}}{{{#!if 문단10 == null & 앵커10 != null
의 [[#|]] 부분을}}}}}}
#!if 설명 == null
{{{#!if 리스트 != null
다른 뜻에 대한 내용은 아래 문서를}}} 참고하십시오.

#!if 리스트 != null
{{{#!if 문서명1 != null
 * {{{#!if 설명1 != null
Computer Using Agent라는 OpenAI의 모델: }}}[[CUA(OpenAI)]] {{{#!if 문단1 != null & 앵커1 == null
문서의 [[CUA(OpenAI)#s-|]]번 문단}}}{{{#!if 문단1 == null & 앵커1 != null
문서의 [[CUA(OpenAI)#|]] 부분}}}}}}{{{#!if 문서명2 != null
 * {{{#!if 설명2 != null
컴퓨터 활용 능력을 평가하는 자격 시험: }}}[[컴퓨터활용능력]] {{{#!if 문단2 != null & 앵커2 == null
문서의 [[컴퓨터활용능력#s-|]]번 문단}}}{{{#!if 문단2 == null & 앵커2 != null
문서의 [[컴퓨터활용능력#|]] 부분}}}}}}{{{#!if 문서명3 != null
 * {{{#!if 설명3 != null
: }}}[[]] {{{#!if 문단3 != null & 앵커3 == null
문서의 [[#s-|]]번 문단}}}{{{#!if 문단3 == null & 앵커3 != null
문서의 [[#|]] 부분}}}}}}{{{#!if 문서명4 != null
 * {{{#!if 설명4 != null
: }}}[[]] {{{#!if 문단4 != null & 앵커4 == null
문서의 [[#s-|]]번 문단}}}{{{#!if 문단4 == null & 앵커4 != null
문서의 [[#|]] 부분}}}}}}{{{#!if 문서명5 != null
 * {{{#!if 설명5 != null
: }}}[[]] {{{#!if 문단5 != null & 앵커5 == null
문서의 [[#s-|]]번 문단}}}{{{#!if 문단5 == null & 앵커5 != null
문서의 [[#|]] 부분}}}}}}{{{#!if 문서명6 != null
 * {{{#!if 설명6 != null
: }}}[[]] {{{#!if 문단6 != null & 앵커6 == null
문서의 [[#s-|]]번 문단}}}{{{#!if 문단6 == null & 앵커6 != null
문서의 [[#|]] 부분}}}}}}{{{#!if 문서명7 != null
 * {{{#!if 설명7 != null
: }}}[[]] {{{#!if 문단7 != null & 앵커7 == null
문서의 [[#s-|]]번 문단}}}{{{#!if 문단7 == null & 앵커7 != null
문서의 [[#|]] 부분}}}}}}{{{#!if 문서명8 != null
 * {{{#!if 설명8 != null
: }}}[[]] {{{#!if 문단8 != null & 앵커8 == null
문서의 [[#s-|]]번 문단}}}{{{#!if 문단8 == null & 앵커8 != null
문서의 [[#|]] 부분}}}}}}{{{#!if 문서명9 != null
 * {{{#!if 설명9 != null
: }}}[[]] {{{#!if 문단9 != null & 앵커9 == null
문서의 [[#s-|]]번 문단}}}{{{#!if 문단9 == null & 앵커9 != null
문서의 [[#|]] 부분}}}}}}{{{#!if 문서명10 != null
 * {{{#!if 설명10 != null
: }}}[[]] {{{#!if 문단10 != null & 앵커10 == null
문서의 [[#s-|]]번 문단}}}{{{#!if 문단10 == null & 앵커10 != null
문서의 [[#|]] 부분}}}}}}

<nopad>
{{{#!wiki style="margin: 0 -10px -5px; min-height: calc(1.5em + 5px)"
{{{#!folding [ 펼치기 · 접기 ]
{{{#!wiki style="margin: -5px -1px -11px"
<colbgcolor=#2e3039,#2e3039><colcolor=#fff,#fff> 종류 대화형 인공지능 (주요 목록) · 코드 생성 인공지능 · 그림 인공지능 · 영상 인공지능 · 음악 인공지능 · 음성 인공지능 · 3D 모델링· 지능형 에이전트 · VLA · 멀티모달 모델 · 언어 모델 · 월드 모델
응용 AI 개요 · 인공지능 검색 엔진 · 바이브 코딩 · 에이전틱 코딩 (AGENTS.md · CLAUDE.md · CONTEXT.md) · Computer Use (Model Context Protocol) · 피지컬 AI · 인공지능 로봇 (테슬라 옵티머스) · AI 워터마크(LLM 워터마크)
프롬프트 프롬프트 · 프롬프트 엔지니어링 · 프롬프트 해킹 · 에이전트 스킬 · 하네스 엔지니어링
아키텍처 트랜스포머 · RNN · CNN · SSM
생성 패러다임 GAN · 확산 모델 · 변분 오토인코더 · 자기회귀모델 · JEPA
학습·평가 자기지도학습 · 강화학습 (RLHF) · LoRA · 인공지능 정렬 · 인공지능 벤치마크 · 재귀적 자기 개선
문화·밈 AI 커버 · 쇼거스 · 인공지능 버츄얼 유튜버 · ChatGPT 지브리풍 이미지 생성 유행 · 와... 너 정말, **핵심을 찔렀어.** · 세상에서 제일 하찮은 프롬프트 · 인공지능 작품
성과 및 영향력 대중화 · 주요 성과 (수학) · 토크노믹스
논란 · 문제점 문제점 및 논쟁 (언어 모델 · 그림) · 논란 및 사건 사고 (언어 모델 · 그림 · 영상) · AI 슬롭 · 인공지능 환각 · AI 중독 · 딥페이크 (성범죄)
기타 AI wrapper · 인공지능 검사기 · 인공 일반 지능 · Spiritual bliss attractor · AI 데이터 센터
}}}}}}}}} ||
파일:Computer Use 동작 원리.png
1. 개요2. 배경3. 역사
3.1. 에이전틱 AI 및 바이브 코딩의 서막3.2. 컴퓨터 사용 에이전트의 인기3.3. 멀티모달 및 장기 작업 능력의 발전
4. 에이전트 유형
4.1. CLI·터미널형4.2. 데스크톱 앱형4.3. 웹 앱·브라우저형4.4. 검색·서비스 통합형4.5. IDE 통합형4.6. 클라우드 에이전트형4.7. 운영체제 내장 에이전트형
5. 한계6. 관련 모델7. 여담8. 관련 문서

1. 개요

Computer Use (컴퓨터 사용)는 언어 모델이 컴퓨터를 다루는 능력을 지칭한다. 그리고 이러한 능력을 활용하는 지능형 에이전트를 컴퓨터 사용 에이전트 (Computer Use Agent; CUA)라고 한다.

2. 배경

CUA라고 하면 브라우저를 쓸 수 있는 OpenAI의 모델 혹은 Operator 에이전트만을 지칭한다고 오해하기 쉽지만 LLM의 발전에 따라 업계에서 자연스럽게 나온 개념이다. 당장에 Claude Code, ChatGPT Codex만 하더라도 Playwright 스킬이 도입되기 전만 해도 CLI 기반이어서 체감이 안 되었던 것이지 실제로는 Computer Use의 성격이 있는 에이전트다.

이후 Computer Use의 흐름은 Windows MCP, Node REPL, Postman MCP, Playwright MCP, Newman 등을 이용하여 엔드투엔드에 대한 API 및 그래픽 테스트 자동화로 이어지고 있다. 이제는 웹 수준을 벗어나 운영체제 (OS)수준으로 그 활용 범위가 점차 넓어지고 있다. 검색증강생성 (RAG)에서도 Computer Use를 접목시키고 있다.

단순히 명령어를 치고 관련 결과를 텍스트로 받아 다음 동작을 결정하는 수준에서 벗어나 사용자 화면이나 웹 페이지를 직접 시각적으로 식별하고 양식에 채울 내용, 마우스 이벤트 (클릭 좌표, 클릭 종류, 드래그 등)를 AI가 직접 컨트롤하여 조종할 수 있는 시대가 된 것이다. 이제는 코딩뿐만 아니라 업무 자동화를 위한 에이전트인 Claude Cowork, ChatGPT Work에서도 AI가 텍스트 크롤링 위주의 기존 인터넷 검색 도구뿐만 아니라 클라우드 브라우저를 띄워놓고 웹 사이트를 직접 보면서 지식을 조사하는 수준에 다다랐다.

아주 쉽게 설명하면, 컴퓨터 사용 AI는 사용자의 요청을 듣고, 컴퓨터를 이리저리 움직여서 요청을 충족시키기 위한 컴퓨터 조작을 사용자 대신 수행해준다. 그리고 그 과정은 컴퓨터 제어와 다른 제반 지식에 대해 수능 만점 혹은 박사과정 수준으로 알고 있는 초 대형 언어 모델(LLM)이 제어한다. 심지어는 사용 언어가 다른 모든 사용자 요청에 AI가 대응할 수 있다.

3. 역사

ChatGPT 및 Claude의 탄생 이래로 대형 언어 모델 (LLM)이 코딩을 다루는 능력은 일취월장을 했다. 그렇게 해서 생긴 것이 바이브 코딩. 그러나 이전의 바이브 코딩은 요구사항 중심적이고 CLI 환경 위주로 진행이 되었다. 테스팅, QA (Quality Assurance), 도구 사용 자동화, GUI (Graphic User Interface) 테스팅 등의 유스케이스를 제대로 다루지 못한다.

그래서 Anthropic이 Model Context Protocol (MCP)를 창시했고, 현재는 OpenAI, GitHub, Microsoft, 구글 등의 타 업체들도 이를 따르고 있다. 그리고 OpenAI는 한발 더 나아가 자사 모델에서 Computer Use를 구체화하여 컴퓨터 화면에 대한 스냅샷을 레스터 이미지, DOM, 혹은 콘텍스트로 다루어 LLM의 비전 인식 능력과 결합하여 클릭, 양식 입력 자동화 등의 컴퓨터 사용 능력을 구현했다.

이러한 기술들이 AI에게 갖추어지면서 비로소 요구사항, 구현 내용, 테스팅 방식, 중단 조건 등을 명시하고 이러한 도구들을 자동화하여 쓸 수 있도록 하는 에이전틱 코딩 (Agentic Coding)가 가능해지고 이를 넘어 에이전틱 AI라는 용어의 인지를 차지해 가고 있다. 뿐만 아니라 모델의 컴퓨터 사용 능력은 데이터 엔지니어링, 생화학, 반도체 설계, 회계학, 법률 등에서도 사무자동화 (Office Automation; OA)를 가능케 하며 VLA 기반의 피지컬 AI에 있어서도 필수다.

3.1. 에이전틱 AI 및 바이브 코딩의 서막

2024년 10월, 앤트로픽이 Claude 3.5 Sonnet과 함께 AI가 사람처럼 화면을 보고 마우스를 클릭하는 'Computer Use' 기능을 최초로 선보였다. 2024년 11월, 앤트로픽이 AI 모델과 로컬 개발 환경(데이터, 도구 등)을 연결하는 오픈소스 표준 프로토콜인 Model Context Protocol (MCP)를 발표했다.

2025년 2월 2일, 전 OpenAI 창립 멤버 안드레이 카파시(Andrej Karpathy)가 X(구 트위터)를 통해 "자연어로 LLM과 대화하며 분위기(Vibe)로 코딩하는 시대가 왔다"고 선언 했다. Cursor와 대형 모델들이 결합하여 개발 지식이 없는 일반인도 프로그램과 웹 서비스를 순식간에 빌드하는 바이브 코딩 문화가 전 세계를 강타했다. 2025년 코린스 사전(Collins Dictionary)에서 올해의 단어로 선정되었다.

3.2. 컴퓨터 사용 에이전트의 인기

2025년 11월, 오스트리아 출신의 유명 개발자 피터 스타인버거(Peter Steinberger)가 Claude API를 활용해 컴퓨터 백그라운드에서 자율적으로 업무를 처리하는 개인용 지능형 에이전트 프로젝트인 ClawdBot을 시작했다. 이것이 지금의 OpenClaw가 된 것. 이전에는 opt-out 으로 존재하던 컴퓨터 활용 권한을 최대로 opt-in 했을 때 얻을 수 있는 이점에 대해 사용자들이 대규모 바이럴이 일어남. 깃허브에서 OpenClaw가 단숨에 34만 개 이상의 스타(Star)를 받으며 메가 히트를 기록했다.

2026년 2월 14일, OpenAI의 CEO 샘 알트만(Sam Altman)은 OpenClaw의 창시자 피터 스타인버거가 OpenAI에 차세대 개인용 에이전트 개발 총괄로 합류 시켰으며, OpenAI 에서 Claude 의 MCP 표준을 채택하고, Computer Use의 개념을 고도화 하기 시작했다. Codex 제품의 대대적인 홍보와 바이럴이 발생했다. 한편 이 시점 Claude 가 1M Context를 앞세워 Opus, Mythos, Fable 모델 등을 출시하며 Open Ai 모델과 출시 시점 기준으로 앞서거니 뒤서거니 경합을 벌이며, 기존 마이너한 유료 사용자들이 대거 구독 플랜을 업그레이드했다.

3.3. 멀티모달 및 장기 작업 능력의 발전

2026년 9월 초 최신 플래그십 모델인 'GPT-6 아스트라(Astra)'가 전격 출시했다. OpenAI가 대대적으로 강화된 Computer Use, 향상된 멀티모달 처리, 실시간 음성 지원 GPT-Live, 장기 추론(Long-running Inference)과 컨텍스트 압축(Context Compaction) 자동화 레이어 관리를 묶어 AGI 시대의 진입을 선언했다. 광고에서 보이던 홍보 케이스를 직접 적용해본 이전 단계의 Pro 플랜 유저들의 증언이 이어지며, 실제로는 그보다 더 한 케이스도 속속 보고 되는 중. 특히 광고에 등장한 무료 툴인 블렌더 대신, 유료 툴에 Astra를 접목해본 유저들이 마우스에서 손을 놓고 속속들이 에이전트에 오체투지 하고 있다. 또한 예제로 공개된 초파리 뇌 지도 때문에 뜬금없이 디지털 초파리 밈이 확산하고 있다.

4. 에이전트 유형

밑에 내용을 보면 알겠지만, 스타트업부터 빅테크들이 모조리 총출동해서 모든 틈새를 파고들어 컴퓨터 사용 AI 에이전트를 내놓고 있다는 걸 알 수 있다. 그만큼 현시점 AI시장에서 컴퓨터 사용 AI 가 대세이다.

대표 제품에는 각 사업자의 대표 제품의 인지도를 기준으로 정리해놓았다. 참고로 각 제품별로 서로 다른 형태의 인터페이스를 통합해서 제공하기도 한다. 특정 작동 환경에 스스로 묶이고 싶은 사업자는 없기 때문에, 처음 시작한 주 형태를 기반으로 해서 점차 다른 인터페이스도 어떤식으로든 연계하는 방향으로 서비스를 확장하는 양상이 언급된 모든 서비스들에 공통적으로 보인다.

여기서 현시점 가장 중요한 유형은 CLI, 데스크톱앱, 클라우드 형 이다.

4.1. CLI·터미널형

흔히들 '까만 창'이라고 하는 커맨드 입력용 터미널에서 프로그램을 구동한 뒤, 별도의 인터페이스를 열지 않고 까만창에서 그대로 자연어로 작업을 지시하면 에이전트가 파일을 읽고 수정하거나 명령어를 실행하고, 실행 결과를 확인하면서 작업을 반복하는 형태이다.

대표 제품으로는 Claude Code CLI가 가장 유명하다. 물론 다른 회사도 모두 CLI가 제공된다.

이 CLI 인터페이스는 겉에 보이지 않더라도, 다른 유형의 컴퓨터 사용 AI 서비스들의 기반이 되는 경우가 많다. PID를 추적해보면 백그라운드에서 CLI 인터페이스가 같이 실행되고 있다. 오픈 소스 컴퓨터 사용 AI의 초기 붐을 이끈 OpenClaw 도 이 CLI 유형의 에이전트 였다.

윈도우가 처음 나왔을 때, DOS 사용자들이 컴퓨터 GUI 뉴비들 에게 우스갯소리로 하던 말이 있다. "커맨드를 지배하는 자가 컴퓨터를 지배한다. 진정한 고수는 마우스 없이도 모든 컴퓨터 제어를 할 수 있다." 이것을 기억하자. CLI 터미널에서 동작하는 에이전트(런타임)가 딱 그 역할을 한다.

4.2. 데스크톱 앱형

PC에 설치한 독립적인 GUI 프로그램에서 에이전트에게 작업을 지시하는 형태이다. 파일, 터미널, 브라우저 등 로컬 컴퓨터의 기능과 연동하기 쉽고 여러 작업의 진행 상황을 시각적으로 관리할 수 있다. 현 시점에서 컴퓨터 사용 에이전트 중에 가장 대중화된 유형이다.
대표적으로는 OpenAI Codex 와 Claude Desktop, Google의 Antigravity 등이 있다.

4.3. 웹 앱·브라우저형

이 유형에는 두가지 유형이 있는데, 첫째는 웹 브라우저의 채팅 인터페이스에서 작업을 지시하고, 서버 측의 Tool과 실행 환경을 이용해 여러 단계의 작업을 서버에서 내장 인터프리터등을 이용하여 수행하는 형태이다. 별도 설치가 필요하지 않아 접근성이 높다. 이것은 초창기 유형이라고 할 수 있다. 한편 이 유형은 실행 환경인 브라우저 자체가 Computer Use측면에서 보안상 제한이 많이 있어 한계가 있다. 실행 가능한 범위를 넘는 행동이 필요한 경우 유저에게 직접 커맨드를 실행하라고 시키고, 그 응답을 다시 알려달라는 형태의 행동을 한다. 때문에 Human In The Loop 가 강제되어 과업 달성이 다른 유형의 에이전트에 비해 매우 느리다. 그래서 점차 다른 유형에게 자리를 내주며 퇴역하고 있는 유형이다.

두 번째 유형은 브라우저 자체를 Browser Use 기능 위주로 내장한 Computer Use App 화 하여 배포하는 케이스이다. 대표적으로는 Google Chrome이 Gemini를 탑재하는 옆그레이드를 통해 서비스 하기 시작하였으며, 스타트업 중에서는 Aside 가 크로미엄 브라우저를 기반으로 한 자체 브라우저를 개발하여 배포하고 있다.

4.4. 검색·서비스 통합형

검색 엔진이나 기존 업무 서비스 자체에 에이전트 기능이 통합된 형태이다. 검색, 이메일, 문서 등 기존 서비스의 데이터와 기능을 직접 활용할 수 있다.
대표 제품으로는 Google Search AI Mode 을 볼 수 있다. 이 제품은 비용을 지불하지 않는 불특정 다수를 대상으로 서비스하는 특징(돈은 내지 않지만 트래픽은 많은)이 있어서 인지, 전성비가 떨어지는 엔비디아의 범용 GPU를 사용하지 않고 TPU 라고 부르는 독자 하드웨어를 통해 서비스 하고 있다.
그래서 다른 유형보다 일반적으로 토큰 응답이 더 빠르고 최신 정보가 빠르게 업데이트 된 내용을 보여주는 특징이 있다. 대신 다른 유료 서비스 보다 답변 내용에 문제가 좀 더 많다.

4.5. IDE 통합형

개발자가 사용하는 IDE 안에서 프로젝트의 코드를 읽고 수정하며, 빌드나 테스트까지 실행하는 형태이다. 단순 코드 자동완성을 넘어 하나의 개발 작업을 여러 단계에 걸쳐 수행한다. 예전에는 IDE 에서 컴퓨터를 다룰 수 있는 코드를 빌드 한 뒤에 이를 실행하고 결과를 조회하는 방식으로 작동 하였으나, 요즘에는 IDE형과 백그라운드 CLI 터미널을 통해 좀더 직접적으로 명령과 결과를 받는 것을 병행한다.
대표 제품 으로는 GitHub Copilot, Cursor가 있다.

4.6. 클라우드 에이전트형

사용자의 PC가 아닌 클라우드상의 독립된 실행 환경에서 에이전트가 작업하는 형태이다. 특징은 사용자의 컴퓨터가 꺼져 있어도 장시간 작업이나 여러 작업의 병렬 실행을 계속할 수 있다. 이게 마케팅 포인트인지 이 클라우드형 제품의 묘사에는 '당신의 PC 전원이 꺼져도 계속 실행된다' 는 문구가 빠지지 않는다는 특징이 있다.

다른 제품들은 로컬 환경에서 시작 → 사용자 설정 혹은 요청 시 클라우드로 승격을 하지만, 에이전트형은 먼저 클라우드에 가상 컴퓨터로 에이전트 생성 → 사용자 요청 혹은 로컬 작업 필요시 별도 런타임으로 로컬 CLI를 내리는 동작을 하는 모습을 볼 수 있다.

대표 제품으로는 Xai의 Grok bot 이 전면적인 클라우드 형태로 서비스 하는 제품이다. 먼저 전면에 나오기는 했는데 광고를 많이 하는 것 외에는 이렇다할 게 없던 차에 후속하여 공개된 메타의 muse 도 클라우드 형태로 서비스를 진행한다는 사실이 밝혀졌다. 뮤즈는 결제 작업 처리까지 서비스 범위 안에 넣어 소비자의 경제 활동(financial use) 까지도 지원한다는 특징이 바이럴 되고 있다. 이 뮤즈의 경우에는 업무가 아니라 개인화된 쇼핑에 컴퓨터 사용이 많은 주부들의 마음을 파고든 점이 주효 했다고 보인다.

경제 활동 지원 서비스 측면에서 클라우드형 에이전트가 의미가 있을 수 있는게, 이용자들이 채팅을 시작할 때 만들어지는 클라우드 컴퓨터에 수준급의 보안 기준을 만족한, 그리고 균일한 사양의 컴퓨터를 채팅마다 복사해서 바로 오픈해줄 수 있기 때문에 보안 리스크 관리가 쉬워지는 장점이 있다.

대신 결제 서비스를 연동하려면 각 나라의 결제 서비스를 지원하는 사업자들(카드사들 이라던가 PG사들)과의 연동 절차가 필수적으로 수반되기 때문에 각 나라별 설정이 필요한 관계로, 뮤즈는 미국 먼저 시작하고 아직 한국에는 출시되지 못했다.

4.7. 운영체제 내장 에이전트형

사용자가 운영체제를 설치할 때, 번들 형태의 앱이 딸려 와서 PC에 설치되는 에이전트이다. 기본적으로는 Desktop app 형 에이전트와 유사하나, 운영체제에 내장된 에이전트 답게 인터페이스가 작업표시줄에 내장 하던가, 시작 메뉴에 내장 하는 식으로 다른 App 의 범주 외에도 좀 더 확장된 인터페이스를 갖는 것이 특징이다.
대표 제품으로는 Microsoft 의 Cotana 가 있다. NPU 라는 부가 연산칩을 사용하기도 하는데... 아직은 빅테크에 견줄만한 괄목할만한 성과는 보여주진 못했고, 기존 Microsoft 365와 계약된 엔터프라이즈 고객들을 중심으로 그냥 office 쓰는 김에 딸려오는 Copilot이 더 유명하다.

5. 한계

LLM의 멀티모달 능력이나 컴퓨터 공학 지식이 부족한 경우 Computer Use 기능은 오히려 사람이 컴퓨터를 조작하는 것보다 더 못한 결과를 보여줄 수 있다. Computer Use는 똑똑한 만큼 비싼 AI를 써야 한다는 점과 더불어서 GUI 기반 작업을 할 경우 이미지나 동영상을 첨부해야 하기 때문에 비용이 많이 든다.

프론티어 제품을 쓰고자 하는 경우, GPT Codex 기준으로는 기본 요금제의 경우에는 한 두번의 Computer Use 정도를 5시간마다 처리 가능한 수준이며, 쓸만한 작업을 이어서 진행하려면 최소한 월 $100 요금제인 Pro 5x 요금제를 사용해야 어느 정도 결과까지 볼 수 있다.

비용적인 측면에서 대안으로 로컬 LLM을 쓰는 경우에는 파라메터 크기가 수천배 작은 모델을 사용하게 되기 때문에 복잡한 작업이나, 정교함을 기대하기가 어렵다. 뿐만 아니라 프롬프트 해킹으로 인해 LLM을 익스플로잇이 가능한 상황이 되면 Computer Use는 오히려 독이 될 수 있다. 따라서 이를 이용한 서비스를 만들 경우 RAG 파이프라인에 쓰이는 Computer Use의 범위를 제한해야 하고 Computer Use와 연동하는 도구의 권한 범위도 최소한으로 주어져야 한다.

6. 관련 모델

엄밀히 말하면 Computer Use는 CLI 만을 대상으로도 지칭이 가능한 개념이지만, 실제로는 Linux 서버를 다루는 개발자가 아닌 이상에야 CLI만으로 입력이 가능한 터미널 전용 OS 는 거의 사용하지 않는다. 대부분의 사람은 Desktop GUI 가 있는 OS 를 쓰기 마련이고, 이 GUI를 다루려면 기본적으로 멀티모달 모델이 쓰여야 한다. 또한, 가급적이면 Computer Use 대응 모델을 쓰는 것이 좋다. Computer Use는 장기 작업인 만큼 중간 토큰에 대한 의존도가 낮고 토큰 효율이 좋은 모델을 써야 한다.

7. 여담

8. 관련 문서