자율적으로 업무를 처리하는 AI 터미널 TUI 대시보드와 기계식 키보드를 조작하는 개발자의 손

컴퓨터를 제어하는 AI 에이전트 — OpenClaw와 Claude Computer Use 실전 가이드

개발감자

키보드와 마우스를 직접 조작하며 반복적인 수작업을 대신 처리해주는 자율 실행형 AI 에이전트가 실용화 단계에 들어섰다. 이제는 메신저에 지시 한 줄만 남기면 AI가 브라우저를 켜고, 엑셀 파일을 내려받아 정리한 뒤 이메일로 발송하는 일까지 가능해졌다. 이 흐름의 중심에 있는 두 축이 오픈소스 프레임워크 OpenClaw와 Anthropic의 Claude Computer Use API다. 둘 다 1인 창업자가 행정 업무와 반복 프로세스에서 벗어나 핵심 비즈니스에 시간을 쓸 수 있도록 돕는다는 공통점이 있지만, 작동 방식과 적용 범위는 꽤 다르다.

나는 DP42를 운영하면서 “도구 소개만 모아 놓은 글”보다, 실제로 어떤 업무를 넘기고 어디서 깨졌는지가 더 필요하다고 느꼈다. 그래서 이 글은 기능 나열이 아니라, 혼자 제품을 만들며 행정·리서치·배포 알림을 에이전트에 맡길 때 겪은 선택 기준과 실패 패턴을 중심으로 정리했다.

이 글에서 다루는 핵심은 세 가지다.

  • 2026년 AI 에이전트 시장은 챗봇을 넘어 PC 환경을 직접 조작해 일하는 자율 실행형 도구(OpenClaw Claude Computer Use)가 자리를 넓혀가고 있다.
  • OpenClaw는 메신저 채널을 통해 명령을 전달하는 오픈소스 에이전트 프레임워크이고, Claude Computer Use는 API를 통해 가상 화면 좌표를 클릭·제어하는 화면 조작 기술이다.
  • 리서치, 이메일 자동 회신, 단순 회계 데이터 입력 같은 업무를 AI가 대행하면 1인 창업자의 잡무 소요 시간을 상당히 줄일 수 있다. 다만 “맡긴 뒤 방치”하면 비용과 보안 사고가 한꺼번에 온다.

왜 지금 1인 창업자가 이 조합을 보나

혼자 일하면 하루가 제품 작업과 잡무로 쉽게 쪼개진다. 고객 문의 정리, 경쟁사 뉴스 훑기, 정산 페이지 확인, 릴리즈 노트 초안 쓰기. 하나하나는 짧아도 하루에 모이면 두세 시간이 사라진다. 나는 처음엔 브라우저 매크로나 단순 스크립트로 버티다가, 화면이 바뀌거나 로그인 흐름이 꼬이면 매번 고치는 데 지쳤다.

그때부터 기준을 바꿨다. API로 깔끔하게 끝나는 일은 OpenClaw 쪽 스킬·스크립트에 맡기고, UI밖에 없는 관리자 화면은 Computer Use로 넘기되, 반드시 격리된 환경에서만 돌리기로 했다. “모든 걸 GUI 에이전트에 맡긴다”는 말은 멋있어 보이지만, 1인 창업 비용 구조에서는 토큰 폭탄과 오클릭 리스크가 더 먼저 온다.

OpenClaw: 메신저로 지시하는 상시 구동 에이전트

OpenClaw는 개발자와 창업자가 상시 작동하는 자율 비서를 구축할 수 있도록 돕는 오픈소스 개인용 AI 에이전트 프레임워크다. 내 기준으로 장점은 “텔레그램에 한 줄 남기고 끝”에 가깝다는 점이다. 노트북을 닫아도 VPS나 홈서버에서 계속 돌고, 결과가 같은 방으로 돌아온다.

동작 원리와 아키텍처

  • 상시 대기 구조: 로컬 개발 환경, 저렴한 VPS(가상 사설 서버), 혹은 홈서버로 쓰는 라즈베리 파이(Raspberry Pi)에 백그라운드로 구동시켜 두고, Telegram·Slack·Discord·WhatsApp 등 메신저 채널을 게이트웨이 삼아 소통한다.
  • 플러그형 스킬 시스템(Skills System): 특정 기능을 쓰기 위해 직접 코드를 짤 필요 없이, openclaw/agent-skills 저장소에서 공유되는 레시피를 가져다 붙이면 된다. ‘보도자료 요약 스킬’, ‘서버 헬스체크 알림 스킬’, ‘자동 이메일 스크래핑 스킬’ 등을 패키지 매니저로 손쉽게 추가할 수 있다.
  • 권한 경계: 메신저 방에 아무나 넣으면 그 순간 에이전트는 공개 API가 된다. 나는 개인 전용 방만 쓰고, 민감한 스킬은 별도 토큰·별도 머신으로 분리했다.

OpenClaw 셋업 3단계

로컬 혹은 VPS 리눅스 터미널에서 OpenClaw 코어 런타임을 구성하는 기본 빌드 절차는 다음과 같다.

# 1. 공식 리포지토리 복제 및 작업 폴더 진입
git clone https://github.com/openclaw/openclaw.git
cd openclaw

# 2. 프로젝트 패키지 의존성 글로벌 설치
pnpm install

# 3. 환경 변수 파일 복사 및 실행 설정 진행
cp .env.example .env
pnpm run setup

설정 파일(.env)에 Telegram API 토큰과 사용할 LLM의 API Key를 넣어주면, 에이전트가 지정된 메신저 방에서 한국어 명령을 받아 처리하기 시작한다. 처음엔 무료·저가 모델로 “오늘 할 일 3줄 요약” 같은 저위험 작업만 붙이고, 안정되면 검색·파일 전송 스킬을 하나씩 열어라. 한 번에 모든 스킬을 켜면 어디가 돈을 쓰는지 추적이 안 된다.

내가 OpenClaw에 먼저 맡긴 일 (체크리스트)

  • 매일 아침: 특정 키워드 뉴스·블로그 5건 요약 → 텔레그램 PDF
  • 서버 헬스체크 실패 시: 상태 코드와 최근 로그 꼬리만 붙여 알림
  • GitHub 릴리즈 태그 감지 → 릴리즈 노트 초안을 블로그 임시글로 저장
  • 주간: 고객 문의 스레드를 주제별로 묶어 우선순위 초안 작성 (최종 회신은 사람이)

공통 규칙은 하나다. 외부에 돈이 나가거나 계정이 바뀌는 동작은 항상 사람 승인 한 번을 끼운다. 에이전트는 “초안과 알림”까지, 나는 “보내기·결제·삭제”를 맡는다.

Claude Computer Use API: 화면을 보고 직접 조작한다

Anthropic이 내놓은 Claude Computer Use는 컴퓨터 화면의 스크린샷을 실시간으로 인식해 마우스 커서의 좌표를 계산하고, 클릭과 타이핑 동작을 가상 머신 위에서 직접 실행하는 API 기능이다. API가 없는 파트너 정산 페이지, 캡차는 없어도 UI만 있는 관리자 화면처럼 “사람 눈과 손”이 필요했던 자리가 여기로 온다.

동작 원리와 샌드박싱

  • 스크린샷 피드백 루프: 사용자가 명령을 내리면 Claude는 가상 디스플레이(Xvfb 등)의 스크린샷을 분석해 클릭하려는 버튼이나 파일 아이콘의 X, Y 좌표(예: x=512, y=384)를 계산하고, API 응답으로 마우스 동작을 지시한다.
  • 보안 샌드박싱이 필수인 이유: 마우스와 키보드를 직접 다루는 특성상 해킹, 오작동, 셸 명령어 탈취 같은 위험에 노출될 수 있다. 그래서 메인 시스템이 아닌 외부와 격리된 도커(Docker) 컨테이너 안에서 작동시키는 것이 전제 조건이다.
  • API 호출 파라미터: 개발자는 Anthropic Messages API 호출 시 computer-use-2025-11-24 같은 베타 버전을 헤더에 지정하고, 도구 명세(tools) 파라미터에 computer를 추가해 사용한다.

Computer Use를 켜기 전 최소 안전장치

  • 전용 VM/컨테이너만 사용한다. 개인 메일·은행·비밀번호 매니저 본체가 있는 머신에서는 돌리지 않는다.
  • 로그인 정보는 패스워드 매니저에서 일회성으로 주입하고, 세션이 끝나면 쿠키를 지운다.
  • 작업 스크립트에 “최대 스텝 수”와 “일일 예산(토큰/달러)” 상한을 넣는다.
  • 승인 버튼·이체·삭제처럼 되돌리기 어려운 클릭은 좌표 클릭 전에 사람에게 스크린샷을 보낸다.
  • UI가 자주 바뀌는 사이트는 셀렉터 기반 스크립트를 병행하거나, Computer Use를 월말 같은 저빈도 작업에만 쓴다.

권한 확인을 끄고 에이전트를 돌릴 때 생기는 프롬프트 인젝션이나 셸 인젝션 문제는 코딩 에이전트에서도 똑같이 반복된다. 에이전트별 YOLO 플래그와 격리 방법은 AI 코딩 에이전트 9종 총정리에 따로 모아 두었다.

두 도구, 어디에서 갈리는가

두 도구는 지향하는 작동 수준과 조작 대상 인터페이스에서 다음과 같이 구분된다. 나는 표의 한 줄로 기억한다. 파일·API·CLI면 OpenClaw, 사람용 화면뿐이면 Computer Use.

구분 항목 OpenClaw (오픈클로) Claude Computer Use (컴퓨터 유즈)
제어 방식 API, CLI 스크립트 실행, 파일 조작 중심 (터미널 중심) 시각적 스크린샷 기반 마우스 드래그, 클릭, 자판 키 입력 (GUI 중심)
상호작용 접점 Telegram, Slack 등 메신저 봇 대화 채널 로컬 CLI 터미널 환경 또는 API 연동 도커 가상 디스플레이
주요 위임 작업 주기적 보고서 요약, 서버 모니터링, 메시지 전파 특정 복잡 웹사이트 접속 후 데이터 스크래핑 및 ERP 정산 입력
구축 난이도 중간 (Node/pnpm 설정이 가능한 기획자 이상) 높음 (컨테이너 보안 및 VNC 가상 프레임 버퍼 통신 설정 엔지니어)
비용 체감 스킬·모델 호출 단위로 예측 가능 스크린샷 루프마다 토큰이 쌓여 예측이 어렵다

실제 업무에 적용하면 어떤 그림이 나올까

1인 기업가와 인디 개발자가 이 조합을 실제로 활용할 수 있는 장면은 이렇다. 아래는 내가 돌려본 흐름을 기준으로 적었다.

새벽에도 돌아가는 리서치: 시장·뉴스 자동 요약

사용자가 Telegram 방에 “오늘 AI 검색 최적화(GEO) 관련 최신 영문 아티클 중 흥미로운 것 5개만 골라 한글로 간략히 핵심 요약 보고서로 써서 PDF 파일로 줘”라고 요청하면, OpenClaw가 명령을 인식해 내부 검색 스킬 모듈을 작동시킨다. Perplexity나 Google 검색 API로 데이터를 모아 AI로 요약한 뒤, 마크다운 문서를 PDF로 빌드해 텔레그램 파일 전송 API로 회신한다.

여기서 실패했던 지점은 “흥미로운 것”처럼 모호한 기준이었다. 에이전트가 클릭베이트만 골라오거나, 같은 주제를 다른 매체로 다섯 번 반복했다. 이후 프롬프트를 “지난 48시간, 원문 링크 필수, 중복 도메인 제외, 각 항목에 한 줄 반박 포인트”로 고정하니 아침 브리핑 품질이 안정됐다.

캡차 없는 관리 사이트: 반복 행정 정산 대행

매월 말일, 파트너 정산용 관리 사이트에 일일이 로그인해 매출 금액을 검토하고 정산 버튼을 누르는 단순 작업이 반복된다. 격리된 가상 머신에 띄운 Claude Computer Use 에이전트가 크롬 브라우저를 실행해 지정된 로그인 페이지로 이동하고, 패스워드 매니저에서 가져온 비밀번호로 접속한다. 이어 테이블 형태의 정산 금액을 엑셀로 내려받아 대표가 가진 대조 데이터와 일치하는지 확인한 뒤, 일치하면 ‘지급 승인’ 버튼의 좌표를 인식해 마우스로 클릭 처리한다.

나는 승인 클릭 직전에 반드시 텔레그램으로 스크린샷과 금액 요약을 받게 바꿨다. 한번은 UI 문구가 “임시 저장”과 “최종 승인”으로 나뉘어 있었는데, 에이전트가 비슷한 위치의 버튼을 먼저 누를 뻔했다. GUI 자동화는 “거의 맞음”이 가장 위험하다.

깃허브 모니터링과 릴리즈 노트 초안 작성

오픈소스로 관리하는 GitHub 레포지토리에 주요 업데이트 커밋이 발생하면, 릴리즈 태그 정보를 파악해 정리하고 홍보용 뉴스레터 초안을 작성하는 작업이다. OpenClaw가 웹훅으로 레포지토리 알림을 실시간 감지해 변경된 코드를 분석하고, 요약된 릴리즈 노트 초안을 자동으로 작성해 블로그 임시저장 글로 올린 뒤, 텔레그램 방에 “초안 생성이 완료되었습니다”라고 확인 노티를 보낸다.

주의할 점은 초안을 바로 공개하면 안 된다는 것이다. AI가 커밋 메시지를 과장하거나, 아직 문서화하지 않은 내부 API를 외부 문장으로 쓸 수 있다. 내 루틴은 “임시저장 → 내가 10분 검수 → 발행”이다.

실패 모드: 내가 돈과 시간을 날린 지점

도구 소개만 보면 장밋빛인데, 혼자 운영하면 아래가 더 자주 온다.

  • 토큰 루프: Computer Use가 같은 화면을 반복 캡처하며 목표를 못 찾고 비용만 쌓는다. 스텝 상한과 타임아웃이 없으면 새벽에 청구서가 먼저 온다.
  • 권한 과다: 에이전트 계정에 관리자 권한을 그대로 주면, 잘못된 클릭 한 번이 설정 전체로 번진다. 읽기 전용·작업 전용 계정을 따로 만든다.
  • UI 변경: 버튼 문구·위치가 바뀌면 좌표 기반 흐름이 조용히 틀린다. “성공처럼 보이는 실패”가 난다. 금액·파일 해시 같은 결과값으로 검증하라.
  • 비밀키 유출: .env를 홈서버에 평문으로 두고 포트까지 열어두면, 에이전트가 아니라 서버가 공격 표면이 된다.
  • 사람 검수 생략: 자동 회신·자동 승인을 켜 두면 단기 편하지만, 브랜드와 현금 흐름을 한 번에 망가뜨릴 수 있다.

14일 도입 로드맵 (혼자 해도 무리 없는 선)

  1. 1~2일: OpenClaw를 개인 텔레그램 방에만 연결. 할 일 요약·링크 저장만.
  2. 3~5일: 검색·요약 스킬 추가. 매일 같은 시각에 브리핑 PDF.
  3. 6~8일: 서버 알림·GitHub 웹훅. 알림 피로가 느껴지면 조건을 좁힌다.
  4. 9~11일: Computer Use 데모를 Docker로만 띄워 “클릭이 되는지” 확인. 실제 계정은 아직 넣지 않는다.
  5. 12~14일: 저위험 GUI 작업 하나(예: 리포트 다운로드)만 연결하고, 승인 게이트를 켠다.

이 순서를 건너뛰고 처음부터 정산 승인에 Computer Use를 붙이면, 대부분 보안 사고나 비용 사고로 끝난다. 나는 두 번째 주에야 겨우 “다운로드까지”를 자동화했고, 승인은 여전히 내가 누른다.

자주 묻는 질문

Q. OpenClaw만으로 충분하지 않나?
API·파일·CLI로 끝나는 업무면 충분하다. 다만 파트너사가 사람용 웹 UI만 주는 경우는 Computer Use나 전통적 RPA가 남는다.

Q. Computer Use 비용은 어떻게 보나?
작업당 예상 스텝 수 × 스크린샷 횟수로 상한을 잡고, 일 예산을 달러 단위로 끊는다. “될 때까지” 루프는 금지다.

Q. 로컬 PC에 그냥 돌리면 안 되나?
데모는 가능하다. 운영은 비추천이다. 실수 한 번이 로컬 파일·브라우저 세션 전부로 번진다.

Q. 코딩 에이전트(Claude Code 등)와 뭐가 다른가?
코딩 에이전트는 저장소와 터미널이 주 전장이다. 이 글의 조합은 “업무 OS”—메신저 지시와 GUI 클릭—에 가깝다. 둘을 섞어 쓰되, 권한 경계를 나누는 편이 안전하다.

Q. 한국어 지시가 잘 되나?
OpenClaw는 메신저에서 한국어로 충분하다. Computer Use는 UI 라벨이 영어인 사이트에서 더 안정적인 편이라, 지시문에 버튼 문구를 영어 그대로 적어 주는 편이 낫다.

정리하며

OpenClaw Claude Computer Use 조합은 1인 창업을 지탱하는 인프라의 모습을 바꿔놓고 있다. 대표가 혼자 밤새워 행정 작업을 처리할 필요 없이, 시스템 아키텍처를 설계해 두고 AI 에이전트들에게 적절한 권한을 부여한 뒤 매일의 최종 결정과 승인만 맡는 역할로 옮겨가는 것이다.

보안과 비용이라는 장벽을 격리 환경 구축으로 해결한다면, 이전보다 적은 운영 리소스로도 더 큰 규모의 시스템을 운영할 수 있는 발판이 될 것이다. 다만 발판이지 만능은 아니다. 나는 지금도 “초안은 에이전트, 결정은 나”라는 한 줄을 작업 문서 맨 위에 붙여 둔다.

데스크톱 전체가 아니라 로그인된 브라우저 안에서만 일을 맡기고 싶다면 범위가 좁은 AI 브라우저가 더 맞을 수 있다. 그 차이는 Aside vs Dia 비교에 적었다. 반대로 에이전트가 내 서비스의 DB나 고객 데이터에 직접 붙어야 한다면, 화면을 조작하게 하기보다 MCP 서버로 권한을 잘게 나눠 여는 편이 안전하다. 그 구조는 1인 개발자를 위한 MCP 도입 실전 가이드에서 다뤘다.

바로 시작해볼 것들

  • OpenClaw 공식 깃허브 레포지토리에 방문해 코드를 읽어보고 스타(Star)를 눌러 등록해 둔다.
  • 로컬 리눅스 개발 환경에서 터미널을 열고 git clone https://github.com/openclaw/openclaw.git && pnpm install을 실행해 빌드 환경을 가동해본다.
  • Anthropic Cookbook에서 computer-use-demo Docker 셋업 가이드를 내려받아, 가상 머신에서 브라우저 자동 마우스 이동이 어떻게 구현되는지 데모 코드로 확인해본다.
  • 오늘 당장: 텔레그램 개인 방에 “요약만 하는” 봇을 하나 붙이고, 48시간 동안 비용·오탐·알림 피로를 기록해 본다. 그 기록이 다음 자동화 범위의 설계도가 된다.