아스트라 컴퓨터유즈, 사무국에서 쓸 곳
결론: 아마란스에서 셀렉터가 없어 Playwright가 막힌 구간(지출결의서 RealGrid, 카드 코드헬프, 뷰어 PC저장, 게시판)과 외부 포털 파일 회수에 쓰는 것이 가장 값이 높습니다. 단, 예약 무인 실행은 공식적으로 막혀 있어 HC가 옆에 있는 반자동 작업에만 씁니다. 첫 파일럿은 위험 0인 자체 웹앱 QA로 토큰 소모를 실측한 뒤, 10월 지출결의서 임시저장 dry-run으로 넘어가길 권합니다.
1. 추천 업무 6가지 (우선순위순)
| 업무 | 왜 컴퓨터유즈인가 (HC 맥락) | 근거 사례 | 지킬 것 |
|---|---|---|---|
| ① 지출결의서 초안 → 임시저장 아마란스 NCA0020 | RealGrid가 canvas라 셀렉터가 없고, corp-card-draft 스킬은 미검증 초안. "화면 보고 누르기"가 셀렉터 부재를 정면으로 우회. 첫 실행이 10월 회차·HC 입회 dry-run으로 이미 잡혀 있어 그대로 비교 실험 가능 | Graebel(API 없는 사내 플랫폼 화면 입력, 운영 중) · 제논×한국중부발전(닥스웨이브 경비 상신 시연) | 상신·결재 금지. 임시저장까지만. 상신 버튼이 임시저장 바로 옆 |
| ② 아마란스 조회형 잡무 코드헬프 팝업 · 가상스크롤 그리드 · 뷰어 PC저장 | 카드 코드헬프=canvas 더블클릭, 그리드=DOM 13행만 노출, 뷰어=메뉴 2단 개편으로 좌표 6클릭 전부 빗나간 이력. 이런 "DOM으론 못 읽는" 지점에 1회성 조회·다운로드로 투입 | Unify(API로 못 얻는 정보 화면 수집) · Anthropic 사내(경비 처리) | 아침 로그인 금지(출근 기록). 조회·다운로드만 |
| ③ 외부 포털 파일 회수 U+ 청구서 재발행 · 카드사 포털 · 드림메이커스 Drive | 포털마다 화면이 달라 스크립트를 계속 고쳐야 하는 구간. 통신비는 매월 8~15일 HC가 상신하러 붙어 있으니 반자동이 자연스러움. 현재 Playwright+CDP는 모니터 꺼짐에 취약 | Qonto×Twin(공급사 사이트 로그인→인보이스 PDF 회수, 50만 고객 제공) | 로그인·본인인증은 HC. 결제·제출 금지 |
| ④ 그룹웨어 게시판·웹메일 읽기 모여락 등 | wehago-sign HMAC 때문에 API 직접호출이 401. "UI를 클릭해 앱이 요청하게" 방식이 정답으로 굳었는데, Aside 자연어 위임은 20분 침묵실패. 로그인된 크롬을 그대로 쓰는 방식이 맞음 | OpenAI 문서: 크롬 확장 = 기존 로그인 세션 사용 | 댓글·좋아요·폼 제출 금지. 읽기만 |
| ⑤ 자체 웹앱 QA pumui 웹앱 · 예산 앱 · 장하세 대시보드 · tunnels | 실패해도 피해 0, 결과 검증 쉬움. 첫 파일럿으로 최적: 토큰 소모 속도·오클릭 빈도를 실측하는 용도 | Google 사내 UI 테스트 · Anthropic 사내 웹 기능 테스트 | 제약 없음 |
| ⑥ (후순위) 한글 HWP 회의록 gram | 맥 컴퓨터유즈로는 원격 윈도우에 못 닿음. Windows용 컴퓨터유즈(2026-05 출시)를 gram의 ChatGPT 앱에서 켜면 가능하나 활성 데스크톱 필요·HWP 지원 확인 안 됨. 현재 pyhwpx+schtasks가 동작하므로 급하지 않음 | 공식 사례 없음 | 실험 단계 |
2. 쓰지 말 곳
- 무인 스케줄 실행 — OpenAI 문서: 예약작업(automations)은 컴퓨터유즈·브라우저를 쓸 수 없음. 출퇴근·카톡 수집·결재 배치검토는 지금대로 Playwright/AX/API 유지.
- 상신·결재·삭제·결제 — 전역 원칙 그대로. 문서도 "정보 제출·구매·권한 변경·삭제 전 확인 강제".
- 급여·인사·통화녹음 등 민감 화면 — 스크린샷이 OpenAI 서버로 올라가는 구조. 개인 급여는 맥 로컬 전용 원칙과 충돌.
- PDF·엑셀 대량 입력 — 검증된 실사례 0건. 장기 과제 벤치마크(OSWorld 2.0)에서 최고 시스템 완주율 20.6%, 과제당 도구 호출 평균 318회. 비용·안정성 모두 불리.
3. 파일럿 순서 (권고)
- 이번 주 ⑤ 자체 웹앱 QA 1건. 측정: 소요 시간·토큰·오클릭 수. 실행 홈은
~/.codex(happy 계정)만 배선됨 → 주간 한도(9/15 리셋)만 있는 계정이라 소모량 먼저 확인. - 다음 주 ②·④ 조회형 1건(게시판 읽기 또는 뷰어 PC저장). 오후 시간대, 읽기만.
- 10월 초 ① 지출결의서 임시저장 dry-run, HC 입회. corp-card-draft 스킬과 결과 비교 후 어느 쪽을 정식 경로로 삼을지 결정.
OpenAI 권고와 동일: "관리 기기의 소수 그룹 + 승인된 한 개 작업"으로 시작.
4. 알아둘 사실
HC 환경
- 컴퓨터유즈 배선은
~/.codex홈만. 터미널 별칭 홈 3개(ccfd·term·217)는 플러그인만 켜져 있고 런타임 미배선. - 노출 도구는
cua_repl의js하나, 그 안에서cua.*API로 크롬·앱 조작. 크롬 제어를 컴퓨터유즈보다 우선하라고 설정에 명시. - 09-08 Codex 세션의 "터미널에서도 가능" 답변은 자기 보고. 그 로그에 컴퓨터유즈 도구 호출은 0건.
- AIVault 저장 자료(09-07 에이전트 코리아): "토큰 녹는 속도", "시스템 파일 삭제 위험" 경고 2건.
공식 한계
- 터미널 앱·ChatGPT 자체 조작 불가, 관리자 인증·OS 권한 프롬프트 승인 불가.
- 내장 브라우저는 파일 업로드 자동화 불가. 클라우드 브라우저는 결제 불가.
- 크롬 확장 동작의 완전 감사기록을 OpenAI가 별도 저장하지 않음.
- 프롬프트 인젝션: Anthropic도 완화 후 1% 성공률을 "유의미한 위험"으로 명시. 로그인된 브라우저를 맡기면 그 계정 권한이 그대로 노출.
- 한국 지역 공식 지원·HWP·아마란스 동작 여부: 문서상 확인 안 됨(HC 환경에서 동작하므로 실무상 가능).
별첨. 실사례 출처
| 사례 | 업무 | 결과 | 출처 |
|---|---|---|---|
| Graebel (2026-05) | API 없는 자사 플랫폼 화면에 서비스오더 입력, Copilot Studio computer use | 운영 중, 30+ 범주 확장 설계. 수치 없음 | Microsoft Adoption |
| Qonto × Twin (2025-03) | 공급사 사이트 로그인→인보이스 PDF 회수·첨부, OpenAI CUA | 유럽 SMB 50만+ 제공 | TechCrunch 미러 |
| Unify (2025) | API로 못 얻는 정보를 화면에서 수집 | 파이프라인의 30% 생성 | openai.com |
| Anthropic 사내 (2025-08) | 일정·메일 초안·경비 처리·웹 기능 테스트, Claude for Chrome | 수치 없음 | anthropic.com |
| Google 사내 (2025-10) | UI 테스트 자동화, Gemini Computer Use | 외부 테스터 최대 50% 단축 | blog.google |
| 제논 × 한국중부발전 (2025-11) | 전자결재 닥스웨이브 경비 상신 자동 수행(시연) | 상용화 과제 진행 중, 국내 유일 근접 사례 | 디지털데일리 |
| Luminai (2025-03) | 레거시 시스템 신청 처리·등록 자동화, OpenAI CUA | 기관명·수치 미공개 | openai.com |
| Thomson Reuters (2026) | 엑셀 설문→보고 초안, Claude Cowork 내장 브라우저 | 파일럿 | claude.com |
| OSWorld 2.0 (2026-07) | 장기 과제 벤치마크 | 최고 시스템 완주 20.6%, 호출 318회/과제 | arXiv |
| OpenAI 공식 문서 | Computer Use · Browser · Automations · 보안 | — | computer-use · automations · browser · local-security |
제외: DXC(Claude API 통합이며 컴퓨터유즈 아님) · Basis(GUI 조작 여부 미확인) · Skyvern 등 벤더 로고 목록(실명 사례 없음). 국내 GUI 조작 에이전트 실명 도입 사례는 주요 매체 5곳 검색에서 0건.