Why OpenAI Is Racing to Make Computer Use Superhuman

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Why OpenAI Is Racing to Make Computer Use Superhuman를 중심으로, 컴퓨터 사용은 기존 소프트웨어를 연결하는 범용 실행 수단이다. 별도 API나 MCP 도구가 없어도 화면을 조작할 수 있어, 조달·를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. 컴퓨터 사용은 기존 소프트웨어를 연결하는 범용 실행 수단이다. 별도 API나 MCP 도구가 없어도 화면을 조작할 수 있어, 조달·재무·영업의 여러 시스템에 흩어진 반복 업무를 자동화할 수 있다.
2. 속도는 위임 여부를 결정하는 핵심 조건이다. 직접 처리하는 편이 더 쉽다고 느끼면 위임의 가치가 줄어든다. Astra의 처리 속도와 신뢰성이 개선됐다는 평가를 바탕으로, 숙련자보다 빠른 조작이 위임을 기본 선택으로 바꿀 수 있다는 전망이 나온다.
3. 실행이 빨라질수록 승인과 감사 체계가 중요해진다. 사람이 모든 행동을 지켜보기 어려워지므로, 행동별 승인 조건과 샌드박스 접근 제한, 실행 기록을 함께 설계해야 한다. Guardian 같은 별도 모델의 행동 검토도 통제 수단으로 제시된다.
4. 기업과 개인의 도입 경로는 다르다. 기업에는 레거시 업무를 조직에 도입하는 수요가 이미 있으며, 개인에게는 일정 누락 탐지와 번거로운 작업 처리, 맞춤형 소프트웨어 같은 활용이 제시된다. 클라우드는 모바일 사용자에게 컴퓨터 사용을 확장할 다음 전환점으로 거론된다.
5. 에이전트가 실행을 맡아도 UI와 제품 설계의 가치는 남는다. 사람은 목표를 정하고 결과와 지급 이유를 확인하며 필요한 순간에 개입해야 한다. 환경 간 로그인·탭 상태의 일관성, 알림 요약, 에이전트 간 맥락 공유가 사용 경험을 좌우한다.

🧩 배경과 문제 정의

• 컴퓨터 사용 에이전트는 사람이 쓰는 화면과 조작 방식을 통해 업무를 수행한다. 별도 API나 MCP 도구가 없는 레거시 소프트웨어까지 자동화할 수 있다는 점이 핵심이다.
• 모델의 속도·비용·신뢰성이 개선되면서 반복 업무를 위임할 가능성이 커지고 있다. 다만 민감한 작업에서는 의도하지 않은 행동을 막고, 사람의 승인과 사후 감사를 보장해야 한다.
• 활용 범위는 기업의 조달·재무·영업 업무부터 개인의 일정 관리와 맞춤형 소프트웨어까지 이어진다. 기존 업무의 자동화와 새로운 소프트웨어 사용 방식이 함께 논의된다.

🕒 시간순 섹션별 상세정리

1. Astra의 개선점은 속도·창작 능력·신뢰성에 있다

• Astra는 같은 작업에 필요한 추론 토큰을 줄여 평균 처리 속도를 높였다는 체감 평가를 받는다. Microsoft Paint에서 그림을 그리는 능력도 개선됐으며, 다른 창작 작업으로도 효과가 이어질 가능성이 제기된다. [01:43]
• 신뢰성 개선은 작은 차이처럼 보여도 실제 위임 경험에 큰 영향을 준다. 99%와 97%의 대비는 이런 차이를 설명하는 예시이며, Astra의 실제 신뢰성을 측정한 수치로 제시되지는 않는다. [02:09]

2. 기업은 레거시 업무를, 소비자는 새로운 활용 방식을 찾는다

• 소비자 제품에서는 더 빠르고 좋은 모델로 이전에 어려웠던 경험을 만드는 데 초점을 둔다. 기업에서는 MCP 도구가 없고 오랫동안 사용해 온 소프트웨어를 다루는 수요가 이미 뚜렷하며, 복잡한 사용법을 모델에 가르치는 스킬도 활용된다. [03:57]
• 기업은 이미 가능한 기능을 조직에 도입하는 방법을 찾는 단계에 가깝고, 소비자 영역은 새로운 사용 사례를 탐색하는 성격이 강하다. 개인에게는 번거로운 일상 업무를 맡겨 시간을 확보하는 가치가 크다. [04:46]

3. 선제적 에이전트는 누락된 일정과 비정형 피드백을 처리한다

• 외부 초대 이메일이 일정에 자동 반영되지 않는 환경에서 dots는 받은편지함과 캘린더의 불일치를 찾아낸다. Gmail에서 초대를 수락할지 물어 누락된 회의를 챙기는 방식이다. [06:19]
• 일정한 간격으로 Slack 내용을 가져오는 자동화는 유용하지 않은 알림까지 쌓여 무시하게 될 수 있다. dots에는 보고 체계에 속한 사람의 발언이나 중요한 제품 피드백을 판단해 알려 달라는 상위 목표를 줄 수 있다. [06:53]

4. 숙련자보다 빠른 조작이 위임의 기본값을 바꿀 수 있다

• 백그라운드 작업은 처리 시간이 길어도 다른 일을 할 수 있지만, 실행을 지켜보거나 다음 단계가 완료를 기다리는 상황에서는 속도가 중요하다. 직접 처리하는 편이 더 쉽겠다는 느낌이 들면 위임의 가치가 줄어든다. [08:33]
• 컴퓨터 사용 속도가 평균적인 사람을 넘어섰으며 숙련된 사용자보다 빨라지는 수준에도 가까워졌다는 평가다. 이 단계에 도달하면 수동으로 하던 일을 에이전트에 맡기는 것이 기본 선택이 될 수 있다고 전망한다. [09:03]

5. 실행 속도가 빨라질수록 승인과 감사 통제가 중요해진다

• 모델이 느릴 때는 사람이 행동을 지켜볼 수 있지만 효율이 떨어진다. 사람이 모든 행동을 관찰하기 어려울 만큼 빨라지면, 안전성·자율성·속도 사이에서 사람의 개입 수준과 감사 가능성을 조절해야 한다. [10:01]
• 기업용 제어 기능은 어떤 행동을 자동으로 통과시키고 어떤 행동에 승인을 요구할지 선택하도록 한다. Guardian 또는 앱의 자동 승인 기능은 별도 모델이 에이전트의 각 행동을 살펴 안전성과 사용자 의도에 부합하는지를 판단하는 방식이다. [10:39]

6. 공개 웹에서는 광고 수익과 사람·에이전트의 공동 사용이 쟁점이다

• 회사가 승인한 내부 소프트웨어의 자동화는 비교적 이해관계가 명확하다. 반면 광고 기반 웹사이트에서는 에이전트가 사람을 대신해 접속해도 광고 노출이 실제 수익으로 인정되지 않는 경우가 많아 사업 모델과 충돌할 수 있다. [11:56]
• 에이전트 사용을 받아들이는 사이트에는 사람과 에이전트가 함께 이용하도록 돕는 WebMCP 같은 표준이 대안이 된다. 앱 브라우저에도 지원을 추가했으며, 웹사이트 경험을 보완하는 방향을 기대한다. [12:48]

7. 폭넓은 위임에도 민감한 행동과 반복 업무의 요구사항은 구분해야 한다

• Astra 이후에는 사람이 컴퓨터에서 하는 일을 폭넓게 맡길 수 있다는 사용 경험을 바탕으로, 작업이 생기면 먼저 에이전트에 위임할 수 있는지 생각한다. 다만 다른 사람에게 보내는 메시지처럼 자신의 의사가 직접 담겨야 하는 행동에는 민감성이 남는다. [14:16]
• 요청이 모호하면 추가 정보를 질문하고, 답변이 제때 오지 않으면 필요한 맥락을 찾아 계속 진행하는 유연한 입력 방식을 보여준다. 반복 업무는 제품 명세를 쓰듯 요구사항을 미리 정해 두는 것이 유용하며, 매우 민감한 작업에는 사람의 개입이 필요할 수 있다. [14:50]

8. 컴퓨터 사용은 복잡한 작업을 완수하는 범용 실행 수단이다

• 컴퓨터 사용의 강점은 개발자가 커넥터나 MCP 서버를 따로 만들지 않아도 사람이 사용하는 방식으로 애플리케이션을 조작할 수 있다는 범용성이다. 에이전트가 기존 소프트웨어에서 수행할 수 있는 행동의 범위를 넓힌다. [15:46]
• 컴퓨터 사용은 별도로 선택하는 작업 유형보다, 목표 달성에 필요한 행동을 수행하는 범용 API에 가깝다. 목표가 복잡해질수록 전체 과정의 어딘가에서 화면 조작이 필요해질 가능성이 커진다. [16:23]

9. 기업의 신뢰는 명시적 접근 제한과 관찰 가능한 실행에서 형성된다

• 기업에는 모델의 판단과 별개로 적용되는 명시적 통제가 중요하다. 샌드박스로 사용할 수 있는 앱과 웹사이트를 제한하고, 민감한 데이터나 작업에 접근하지 못하도록 설정할 수 있다. [17:50]
• 다운로드·업로드나 새로운 웹사이트 방문에 사람의 승인을 요구하는 식으로 개입 조건을 조절할 수 있다. 내부 및 외부 평가 결과를 보여 주는 일도 모델의 안전성을 판단하는 근거가 된다. [18:41]

10. 조달·재무·영업에서는 시스템 사이의 반복 작업이 자동화 대상이다

• 조달에서는 팀들이 작성한 대형 스프레드시트를 운영팀이 내부 시스템에 옮기고, 그 결과를 바탕으로 공급업체에 연락하는 과정이 반복된다. 실험 장비 주문 사례처럼 여러 단계에 걸친 입력과 전달 작업을 자동화할 수 있다. [21:14]
• 재무에서는 비용 등을 기록한 여러 장부를 월말에 대조해야 하지만, 관련 소프트웨어에 데이터를 쉽게 가져올 API가 없는 경우가 있다. 화면을 통해 장부를 확인하고 불일치나 특이 항목을 찾아 사람에게 알리거나 추가 조사하는 활용이 가능하다. [22:06]

11. 시장조사 자동화에서 시각적 설계 작업으로 활용이 확장될 수 있다

• 스포츠 영상 주석 소프트웨어를 만드는 과정에서 다른 종목의 관련 서비스에 계정을 만들고, 직접 사용하며 스크린샷과 피드백을 수집하도록 맡긴 사례가 있다. 조사 결과를 자신의 앱 개선에 반영하는 데까지 활용한다. [23:00]
• 시각적 작업 능력이 좋아지면서 회로 설계, 건축, 하드웨어 엔지니어링, 게임 디자인도 기대 분야로 꼽힌다. 기업은 아직 반복 업무 자동화에 더 집중하고 있지만, 모델의 능력을 이해할수록 창의적이고 야심 찬 작업으로 활용이 넓어질 수 있다는 전망이다. [23:35]

12. 개인용 에이전트는 시간 절약을 넘어 새로운 활동과 음성 조작을 가능하게 한다

• 차량 관련 행정 서식 작성이나 이메일 구독 해지처럼 하기 싫은 일을 대신 처리하는 것이 기본적인 활용이다. 개인 생활에서도 반복 작업을 줄이는 가치가 있다. [24:11]
• 재무·식단 관리 스프레드시트나 트레이너의 고객별 맞춤 자료처럼, 시간 부담 때문에 하지 못했을 활동도 쉬워질 수 있다. Apple Numbers를 이용한 개인 스프레드시트 관리가 실제 사용 사례로 드러난다. [24:25]

13. 레거시 소프트웨어 자동화와 새로운 소프트웨어 개발은 공존할 가능성이 크다

• 새 소프트웨어를 만드는 비용과 복잡성이 낮아지는 동시에, 컴퓨터 사용에 적합한 기존 소프트웨어도 많이 남아 있다. 오래전에 작성된 운영 소프트웨어가 단기간에 사라지지는 않을 것이므로 두 흐름이 오랫동안 함께 이어질 것으로 예상한다. [26:25]
• 에이전트가 기존 소프트웨어를 기본적으로 조작할 수 있게 되면, 공급업체에는 에이전트와 더 잘 작동하도록 제품을 개선하라는 압력이 생길 수 있다. WebMCP 같은 접근이 늘어날 가능성이 있지만, 기존 제품과 새 제품 사이의 비중은 시간이 지나며 달라질 수 있다. [26:49]

14. 개인의 취향을 이해한 소프트웨어 설계에는 여전히 가치가 있다

• 사람이 직접 쓰기 좋은 제품에는 제작자의 세심한 설계와 고객 경험에 대한 이해가 담긴다. 인터넷이 에이전트끼리만 소통하는 공간이 되기보다, 사람들이 사용하며 즐거움을 느끼는 소프트웨어가 계속 남을 것이라는 견해다. [27:15]
• 온라인 보드게임 실력을 높이려는 배우자를 위해 전술 훈련 도구의 첫 버전을 만들고, 선호하는 학습 방식에 맞춰 조정한 사례가 있다. 개인의 취향과 필요를 반영한 소프트웨어의 가치를 보여 주며, 이런 제작이 아직은 기술에 익숙한 사람들의 활동처럼 느껴질 수 있다는 한계도 짚어 본다. [28:03]

15. 개인 맞춤 소프트웨어가 늘어도 직접 조작하는 UI는 남는다

• 누구나 짧은 시간에 특정 용도에 맞는 소프트웨어를 만들 수 있다면 개인에게 정교하게 맞춘 제품이 가능해진다. 훈련 결과와 실수는 에이전트가 요약할 수 있지만, AI와 상호작용하며 실력을 기르는 과정에는 사람의 직접 참여가 필요하다 [28:54]
• 저렴한 소프트웨어가 늘어나는 압력은 제품의 품질을 높일 수 있다. 모든 기능이 MCP와 API로 제공되면서 UI와 컴퓨터 사용의 필요성이 사라질 것이라는 견해에는 동의하지 않는다 [29:24]

16. 업무를 위임해도 목표 설정과 감사 기록을 위한 UI가 필요하다

• 소비자용 소프트웨어에는 사용 자체의 즐거움이나 학습이 중요하다. 업무용 소프트웨어에서는 에이전트가 번거로운 실행을 맡더라도 사람이 목표를 정하고 처리 논리를 이해할 수 있어야 한다 [30:20]
• 지급이 이루어진 이유를 확인하고 지급 시점이나 할인 조건을 지정하려면 감사 기록과 요약, 통제 수단이 필요하다. 모든 실행 단계를 직접 따라가지 않으면서도 필요한 수준의 통제권을 유지하는 UI가 요구된다 [30:43]

17. 에이전트 간 맥락 공유와 사람의 개입 방식을 함께 설계해야 한다

• 에이전트가 다른 소프트웨어에서 수행한 작업의 맥락을 현재 애플리케이션도 활용할 수 있어야 더 나은 경험이 가능하다. 웹사이트마다 별도 에이전트가 있고 사용자의 에이전트와 소통하지 못하면 경험이 파편화된다 [32:05]
• 팀원이 기존 소프트웨어를 더 효율적으로 쓰도록 돕는 경우와, 클라우드에서 기존 소프트웨어를 조작하는 서비스를 만드는 경우는 사람과 에이전트의 협업 방식이 달라진다. 후자는 API로 자체 컴퓨터 사용 기능을 구현하는 형태가 될 수 있다 [33:38]

18. 산업 지식과 여러 시스템을 연결하는 실행력이 스타트업의 기회다

• 대형 연구소도 해결할 문제에 비해 인력이 부족하며, 산업별 문제와 규제, 판매 방식, 고객 지원을 깊이 이해하는 스타트업에는 여전히 기회가 있다는 판단이다. API와 컴퓨터 사용 도구는 개발과 실행 속도를 높일 수 있다 [34:50]
• 식당 운영 사례에서는 창고 사진과 다음 날 방문객 예측으로 부족할 식재료를 판단하고, 조달 소프트웨어에서 주문한 뒤 ERP의 직원 근무 일정까지 조정한다. 재고·구매·인력 배치를 여러 소프트웨어에 걸쳐 연결하는 흐름이다 [35:54]

19. 초인적 속도와 실시간 협업을 위해 사용 환경의 일관성이 필요하다

• 컴퓨터 사용을 인간보다 빠르게 만들고, 여러 인터페이스와 멀티모달 입출력을 결합하는 방향에 기대가 걸려 있다. 현재의 백그라운드 작업 위임에 더해, 앞으로는 사람과 에이전트의 실시간 협업이 늘어날 수 있다 [37:38]
• 크롬 확장 프로그램, 데스크톱 앱 내부 브라우저, 클라우드 컴퓨터에 쿠키와 비밀번호가 따로 존재하면 사용자는 혼란을 겪는다. 한 환경에서 연 탭이나 로그인 상태가 다른 환경과 어떻게 연결되는지 이해하기 어렵다 [38:44]

20. 사용자가 도구에 맞추는 부담을 줄이는 능동적 에이전트

• 현재 제품은 사용자가 활용법을 고민하고, 사용할 때를 기억하고, 익숙한 작업 방식을 바꿔야 한다. 이런 부담은 일상적인 사용을 어렵게 만드는 요인이다 [40:00]
• 에이전트가 먼저 상황을 파악해 문제 해결을 돕고 사용자에게 적응하는 방향으로 발전할 수 있다. 사람은 계속 목표를 설정하고 방향을 조정하면서도 기술을 더 쉽게 이해하고 일상에 받아들일 수 있다는 기대다 [40:19]

21. 모델 개선과 기존 제품 통합이 컴퓨터 사용의 성장을 이끌었다

• 지난 6~9개월 사이 초기의 적은 사용량에서 큰 변화가 있었다. 올해 초 모델의 컴퓨터 작업 능력이 좋아졌다고 느꼈고, 제품 경험을 개선한 뒤 최근 몇 달 동안 사용이 빠르게 늘었다는 설명이다. 다만 전체 사용자 중 일부만 활용하는 초기 단계라는 판단이다 [41:15]
• Atlas에서는 많은 사용자가 제품을 일반 브라우저처럼 사용했기 때문에 에이전트 경험이 큰 구매·사용 동기가 되지 못했다 [42:02]

22. 클라우드가 모바일 사용자까지 확장하는 다음 전환점이 될 수 있다

• 다음 큰 전환점으로 클라우드가 꼽힌다. 데스크톱 활용은 여전히 고급 사용자 중심인 반면 많은 소비자는 휴대전화를 사용하므로, 컴퓨터 조작법을 몰라도 강력한 컴퓨팅 환경을 이용할 수 있게 하는 것이 확장의 기회다. 이를 수십억 사용자에게 연결할 수 있다는 기대가 있다 [42:43]
• 더 많은 사람이 에이전트를 신뢰하고 자연스럽게 사용하려면 일관된 경험이 필요하다. 소비자와 기업 양쪽에서 컴퓨터 사용을 확장하는 시점에 들어섰다는 판단으로 논의가 마무리된다 [43:14]

🧾 결론

• 초인적 컴퓨터 사용의 의미는 조작 속도를 높여 사람이 업무를 맡기는 기준을 바꾸는 데 있다. 실제 가치는 속도·품질·가격과 신뢰할 수 있는 통제가 함께 갖춰질 때 커진다.
• 기존 소프트웨어 자동화와 새로운 소프트웨어 제작은 공존할 가능성이 크다. 오래된 운영 시스템이 남아 있는 동안 화면 조작은 여러 애플리케이션을 연결하는 수단이 된다.
• 사람의 역할은 목표 설정, 민감한 행동의 승인, 결과 확인에 계속 남는다. 실행을 위임할수록 처리 이유와 통제권을 보여 주는 UI가 필요하다.

📈 투자·시사 포인트

• 기업용 기회는 API가 부족한 시스템 사이의 입력·대조·전달 업무에 있다. 조달·재무·영업처럼 반복되는 흐름을 끝까지 연결할 수 있는지 살펴볼 필요가 있다.
• 산업별 규제와 고객 업무, 판매·지원 방식을 이해하는 스타트업에는 기회가 남아 있다는 판단이다. 도구를 연결하고 배포·운영까지 지원하는 역량이 사업 기회의 근거로 제시된다.
• 승인·접근 제한·감사 기록·요약을 제공하는 기능은 기업 도입의 핵심 평가 항목이다. 모델 성능과 함께 실제 조직에서 허용할 수 있는 실행 범위를 봐야 한다.
• 공개 웹에서는 에이전트 이용과 광고 수익의 충돌이 쟁점이다. WebMCP 같은 공동 사용 방식과 사이트의 수용 여부가 확산에 영향을 줄 수 있다.
• 클라우드와 기존 제품 통합은 사용자 확대의 관찰 지점이다. 다만 제시된 사용 증가 설명만으로 시장 규모나 매출 성장률을 추정할 수는 없다.

⚠️ 불확실하거나 확인이 필요한 부분

• 인간보다 빠른 컴퓨터 사용과 Astra의 개선은 발언자의 평가를 중심으로 제시된다. 작업별 비교 조건이나 독립적인 성능 측정 결과는 제공되지 않는다. 99%와 97%도 실제 신뢰성 측정치가 아닌 설명용 예시다.
• 프롬프트 주입 저항성과 의도하지 않은 행동 억제의 개선은 시스템 카드에 근거한 설명이지만, 제공된 자료에는 평가 방법과 세부 결과가 없다. 민감한 업무에 적용하기 전 해당 근거를 확인해야 한다.
• 최근 사용이 빠르게 늘었다는 설명에는 구체적인 성장률이나 전체 사용자 대비 이용 비중이 없다. 클라우드의 대규모 확장과 음성 중심 사용도 전망 단계다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• API가 없거나 여러 시스템을 오가는 반복 업무를 목록화하고, 입력·대조·전달 단계가 명확한 업무를 시범 대상으로 고른다.
• 시범 업무의 완료 조건을 문서화하고, 직접 처리할 때와 비교해 소요 시간·비용·오류·사람의 개입 횟수를 기록한다.
• 메시지 발송·결제·파일 전송 등 민감한 행동의 승인 조건을 정하고, 사용할 앱·웹사이트와 데이터 접근 범위를 제한한다.
• 실행 기록과 결과 요약으로 처리 이유를 확인할 수 있는지 점검하고, 알림이 과도하게 쌓이지 않도록 개입 기준을 정한다.

❓ 열린 질문

• 어떤 작업에서 속도·비용·신뢰성이 충분히 개선돼 직접 처리보다 위임이 자연스러운 선택이 될까?
• 사람이 모든 행동을 관찰하지 않아도 통제권을 유지하려면 승인과 감사 기록을 어느 수준으로 제공해야 할까?
• 광고 기반 웹사이트는 에이전트 이용을 어떤 조건으로 수용하며, WebMCP 같은 방식은 얼마나 확산될까?