Codex Replaced All His Apps

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Codex가 그의 앱들을 대체한 핵심은 단일 모델의 마법이 아니라 브라우저·플러그인·자동화·원격 세션을 하나의 작업 맥락으로 묶어 앱 사이의 이동과 반복 조작을 에이전트에게 넘긴 데 있다.

📌 핵심 요점

1. 앱 대체의 실체는 개별 소프트웨어를 없애는 것이 아니라, 컴퓨터를 조작할 수 있는 모델이 여러 도구를 대신 열고 연결하며 결과까지 전달하는 통합 실행 계층을 만드는 것이다.
2. 여러 OpenClaw 인스턴스와 여섯 개의 캐릭터형 에이전트로 구성했던 업무 허브는 유용했지만 본업보다 시스템 관리가 커지는 과설계를 낳았고, 일상적인 지식 노동은 Codex 중심으로 단순화됐다.
3. 로그인 상태를 공유하는 내장 브라우저는 Google Docs 수정, Notion 편집, GeoJSON 지도 제작, YouTube 클릭률 확인과 썸네일 A/B 테스트처럼 앱을 오가던 반복 업무를 하나의 맥락에서 처리하게 했다.
4. 빠른 모델과 강한 모델을 작업 난도에 따라 라우팅하면 지연을 줄일 수 있지만, 산문 보완과 서사 설계, 최종 성과 판단처럼 품질의 방향을 결정하는 일에는 여전히 사람이 필요하다.
5. 에이전트의 적용 범위는 코드 맥락을 보존한 3D 시각화와 B-roll, 실제 지도 데이터에 기반한 공간 생성, 팀 에이전트 협업까지 넓어지고 있으나 물리적 정확성·권한·공유 맥락을 함께 관리해야 한다.

🧩 배경과 문제 정의

• 도구와 컴퓨터 조작권을 얻은 AI 모델은 단순 대화를 넘어 실제 업무를 수행할 수 있지만, 다중 에이전트와 대시보드 구축이 본업보다 커지는 과설계 문제도 낳았다.
• Codex의 내장 브라우저·플러그인·자동화·원격 세션은 지식 노동을 하나의 작업 맥락으로 묶지만, 산문 품질과 처리 지연, 적절한 모델 라우팅은 여전히 해결 과제다.
• 콘텐츠 제작에서는 구현 코드를 이해하는 에이전트가 정확한 3D 시각화와 B-roll을 만들 수 있지만, 생성 영상만으로는 물리적 정확성과 강한 서사를 동시에 보장하기 어렵다.
• 공간 RAG와 실제 지도 데이터의 결합은 현실에 기반한 장면 생성을 가능하게 하며, 광고·VFX·유튜브의 제작 방식과 비용 구조를 바꿀 잠재력이 있다.

🕒 시간순 섹션별 상세정리

1. 도구를 얻은 모델과 에이전트 환경의 전환

• 충분히 좋아진 모델은 컴퓨터를 조작할 ‘손’만 얻으면 대화를 넘어 실제 작업까지 처리할 수 있다. [00:16]
• 이전 환경은 한 대의 컴퓨터에서 여러 OpenClaw 인스턴스를 실행하고 WhatsApp으로 각 워크플로를 지시하는 구조였다. [01:37]

2. OpenClaw로 만든 통합 업무 허브

• M1 Max와 64GB 통합 메모리를 갖춘 구형 MacBook Pro가 회의 기록, YouTube 분석, 소셜 플랫폼 성과를 한곳에 모으는 업무 허브를 맡았다. [03:25]
• WhatsApp 라우터 덕분에 장시간 통화하거나 밖을 걷는 중에도 메시지만으로 컴퓨터 작업을 시작할 수 있었다. [03:40]

3. Codex 중심의 단순화와 과설계의 교훈

• Codex를 생활 운영체제처럼 모든 도구에 연결하고 ChatGPT 앱에서 세션을 원격 조작하면서, 별도 터널링 설정 없이 외부에서도 작업을 이어갈 수 있게 됐다. [04:53]
• Claude는 많은 코딩 작업에 계속 쓰이지만, 일상적인 지식 노동의 주력 환경은 MacBook Pro에서 실행하는 Codex로 단순화됐다. [05:04]

4. 범용 지식 노동 슈퍼앱의 네 가지 요소

• Anthropic·OpenAI·Cursor·Google은 사용자의 생활과 도구를 폭넓게 연결하면서도 쉽게 접근할 수 있었던 OpenClaw의 장점을 자사 제품에 흡수하고 있다. [06:14]
• Codex는 일반 지식 노동자가 필요한 여러 작업을 한곳에서 처리하는 AI 슈퍼앱에 가까웠고, 이후 ChatGPT 앱과 하나의 환경으로 합쳐졌다. [06:24]

5. 내장 브라우저가 없앤 수작업과 불안정성

• 처음에는 단순한 Chromium 내장 기능처럼 보였지만, 노트북의 한 작업 맥락에서 채팅과 브라우저 조작을 함께 처리할 수 있다는 점이 실질적인 차이를 만들었다. [07:29]
• YouTube A/B 테스트의 클릭률을 주기적으로 확인하고 성과에 따라 썸네일을 교체하는 반복 작업을 에이전트가 대신 수행한다. [07:58]

6. 사람과 에이전트가 함께 사용하는 작업 화면

• 브라우저는 사람과 에이전트의 공유 작업 화면이 되며, Google Docs의 상세 코멘트를 에이전트가 읽고 수정안을 만들면 사람은 부족한 산문 품질을 직접 보완할 수 있다. [08:30]
• 지도 작업에서는 필요한 정보를 검색해 GeoJSON으로 변환하고 웹 지도에 시각화하는 전 과정을 하나의 브라우저 맥락에서 처리한다. [09:08]

7. 지연 시간을 줄이는 속도 향상과 모델 라우팅

• 현재 문서 조작은 다소 느리지만 Cerebras 기반 실행이 속도를 5~10배 높이면, 요청과 결과가 거의 즉시 이어지는 Jarvis형 경험에 가까워질 수 있다. [11:10]
• 단순한 인라인 수정은 빠른 모델이 처리하고 깊은 사고가 필요한 작업만 강한 모델로 보내면, 품질을 유지하면서 전체 지연 시간을 줄일 수 있다. [11:38]

8. 콘텐츠 제작 전 과정으로 확장된 에이전트

• 콘텐츠는 프로토타입을 직접 만들어 시연하는 ‘미친 과학 실험’과 신기술의 파급력을 분석하는 10~20분 길이의 ‘프런티어 지도’ 영상으로 나뉜다. [13:19]
• 에이전트는 프로토타입 코딩뿐 아니라 복잡한 기술을 시청자가 이해할 수 있는 시각 자료로 바꾸는 과정에도 관여한다. [13:59]

9. 구현 맥락을 보존한 3D 해설 시각화

• 실제 파이프라인을 작성한 동일 코드베이스에서 Claude Code가 2D 탐지 결과를 3D 공간으로 투영하는 도해를 만들면서, 구현과 해설 사이의 불일치를 줄였다. [14:30]
• 기능을 만든 코드의 맥락이 그대로 남아 있으므로 결과물을 개발하는 과정과 시청자에게 보여주는 과정을 하나의 흐름으로 연결할 수 있다. [15:20]

10. 물리적으로 정확한 코드 기반 B-roll

• Three.js 기반 시각화는 고주파와 저주파의 파형을 물리적 관계에 맞게 표현하지만, 일반 영상 생성 모델은 같은 장면을 부정확하거나 지나치게 양식화할 가능성이 크다. [16:30]
• Remotion과 Hyperframes는 브랜드에 맞는 2D 전환 화면을 자동화하고, 향상된 3D 이해 능력은 더 복잡한 공간 장면까지 코드로 생성할 수 있게 한다. [17:17]

11. 생성 영화의 현재 수준과 인간의 서사 역할

• Fal 기반 제작 도구는 내레이션과 항공 B-roll을 조합해 5~10분짜리 서사 콘텐츠를 만들며, 현재도 저예산 다큐멘터리 수준의 결과물에는 도달할 수 있다. [19:13]
• 모델은 영상 실행과 조립에는 강하지만 재미있는 문장과 설득력 있는 이야기를 만드는 능력은 부족해, 매력적인 장편 콘텐츠에는 인간의 서사 설계가 필요하다. [19:43]

12. 카메라를 직접 통제하는 하이브리드 제작

• 모션 트래킹된 휴대전화를 가상 카메라처럼 움직이면 생성 모델의 풍부한 영상 품질을 유지하면서도 촬영 구도와 프레임을 사람이 정확하게 통제할 수 있다. [20:50]
• 제로샷·원샷 공간 생성 성능이 크게 향상됐고, 먼저 만든 3D 와이어프레임과 스토리보드를 확산 모델로 다시 입히는 제작 방식도 가능해졌다. [21:36]

13. 한 장의 지도 이미지로 만든 가상 카메라 경로

• 뉴델리 로디 가든의 3D 재구성 이미지에 이동 궤적을 함께 주자, 모델은 표시된 길을 따라가는 1인칭 시점을 한 장의 입력만으로 근사했다. [22:16]
• Google Earth 스크린샷 위에 복잡한 선을 그려 Omni에 입력하면, 그 경로를 따라 비행하는 가상 카메라 영상을 만들 수 있다. [23:05]

14. 공간 RAG로 현실성을 유지하는 장거리 생성

• 생성 영상 속 빗자루 방향 같은 작은 오류보다 중요한 변화는 사용자가 그린 궤적으로 카메라 이동을 세밀하게 통제할 수 있게 됐다는 점이다. [25:01]
• Soul World Model 방식은 이동 경로마다 가장 가까운 Street View 파노라마를 불러와 다음 장면을 조건화하므로, 도시 전체를 지나는 긴 영상에서도 실제 공간과의 일관성을 유지한다. [25:31]

15. 상업 현장의 비공개 도입과 B-roll 제작비 변화

• Google Earth 같은 대규모 공간 데이터는 거대한 게임·영화 시뮬레이터의 기반이 될 수 있으며, 광고 업계는 이미 AI 여부를 알아채기 어려운 결과물까지 활용하고 있다. [26:49]
• AI 흔적이 두드러진 UGC와 코카콜라 광고는 거센 반감을 샀고, 일부 VFX 업체는 법무팀의 제약 때문에 실제 활용 사실을 외부에 공개하지 않는다. [27:31]

16. 생성형 영상이 높인 품질 기준과 창작 방향 전환

• 누구나 고급 시각효과 영상을 만들 수 있게 되면서 전담 모션그래픽 팀을 둔 채널까지 영향을 받고, YouTube 전반의 영상 품질 기준이 높아진다. [29:38]
• Google 제품 관리자로 일하면서도 주말마다 After Effects·3ds Max·Maya·AR·VR로 괴물과 로봇이 등장하는 숏폼을 제작해 기술 감각을 유지했다. [30:39]

17. 스크립트 영상 편집의 미해결 병목

• 같은 대사를 세 가지 방식으로 촬영하면 편집자가 각 테이크의 의미 차이를 구분하지 못해 Frame.io 피드백이 폭증하며, 기존 도구로는 대본이 있는 40분 영상을 완성도 높은 15분 분량으로 줄이기 어렵다. [32:03]
• Descript는 확정된 그린스크린 영상의 단순 삭제에는 유용하지만, 여러 레이어와 100GB 규모의 B-roll이 얽힌 타임라인에서는 구간 삭제와 파일 이동이 급격히 복잡해진다. [32:46]

18. 대화형 영상의 편집 단순화와 초반 시각 전략

• 편집자는 매번 Notion 지침을 읽고 화면 공유 준비처럼 의미 없이 늘어진 시간을 우선 제거하며, 첫 번째 컷에서 명확한 불필요 구간부터 줄인다. [33:56]
• 영상 구조 자체를 재미있는 대화 중심으로 단순화한 뒤 Fable이 자막을 분석해 설명을 보완할 전체 화면 그래픽 후보를 3~4곳 선정한다. [34:27]

19. 과잉 편집에서 벗어난 장문 콘텐츠와 정밀 분석

• 대화형 콘텐츠에서는 MrBeast식 효과음과 연속적인 주의 환기 장치를 줄이는 ‘비편집’ 흐름이 커지며, 몰입을 유지하되 시청자를 지치게 하지 않는 균형이 중요해진다. [35:18]
• Codex는 유지율 곡선·평균 시청 시간·완주율을 직접 분석하고, Colin and Samir·Paddy Galloway·Derral Eves의 방법론을 결합한 기술로 채널 성과를 세밀하게 진단한다. [36:12]

20. 앱을 대신하는 YouTube 분석 자동화

• YouTube API는 Google Cloud에서 관련 기능을 직접 활성화해야 해 연결 과정이 번거롭지만, 설정을 마치면 에이전트가 채널 분석 데이터에 접근할 수 있다. [36:37]
• 영상별 유지율과 클릭률을 Codex에 넘기면 사람이 여러 설정 화면을 오가지 않아도 썸네일 A/B 테스트와 성과 판단을 에이전트가 처리한다. [36:48]

21. 디지털 제작진과 성과 대시보드의 거리 두기

• 예술적이고 품질 중심인 판단은 Fable이, 범위가 명확하거나 세부 조사가 필요한 작업은 Codex가 맡으면서 두 에이전트가 실제 제작진처럼 역할을 나눈다. [37:50]
• YouTube의 최근 10개 영상 대비 순위는 업로드 직후 성과를 분 단위로 비교해 1위를 얻으면 보상을 주고, 낮은 순위에서는 제작자가 30분마다 새로고침하게 만드는 슬롯머신처럼 작동한다. [38:21]

22. 다크 패턴을 막는 사용자 중심 AI 운영체제

• 소셜 플랫폼의 알고리즘은 이용 시간을 늘리는 방향으로 움직이므로, 사용자를 위해 작동하는 개인 알고리즘과 새로운 운영체제 계층이 기존 다크 패턴을 상대해야 한다. [39:11]
• 무료 챗봇은 대화를 오래 유지해야 다른 수익원을 만들 유인이 생기며, 신뢰할 수 있는 유료 AI가 여러 앱과 사용자 사이를 중재해야 불필요한 체류와 주의 분산을 줄일 수 있다. [40:02]

23. 개인 기술을 조직의 공유 역량으로 전환

• 두 명의 편집자가 작은 에이전시처럼 협업하는 구조에서도 공유 기술을 만들면 팀원 누구나 창작자가 사용하던 에이전트 작업 방식을 재사용할 수 있다. [41:43]
• Claude Tag처럼 회사 전반의 접근 권한과 맥락을 가진 에이전트가 대화·업무 배정·협업을 하나의 공유 공간에서 연결하면 기존 Slack 조직에도 팀 에이전트를 도입할 수 있다. [42:06]

24. Buzz의 현재 위치와 팀 에이전트 전환

• Buzz는 ACP로 Claude·Codex 등 여러 에이전트 하네스를 연결해 음성 메모와 자연스러운 대화만으로 협업시키며, 초기 OpenClaw의 자유로운 사용 경험을 하나의 허브로 옮긴다. [43:28]
• 복잡도가 높아 당장 Slack 전체를 대체하기는 어렵지만, 여러 연결 방식과 에이전트 역량을 직접 시험하는 과정 자체가 초기 사용자에게 중요한 학습 수단이 된다. [44:14]

25. Buzz의 협업 제어와 에이전트 간 맥락 전달

• Buzz에서는 에이전트가 사용자·공유 채널·권한을 직접 구성하고 Codex·Claude Code·Cursor·Grok을 한 대화에 호출해 여러 하네스가 같은 프로젝트를 나눠 맡는다. [45:42]
• 플랫폼 전체 시스템 프롬프트가 에이전트의 과도한 대화와 중복 실행을 억제해 대체로 한두 번의 상호작용만 거치며, 장시간 대화로 맥락이 흐려지는 기존 멀티에이전트 문제를 줄인다. [46:49]

26. 공유 기술 생태계와 협업형 프롬프팅

• 문서·프레젠테이션·프런트엔드 디자인에 강한 Claude와 별도 기술을 가진 Codex가 같은 공간에 있으면, 한쪽에 필요한 기술이 없을 때 다른 에이전트에서 찾아 이어서 사용할 수 있다. [49:02]
• OpenAI Workspace Agents는 기술·플러그인·성격을 갖춘 클라우드 에이전트를 Slack에 추가하고, 팀 전체가 동일한 에이전트에 메시지를 보내는 조직형 작업 방식을 지원한다. [49:22]

27. 에이전트 기반 지리공간 실험의 출발

• 조회 수 200만 회를 기록한 프로젝트는 OpenClaw가 여러 모델을 움직이는 하네스로 작동했기 때문에 짧은 실험에서 실제 결과물로 발전할 수 있었다. [51:20]
• Gemini 3.1의 공간 추론 능력과 Google에서 약 10년간 축적한 3D 지도·사진측량·시각 위치추정 경험이 현실 세계를 정보로 덧칠하는 아이디어의 기술적 기반이 됐다. [51:30]

28. 바이럴 반응과 전쟁 OSINT의 4D 재구성

• 잠들기 전에 만든 초기 프로토타입이 밤사이 ‘바이브 코딩한 Palantir’로 확산됐고, Palantir 공동 창업자 Joe Lonsdale까지 독점 데이터 융합의 차이를 공개적으로 반박했다. [52:50]
• 전쟁 발발 시점에는 이미 위성·항공기·선박·소셜미디어 신호를 저장하고 지오코딩할 기반이 갖춰져 있어, 24시간의 상황을 시간축이 있는 4D 공간으로 재구성할 수 있었다. [53:21]

29. 공개적으로 해석 가능한 3D 세계 창

• 목표는 독점 데이터를 다루는 기관용 Palantir를 복제하는 것이 아니라, 공개·상업 데이터를 누구나 이해할 수 있는 형태로 융합하는 ‘공개적으로 해석 가능한 Palantir’에 가깝다. [54:41]
• 언론인·활동가·대형 방산업체·방산 스타트업·정부 기관이 동시에 관심을 보였고, 지도 위 점과 뉴스 패널의 해석에 의존하지 않고 사용자가 직접 세계를 판단하는 3D 창이 공통 수요가 됐다. [55:24]

30. 오픈소스 공개와 상용 확장으로 확인한 시장 수요

• 실제 데이터와 저렴한 API를 사용하는 브라우저형 첩보 시뮬레이터는 V1을 오픈소스로 공개하고, 30개 이상의 계층에 비싼 데이터와 연산이 필요한 V2부터 상용 제품으로 확장한다. [57:03]
• 에이전트가 공개 여부를 포함한 모든 API를 심층 조사하고 음성 메모만으로 개발을 이어가면서 주말 안에 프로토타입이 완성됐고, 이후 유사한 프로젝트들도 연달아 생겨났다. [57:31]

31. 장문 콘텐츠로 검증하는 프로토타입과 제작 병목

• 프로토타입을 만든 뒤 장문 콘텐츠로 공개하면 시청자가 충분한 맥락을 접하고 기능 제안을 댓글로 남기므로, 틱톡이나 X의 짧은 바이럴보다 강한 콘텐츠·사용자 적합성 검증이 가능하다. [58:47]
• 제품을 직접 코딩하고 확장하는 데 대부분의 시간이 투입되면서 콘텐츠 제작 시간이 부족해졌고, 공간지능 콘텐츠를 지속하기 위해 프로듀서와 편집자 충원이 필요해졌다. [59:40]

32. 제작법 공개가 만드는 참여와 확장

• 사용한 API와 제작 과정을 Substack에 구체적으로 공개하면 다른 사람들이 이를 변형해 새 결과물을 만들고 출처와 아이디어를 돌려주므로, 정보 공개 자체가 지속적인 피드백 루프가 된다. [1:00:04]
• 핵심 자산은 비공개 소프트웨어보다 사람들이 참여하는 움직임이며, 제작 비법을 닫아 소비자 역할만 허용하면 다른 주체가 더 큰 커뮤니티를 차지할 위험이 생긴다. [1:00:33]

33. 전문성과 대중성 사이의 균형

• 복잡한 실험과 공간지능 주제를 전문가에게는 정확한 압축본으로, 일반인에게는 처음으로 이해되는 설명으로 전달하려면 접근성을 설계할 제작 인력이 필요하다. [1:02:15]
• 지리공간·현실 이해 기술은 이중 용도 특성 때문에 공포를 과장하거나 국방 기술을 일방적으로 찬양하는 콘텐츠로 치우치기 쉬워, 두 극단 사이의 맥락과 미묘한 차이를 보존해야 한다. [1:02:44]

🧾 결론

• Codex가 대체한 것은 앱 자체라기보다 앱마다 사람이 수행하던 탐색, 전환, 복사, 확인, 보고의 연쇄 과정이다.
• 경쟁력의 중심은 모델 하나의 성능보다 브라우저 상태, 도구 연결, 자동화, 원격 실행, 모델 라우팅을 얼마나 안정적으로 결합하느냐로 이동한다.
• 생성 모델은 영상 실행과 조립에 강하지만 설득력 있는 이야기와 섬세한 산문에는 한계가 있어, 인간은 편집자이자 최종 의사결정자로 남는다.
• 복잡한 다중 에이전트 체계보다 측정 가능한 실제 업무를 적은 구성 요소로 끝내는 시스템이 지속 가능성이 높다.

📈 투자·시사 포인트

• Anthropic·OpenAI·Cursor·Google이 OpenClaw의 연결성과 접근성을 흡수하는 흐름은 범용 AI 제품이 지식 노동 슈퍼앱으로 수렴할 가능성을 보여준다.
• 내장 브라우저, 플러그인, 예약 자동화, 저지연 모델 라우팅은 모델 성능 못지않게 중요한 제품 차별화 요소가 될 수 있다.
• 코드 기반 시각화와 생성형 B-roll은 고급 영상 제작비를 낮추는 동시에 YouTube 전반의 품질 기준을 높여 제작자의 비용 구조와 인력 구성을 함께 바꿀 수 있다.
• 공간 RAG, 실제 지도 데이터, 팀 에이전트는 광고·VFX·지리공간 분석·조직 협업의 새로운 시장을 열 수 있지만 정확성, 데이터 권리, 접근 권한이 상용화의 핵심 제약이다.

⚠️ 불확실하거나 확인이 필요한 부분

• Codex 중심 전환과 앱 대체 효과는 한 제작자의 사례에 기반하며, 기존 방식 대비 시간·비용·오류율을 비교한 정량 자료는 제시되지 않았다.
• Cerebras 기반 실행으로 속도가 5~10배 향상될 수 있다는 전망은 조건부 기대이며, 실제 문서 작업에서는 약 60초가 걸린 사례도 있었다.
• 일반 생성 영상은 물리적 관계나 실제 지형을 그럴듯하게 왜곡할 수 있으며, Omni가 만든 오스틴 풍경도 검색된 실제 지형이 아니라 재구성된 공간이었다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 현재 업무에서 여러 앱을 오가며 반복하는 조회·복사·수정·보고 작업을 목록화하고, 가장 빈도가 높은 한 가지부터 에이전트 자동화 후보로 선정한다.
• 내장 브라우저를 사용하는 작은 파일럿을 운영해 완료 시간, 수동 개입 횟수, 오류율, 기존 앱 대비 절감 시간을 기록한다.
• 단순 수정은 빠른 모델, 조사·추론은 강한 모델에 맡기는 라우팅 기준을 만들고 품질과 지연 시간을 함께 측정한다.
• 산문, 서사, 썸네일 교체, 성과 판단에는 사람의 승인 단계를 유지하고 에이전트가 근거와 변경 내역을 남기게 한다.

❓ 열린 질문

• Codex가 실질적으로 불필요하게 만든 앱과 여전히 원본 데이터·협업·승인을 위해 남겨야 하는 앱의 경계는 어디인가?
• 자동화 유지보수와 권한 관리에 드는 비용까지 포함해도 단순화된 Codex 환경이 다중 에이전트 허브보다 지속적으로 효율적인가?
• 개인에게 축적된 에이전트 기술과 맥락을 팀 전체가 재사용할 때 과도한 실행, 중복 작업, 접근 권한 문제를 어떤 방식으로 통제할 수 있는가?