Automating repetitive work at OpenAI with Codex

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

OpenAI의 Jeremy Lewi는 Codex와 Runme 노트북으로 반복적인 평가 업무를 수행하면서, 계획 승인과 주요 판단에는 직접 참여하고 실행 과정과 결정 근거를 기록한다.

📌 핵심 요약

• Jeremy Lewi는 OpenAI에서 Kubernetes 클러스터 구축과 모델 평가를 담당하며, 비슷한 운영 문제를 반복해서 해결하는 업무를 경험했다.
• 현재는 작업마다 별도 자동화를 만드는 대신, Codex의 도움으로 Runme를 개발하고 평가 업무에 활용하고 있다.
• Runme 노트북의 목표 셀에는 이전 실행 검토, 상세 계획 작성, 실행 전 사용자 승인, 명령과 출력 및 결과 해석 기록을 요구한다.
• Codex는 노트북을 읽고 작업 진행에 따라 갱신하며, 사용자는 계획을 검토하고 평가 시스템 선택이나 신규 인프라 필요 여부를 판단하는 데 참여한다.
• 사용자는 진행 상황을 관찰하고 할당량 부족 같은 장애에서 대안을 제안하며, 노트북에는 완료 절차와 실패한 시도, 선택 이유와 선호 접근법을 남긴다.

🧩 주요 포인트

1. Kubernetes 구축과 모델 평가에서 반복되는 운영 문제 → Codex와 Runme를 활용하는 업무 방식의 출발점.
2. Runme 목표 셀과 실행 전 사용자 승인 → 작업 목표와 계획을 명시하고 주요 판단에 사람이 참여하는 구조.
3. 명령·출력·결과 해석과 선택 이유의 기록 → 실행 경과뿐 아니라 실패한 시도와 결정 맥락도 남기는 방식.

🧠 상세 정리

1. 반복되는 인프라 구축과 평가 업무

Jeremy Lewi는 소프트웨어 엔지니어로 일하면서 소프트웨어를 배포하고 운영하거나, 그 반복 작업을 대신 수행할 소프트웨어를 만드는 데 많은 시간을 보냈다고 설명한다. OpenAI에서 처음 맡은 업무는 클라우드 인프라 팀에서 애플리케이션 팀을 위한 Kubernetes 클러스터를 구축하는 일이었다. 한 묶음의 클러스터를 준비하는 데 일주일을 쓰며 프라이빗 링크, 할당량, Terraform 관련 문제를 해결했고, 준비가 끝나면 다음 묶음을 시작했다. 이후 API 팀에서는 최신 모델을 평가하면서 채점기, 할당량, 설정, PyTorch 문제를 처리했다. 평가가 성공하고 모델이 출시되면 다음 모델에 대해 같은 과정을 다시 시작했다는 점이 글의 문제의식이다.

2. Codex와 Runme를 활용하는 방향

저자는 이제 이러한 반복 업무에 Codex의 도움을 받고 있으며, 소프트웨어를 만드는 일 자체도 Codex와 함께 수행한다고 설명한다. 작업마다 별도의 자동화를 만드는 대신 Runme를 개발하고 있다는 점을 현재의 접근 방식으로 제시한다. 이어지는 구체적인 사례는 OpenAI에서 새로운 모델과 기능을 출시할 때 기대한 대로 동작하는지 확인하기 위해 수행하는 평가 업무다. 저자는 평가를 실행하려고 Runme 노트북을 만들고 그 안에 목표를 짧게 정리하는 것부터 시작한다. 글의 부제는 Runme와 WebMCP를 함께 언급하지만, 제공된 본문에는 WebMCP의 연결 구조나 구현 방식에 대한 설명이 없어 구체적인 활용 과정은 노트북과 Codex 중심으로 확인된다.

3. 목표 셀에 담는 실행 조건

예시 노트북의 목표는 현재 모델을 대상으로 평가를 실행하는 것이며, 그 아래에는 Codex가 따라야 할 작업 조건이 적혀 있다. 먼저 이전 실행을 검토해 업무 흐름을 이해하고, 같은 노트북에 상세한 계획을 작성하도록 요구한다. 이어 사용자가 계획을 검토하고 승인할 때까지 실행을 시작하지 말라는 조건을 명시한다. 실제 작업에서는 실행한 명령, 그 출력, 결과를 어떻게 해석했는지를 문서화하도록 한다. 저자는 브라우저에 열린 Runme 노트북의 목표 셀을 읽고 이를 목표로 삼아 계획을 작성한 뒤 승인을 기다리라고 Codex에 요청한다. 따라서 이 사례에서 목표 셀은 평가 목적뿐 아니라 실행 순서, 승인 시점, 기록 범위까지 함께 전달하는 역할을 한다.

4. 계획 검토와 주요 대안의 선택

Codex는 노트북을 읽고 작업이 진행되는 동안 그 내용을 갱신하며, 계획이 준비되면 저자가 검토하고 필요에 따라 수정한다. 저자는 자신의 참여가 특히 유용한 순간을 Codex가 여러 대안 사이에서 판단하도록 돕는 때라고 설명한다. 구체적으로 어떤 평가 시스템을 사용할지, 새로운 인프라를 마련할지, 기존 자원으로 작업을 수행할 수 있을지가 판단 대상이다. 이는 목표 셀에 적힌 실행 전 승인 조건과 연결되며, 사용자가 계획 내용을 살피고 선택에 관여하는 과정을 보여준다. 본문은 특정 평가 시스템이나 인프라 구성을 정답으로 제시하지 않고, 실제 업무에서 사람의 판단이 필요한 선택지를 사례로 든다.

5. 진행 관찰과 할당량 문제 대응

저자는 Codex가 작업하는 동안 진행 상황을 관찰하고, 때로는 휴대전화로 확인하며 막히는 지점에서 방향을 제안한다. 본문에서 제시한 구체적인 장애는 할당량이 소진되어 개발 환경을 새로 마련할 수 없는 상황이다. 이때 저자는 기존 환경을 재사용하거나 다른 승인된 선택지를 찾아보도록 제안할 수 있다고 설명한다. 앞서 계획 단계에서 검토한 신규 인프라와 기존 자원 사이의 선택이 실제 실행 중에도 다시 등장하는 셈이다. 이 사례는 Codex가 작업을 이어 가는 과정에서도 사용자가 상황에 맞는 대안을 제공한다는 점을 보여준다. 다만 제공된 본문에는 이 장애의 실제 해결 결과나 재사용한 환경의 구체적인 사양은 제시되어 있지 않다.

6. 절차와 결정 맥락을 남기는 기록

작업의 결과물은 과제를 완료하는 데 필요한 단계와 막다른 길에 이른 시도까지 문서화한 노트북이다. 이는 목표 셀에서 요구한 명령, 출력, 결과 해석의 기록과 함께 실행 과정을 남기는 방식으로 제시된다. 저자는 작업을 마무리하기 전에 Codex와 함께 대화 속에서 사라질 수 있는 결정도 기록한다고 설명한다. 제공된 본문에서 확인되는 기록 대상은 특정 선택지를 택한 이유와 현재 선호하는 접근법이다. 따라서 노트북에는 수행 절차뿐 아니라 선택의 이유도 포함되지만, 제공된 글은 이 설명 도중에 끝난다. 이후의 구체적인 재사용 사례, 정량적인 시간 절감 효과, 추가 기술 구성은 이 본문만으로 확인할 수 없다.

🧾 핵심 주장 / 시사점

• 반복 업무의 부담은 실행 자체뿐 아니라 할당량과 설정 같은 운영 문제를 매번 해결하는 과정에서도 발생한다.
• 이 사례에서 사람의 참여는 실행 전 계획 승인과 평가 시스템·인프라 대안에 대한 판단에 집중된다.
• 실패한 시도와 선택 이유를 함께 기록하면 완료 절차만으로는 드러나지 않는 작업의 맥락도 남길 수 있다.

✅ 액션 아이템

• Runme 목표 셀에 이전 실행 검토, 상세 계획 작성, 실행 전 사용자 승인 조건을 명시.
• Codex의 계획을 검토하고 평가 시스템 선택과 신규 인프라 필요 여부를 판단.
• Runme 노트북에 명령·출력·결과 해석, 실패한 시도와 선택 이유를 기록.

❓ 열린 질문

• 이전 실행을 검토할 때 현재 모델의 평가 계획에 반영할 내용은 무엇인가?
• 평가 시스템 선택과 신규 인프라 필요 여부를 판단하는 기준은 무엇인가?
• 할당량 부족으로 작업이 막히면 기존 환경 재사용과 다른 승인된 선택지 중 무엇을 택할 것인가?