Articleopenai.com·2026년 11월 19일·0

How OpenAI’s Performance Factory keeps ChatGPT fast

Quick Summary

OpenAI는 ChatGPT의 성능 저하를 조사하는 일부터 배포 후 회복을 확인하는 일까지 Codex 기반 Performance Factory로 연결하고, 수정안의 병합과 배포는 엔지니어가 결정하도록 했다.

How OpenAI’s Performance Factory keeps ChatGPT fast 관련 대표 이미지

🖼️ 인포그래픽

How OpenAI’s Performance Factory keeps ChatGPT fast 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

How OpenAI’s Performance Factory keeps ChatGPT fast의 핵심 내용을 4단계로 요약한 인포그래픽
How OpenAI’s Performance Factory keeps ChatGPT fast 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 요약

OpenAI는 ChatGPT의 성능 저하를 조사하는 일부터 배포 후 회복을 확인하는 일까지 Codex 기반 Performance Factory로 연결하고, 수정안의 병합과 배포는 엔지니어가 결정하도록 했다.

📌 핵심 요약

  • OpenAI에 따르면 첫 번째 워크플로인 Regression Workflow는 3개월이 조금 넘는 기간에 1,700건 이상의 조사를 추적했고, 600건이 넘는 사례에서 근본 원인을 규명했다. 하루 평균 자동 조사 건수는 17건이었다.
  • 성능 팀은 30개가 넘는 성능 도구를 축적한 뒤, 도구 선택 기준과 조사 절차를 perf-forensics에 담았다. 과거 성능 저하 사례로 평가하고 개선한 결과, ChatGPT 응답 지연과 가용성 저하 등 집중적으로 다룬 유형에서는 Codex가 경보를 받아 한 번의 실행으로 진단을 제시할 수 있었다.
  • Performance Factory는 작업 상태와 조사 결과를 보존한다. 배정 루프가 다음 단계를 맡을 에이전트를 클라우드에서 실행하고, 검토 의견이나 배포 완료를 기다리던 작업은 해당 이벤트가 발생하면 재개된다.
  • 초기에는 Codex가 처음 찾은 그럴듯한 설명을 원인으로 잘못 판단한 사례가 있어 별도 Codex 세션이 진단을 반박해 보는 절차를 도입했다. OpenAI가 근본 원인 제안 100건을 수동 평가한 결과, 70%는 정확했고 30%는 추가 보완이 필요하거나 인과관계가 충분히 입증되지 않았다.
  • 진단이 검토를 통과하면 Codex가 수정안을 구현해 풀 리퀘스트를 연다. 엔지니어가 근거를 검토해 병합·배포 여부를 결정하고, 배포 후 에이전트가 운영 지표의 기준선 회복을 확인한다. 성능 저하가 계속되면 작업은 조사 단계로 돌아간다.

🧩 주요 포인트

  1. 작업 상태와 근거가 개별 Codex 세션 밖에 남으므로, 검토나 배포를 기다린 뒤에도 다른 에이전트나 엔지니어가 앞선 조사에 이어 작업할 수 있다.
  2. Regression Workflow는 경보가 울린 시각과 실제 저하 시점을 구분하고, 유사 요청 자체가 느려졌는지 원래 느린 요청의 비중이 늘었는지 비교해 원인 후보를 좁힌다.
  3. 별도 Codex 세션은 진단의 인과관계를 검토하고, 엔지니어는 수정안의 배포 여부를 판단한다. 작업을 종결하는 기준은 배포 후 운영 지표의 회복이다.

🧠 상세 정리

1. 첫 번째 워크플로가 맡은 범위와 실적

OpenAI는 2026년 11월 19일 엔지니어링 글에서 에이전트를 활용한 소프트웨어 개발 속도를 기존의 수작업 성능 조사로 따라가기 어려워졌다고 설명했다. 이를 계기로 구축한 Performance Factory에서는 엔지니어가 반복 업무의 절차를 정의하고 Codex 에이전트가 클라우드에서 각 단계를 수행한다. 첫 적용 대상인 Regression Workflow는 성능 경보가 울리면 작업을 열고, 원인 조사와 수정안 작성, 엔지니어의 검토를 거쳐 배포 후 성능이 회복됐는지까지 추적한다. OpenAI가 밝힌 3개월여의 실적은 추적한 조사 1,700건 이상, 근본 원인을 규명한 사례 600건 초과이며, 하루 평균 17건의 조사를 자동으로 수행했다.

2. 수작업 조사에서 재사용 가능한 perf-forensics까지

Codex 도입 전에는 엔지니어가 지표와 로그를 살피고, 트레이스를 비교하고, 실행 중인 시스템과 코드를 직접 조사했다. ChatGPT가 첫 토큰을 내놓기까지 걸리는 시간이 반복해서 늘어나자 팀은 CPU 프로파일러와 메모리 할당 프로파일러 등을 개발했고, 그렇게 축적한 성능 도구가 30개를 넘었다. Codex를 도입한 뒤에는 낯선 서비스에서도 관련 코드와 지표를 찾아 조사할 수 있었지만, 어떤 도구를 언제 쓸지는 여전히 엔지니어가 안내해야 했다. 팀은 그 판단 기준을 공유 스킬인 perf-forensics에 담고 과거 사례로 평가하면서 개선했다. 그 결과 ChatGPT 응답 지연이나 가용성 저하처럼 팀이 집중한 유형에서는 엔지니어가 단계마다 개입하지 않아도 경보 하나로 진단을 받아볼 수 있었다.

3. Slack에서 끝나던 조사를 배포 후까지 연결

조사 절차를 스킬로 정리하고 나자 엔지니어는 경보를 받아 적절한 스킬과 함께 Codex에 전달하고, 나온 결과를 Slack에 옮기는 일을 반복하게 됐다. 팀은 경보가 클라우드의 Codex 세션을 자동으로 시작하고 조사 결과를 해당 Slack 대화에 게시하도록 바꿨다. 그래도 수정안을 만들고 배포 효과를 확인하는 일은 사람이 이어받아야 했고, 경보가 쌓이면 어느 건에 후속 조치가 필요한지 파악하기 위해 여러 대화를 다시 읽어야 했다. Performance Factory에서는 성능 저하 한 건을 상태와 조사 결과가 담긴 작업으로 관리한다. 덕분에 코드 검토나 배포를 기다리는 동안에도 무엇을 확인했고 다음에 무엇을 해야 하는지가 남아, 다른 담당자가 같은 작업을 이어갈 수 있다.

4. 작업을 배정하고 대기 중인 조사를 재개하는 구조

Performance Factory는 작업 서비스, 배정 루프, 클라우드에서 Codex를 실행하는 내부 API, 이벤트 구독이라는 네 요소로 구성된다. 엔지니어는 설정 파일에 작업이 거칠 상태와 허용되는 전환, 사람이 맡을 단계를 정의하고, 작업 화면에서 진행 상황을 살피거나 관련 맥락을 아는 동료에게 작업을 공유할 수 있다. 배정 루프는 다음 단계를 시작할 수 있는 작업을 주기적으로 찾아 Codex를 실행하며, 에이전트는 내부 네트워크에서 코드 저장소와 지표·로그·트레이스 등의 관측 도구를 이용한다. 각 에이전트는 서비스 계정으로 실행되므로 권한 범위를 정하고 수행한 작업을 식별할 수 있다. GitHub 검토 의견이나 배포 완료를 기다릴 때는 해당 이벤트를 구독해 두고, 이벤트가 도착하면 배정 루프가 다시 에이전트를 할당한다.

5. 경보 시각과 요청 구성을 구분하는 원인 조사

Regression Workflow의 조사는 어떤 지표가 나빠졌는지, 변화가 언제 시작됐는지, 어떤 서비스 요청이 영향을 받았는지를 확인하는 데서 출발한다. 경보는 지표가 임계값을 넘을 때 발생하므로 실제 성능 저하는 그보다 몇 시간 앞서 시작됐을 수 있다. 에이전트는 과거 지표를 거슬러 올라가 변화가 시작된 시점을 찾고, 비슷한 요청끼리 비교해 개별 요청의 처리 시간이 늘었는지 원래 오래 걸리던 요청의 비중이 커졌는지 살핀다. 두 경우 모두 전체 지표가 나빠질 수 있지만 조사해야 할 원인은 달라진다. 범위를 좁힌 뒤에는 배포나 기능 플래그 변경이 영향을 받은 요청에 실제로 적용된 시각을 확인하고, 관련 코드와 로그 또는 트레이스가 그 설명을 뒷받침하는지 대조한다.

6. 별도 Codex 세션이 진단을 반박하는 이유

초기 에이전트는 처음 발견한 그럴듯한 설명에서 조사를 멈추곤 했고, 일부 진단은 잘못된 것으로 드러났다. 팀은 별도 Codex 세션이 같은 전제를 다시 검토하도록 했다. 예를 들어 특정 변경이 원인이라면 그 변경이 적용되지 않은 유사 요청은 정상이었는지, 변경을 되돌린 뒤 영향을 받은 지표가 회복됐는지를 살핀다. 실제로 한 에이전트가 ChatGPT 대화 실패를 이미지 다운로드 오류로 설명했지만, 검토 세션은 파일 위치를 찾는 내부 서비스가 복구된 뒤에도 이미지 요청 실패가 계속됐다는 점을 발견해 조사를 다시 열었다. OpenAI가 근본 원인 제안 100건을 수동 검토했을 때 정확하다고 평가한 비율은 70%였고, 나머지 30%는 설명을 다듬거나 인과관계를 더 입증할 필요가 있었다.

7. 엔지니어의 배포 판단과 운영 환경의 회복 확인

진단이 반박 검토를 통과하면 Codex가 수정안을 구현하고 풀 리퀘스트를 열어 엔지니어에게 넘긴다. 각 작업에는 성능 저하의 내용, 영향, 근본 원인, 제안된 수정안을 정리한 보고서가 붙으며, 지표 시계열과 CPU 플레임 그래프, 트레이스를 통해 엔지니어가 판단 근거를 직접 살펴볼 수 있다. 엔지니어는 풀 리퀘스트를 그대로 병합할지 결정하거나 코드를 직접 편집할 수 있고, 진단 결과를 바탕으로 별도의 수정안을 작성할 수도 있다. 배포가 끝나면 에이전트가 같은 작업을 이어받아 운영 환경에서 성능이 이전 기준선으로 돌아왔는지 확인한다. 회복이 확인되면 작업을 종결하고, 지표가 여전히 나쁘면 다시 조사 단계로 돌려보낸다.

🧾 핵심 주장 / 시사점

  • 1,700건 이상은 추적한 조사 건수이고 600건 초과는 근본 원인을 규명한 사례 수다. 배포 후 회복까지 확인한 건수는 제시되지 않아 두 수치만으로 최종 해결률을 산출하기 어렵다.
  • 이미지 다운로드 사례에서 진단을 재검토하게 한 근거는 장애가 지속된 시간이었다. 의심한 서비스가 복구된 뒤에도 실패가 이어졌으므로 최초 설명은 전체 장애 기간을 설명하지 못했다.
  • 근본 원인 제안 100건에 대한 70%는 수동 검토에서 정확하다고 평가한 비율이다. 별도 검토 세션을 도입해 정확도가 얼마나 높아졌는지 판단할 전후 비교 수치는 제시되지 않았다.

✅ 액션 아이템

  • Regression Workflow 조사에서 경보 시각과 실제 저하 시점을 구분하고 유사 요청의 처리 시간과 요청 비중 변화를 비교한다.
  • 별도 Codex 세션에서 제안된 원인이 관측된 성능 저하를 설명하는지 재검토한다.
  • 엔지니어가 수정안의 병합·배포 여부를 판단하고, 배포 후 운영 지표의 기준선 회복을 확인한 뒤 작업을 종결한다.

❓ 열린 질문

  • 근본 원인을 규명한 600건이 넘는 사례 중 배포 후 기준선 회복까지 확인한 사례는 몇 건인가?
  • 별도 Codex 세션의 반박 검토를 거치기 전과 후에 근본 원인 제안의 정확도는 얼마나 달라졌는가?
  • ChatGPT 응답 지연과 가용성 저하를 각각 조사할 때 perf-forensics가 한 번의 실행으로 정확한 진단을 제시한 비율은 얼마인가?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.