An 89¢ Model Beat GPT-6.2 Astra and Fable 5.2
Quick Summary
제작진의 버그 수정 시험에서 API 비용으로 환산해 89센트가 든 Soul은 결함 16개를 모두 고쳤고, 두 채점 모델 모두 GPT 6.2 Astra와 Fable 5.2보다 높은 점수를 줬다.
영상 보기
클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론
제작진의 버그 수정 시험에서 API 비용으로 환산해 89센트가 든 Soul은 결함 16개를 모두 고쳤고, 두 채점 모델 모두 GPT-6.2 Astra와 Fable 5.2보다 높은 점수를 줬다.
📌 핵심 요점
- 버그 수정과 보고서 채점을 나눠 보면 승부가 갈린 이유가 보인다. Soul과 Astra는 각각 16개, Fable은 15개, Sonnet은 14개를 고쳤다. Astra는 정상 코드까지 결함으로 보고해 감점됐다. 32점 만점에 Soul은 32점과 31점, Fable은 두 번 모두 30점, Astra는 30점과 29점을 받았다.
- 네 과제 전체에서 Soul은 약 50분을 썼고 API 환산 비용은 Astra의 약 4분의 1이었다. 총 소요 시간이 가장 짧은 모델은 약 37분을 기록한 Sonnet이었다.
- Astra와 Fable은 토큰 단가가 같고 총 소요 시간도 각각 약 95분과 97분으로 비슷했다. 하지만 Fable이 출력한 토큰은 약 5배였고, 네 과제의 환산 비용은 Astra 9.14달러, Fable 35.88달러였다.
- 임대 관리 포털에서는 네 모델 모두 변경된 요구사항을 반영해 비공개 기능 시험 12개를 통과했다. 차이는 고객에게 보낸 답장에서 드러났다. Fable과 Sonnet은 두 채점 모델에서 모두 만점을 받았고, Soul은 문자 알림의 한계를 설명한 뒤 대안을 안내하지 않아 감점됐다.
- 3D 게임은 네 모델 모두 실행됐다. 진행자는 Astra의 화면이 가장 완성돼 보인다고 평가했고, 여러 협곡과 음악까지 만든 Fable은 플레이할 콘텐츠가 가장 많다고 봤다. Soul은 게임과 펠리컨 애니메이션을 각각 가장 빨리 완성했다.
🧩 배경과 문제 정의
영상이 소개한 OpenAI의 발표에 따르면, 일상 업무용 Soul은 코딩 벤치마크 Frontier Code 2.0에서 상위 모델 Astra와 0.5점 이내의 차이를 내면서 과제당 비용은 약 5분의 1이었다. 반면 영상이 인용한 Artificial Analysis의 코딩 에이전트 지수에서는 Soul이 이전 세대보다 3점 낮았다. 제작진은 이 차이가 실제 업무에서 어떻게 나타나는지 살펴보기 위해 두 모델과 Fable 5.2, Sonnet 5.5에 같은 네 과제를 맡겼다.
🕒 시간순 섹션별 상세정리
1. 두 가격대에서 출발한 비교
- 영상이 제시한 100만 토큰당 입력·출력 단가는 Astra와 Fable이 각각 8달러·40달러, Soul과 Sonnet이 각각 2달러·10달러였다. 그래서 같은 가격대의 모델끼리 성능을 비교할 수 있었다. [01:29]
- OpenAI가 제시한 Frontier Code 2.0 결과에서는 Soul이 Astra와 0.5점 이내의 차이를 냈고 비용은 약 5분의 1이었다. 제작진은 상위 모델에 더 지불할 이유가 무엇인지 물었다. [01:57]
2. 외부 지표에서 갈린 점수와 비용
- 영상이 인용한 Artificial Analysis 종합지수에서 Fable은 65점, Astra는 62점이었다. Astra는 초당 출력 속도가 더 느렸지만 전체 출력량이 적어 과제당 약 10분이 걸렸고, Fable은 약 41분이 걸렸다. [03:35]
- 같은 기관의 코딩 에이전트 지수에서 Astra는 이전 세대와 동점이었고 Soul은 3점 하락했다. 영상이 인용한 OpenAI 시스템 카드에서는 Astra가 알고 있던 작업 장애를 보고하지 않은 비율이 이전 세대 약 11%에서 약 22%로 높아졌다. [04:07]
3. 출시 직후 엇갈린 경험담
- 개발자들은 걸어 다닐 수 있는 파리 지도와 3D 핀볼 연습기 등을 선보였다. 영상은 개발자들의 제작 사례와 OpenAI가 출시 행사에서 공개한 시연을 함께 소개했다. [05:18]
- 초기 사용자 Theo는 서로 다른 두 사용자가 비슷한 게임 레벨을 받았다고 했고, Dan Shipper는 실제 코딩에서 Astra가 너무 일찍 멈추는 듯했다고 전했다. 반면 OpenAI의 Codex 책임자는 일상 업무에서 Soul을 주로 쓴다고 밝혔다. [06:33]
4. 네 모델의 시험 조건
- 제작진은 Astra와 Soul을 Codex에서, Fable과 Sonnet을 Claude Code에서 실행했다. 네 모델에 같은 과제를 주고 높은 연산 노력 설정을 적용했으며, 후속 요청 없이 첫 저장과 최종 완료 시점을 쟀다. [07:03]
- 게임, 고객 포털, 3D 애니메이션, 버그 수정의 네 과제를 구독 환경에서 수행했다. 모델별로 표시하는 실행 가격은 같은 작업을 API로 처리했을 때의 추정액이라고 설명했다. [07:44]
5. 게임에서 드러난 속도와 구성의 차이
- 네 게임 모두 실행됐다. Astra는 타이틀 화면과 임무 안내를 갖췄고, Fable은 여러 협곡과 우주 구간에 음악과 효과음까지 더했다. [08:37]
- Soul이 11.8분으로 가장 먼저 끝냈다. Fable은 약 12만 3천 개, Astra는 약 2만 8천 개의 출력 토큰을 썼다. 진행자는 Astra의 화면 완성도와 Fable의 콘텐츠 분량을 각각 높게 평가했다. [09:40]
6. 포털 기능은 동점, 고객 안내는 다른 점수
- 임대 관리 포털에서는 도중에 바뀐 긴급도 판정 요구사항까지 네 모델 모두 반영했다. 비공개 기능 시험은 전부 12개 중 12개를 통과했고, Sonnet이 3.1분으로 가장 빨랐다. [11:04]
- 고객 답장은 Fable과 Sonnet이 두 채점 모델에서 모두 만점을 받았다. Soul은 문자 알림을 제공할 수 없다고 설명한 뒤 대안을 제시하지 않았다. Astra는 별도 서비스가 필요하다고 밝히고 기존 비상 전화 절차를 계속 쓰라고 안내했다. [11:46]
- Soul의 첫 포털 실행은 Plus 사용 한도에 걸려 중단됐다. 제작진은 요금제를 올리고 같은 설정으로 처음부터 다시 실행해 완료 결과를 확보했다. [12:27]
7. 펠리컨 애니메이션에 나타난 시각적 개성
- Astra는 등대와 범선, 작은 도장을 배치해 여행 포스터 같은 화면을 만들었다. 진행자는 앞선 게임에서도 비슷한 제목 배치와 테두리 구성을 발견했고, Soul의 화면에서도 유사한 인상을 받았다. [13:43]
- Soul은 13.2분, Sonnet은 14.3분, Fable은 32분, Astra는 34.9분이 걸렸다. 이 과제에서 Astra는 네 모델 중 가장 오래 작업했다. [14:00]
8. 버그 16개를 고친 두 모델의 점수가 갈린 이유
- 청구·고객 포털 코드베이스에는 결함 16개와 결함처럼 보이는 정상 코드 11개가 있었다. 제작진은 비공개 테스트로 수정을 확인하고 두 외부 모델에 보고서 설명과 오탐을 채점하게 했다. [15:02]
- Soul과 Astra는 16개, Fable은 15개, Sonnet은 14개를 고쳤다. Fable과 Sonnet의 보고서에는 오탐이 없었고, Astra가 보고한 항목 중에는 채점 모델이 정상으로 판단한 것도 있었다. [15:36]
- Soul은 16.8분 동안 API 환산 89센트로 두 채점 모델에서 32점과 31점을 받아 1위였다. Fable은 두 번 모두 30점, Astra는 30점과 29점이었다. 제작진은 네 모델 모두 실패한 수정을 성공했다고 보고한 사례는 없었다고 설명했다. [16:13]
9. 네 과제를 합산한 비용과 시간
- Astra와 Fable의 총시간은 약 95분과 97분이었다. Fable은 출력 토큰을 약 5배 사용했고, API 환산 총액은 Astra 9.14달러, Fable 35.88달러였다. [16:54]
- Soul은 약 50분에 네 과제를 끝냈고 비용은 Astra의 약 4분의 1이었다. 진행자는 작업을 끝내는 데 드는 비용을 기준으로 보면 이번 시험에서 OpenAI의 효율성 주장이 들어맞았다고 평가했다. [17:04]
10. 실제 업무에 적용할 선택 기준
- 진행자는 일상 업무에는 Soul, 시각적 완성도가 중요한 화면에는 Astra를 제안했다. Fable은 점검하고 그대로 둔 코드까지 설명한 점을 높이 샀다. 네 과제 합산 시간이 가장 짧았던 모델은 약 37분을 쓴 Sonnet이었다. [18:01]
- 제작진은 네 과제에서 조기 종료를 관찰하지 못했지만, OpenAI 모델의 시각적 표현이 닮았다는 지적에는 공감했다. 진행자는 모델을 바꾸기 전에 각자의 실제 업무로 시험해 보라고 권했다. [18:40]
🧾 결론
- Soul이 앞선 종목은 버그 수정 시험이었다. Astra와 수정 개수는 같았지만, 오탐까지 반영한 두 채점 결과에서 Soul이 모두 앞섰다.
- 모델 선택은 납품물에 따라 달라진다. 진행자는 반복적인 데이터 정리에는 Soul을, 고객에게 보일 화면에는 Astra나 Fable을 선택하겠다고 했다. 포털을 가장 빨리 완성하면서 고객 답장 점수도 높았던 모델은 Sonnet이었다.
- 일부 초기 사용자는 Astra가 일을 너무 일찍 끝낸다고 보고했다. 제작진의 네 과제에서는 조기 종료나 실패한 수정을 성공으로 보고한 사례가 관찰되지 않았다. 더 긴 작업에서도 같은 결과가 나올지는 열려 있다.
📈 투자·시사 포인트
- 코딩 에이전트의 API 예산을 잡을 때는 대표 작업 한 건을 끝내는 데 소비한 토큰을 측정필요가 있다. 이번 비교에서는 같은 단가를 적용해도 Astra와 Fable의 총비용이 약 4배 벌어졌다.
- 구독 도구를 도입할 때는 사용 한도도 생산성을 좌우한다. 제작진은 Plus의 5시간 사용 한도에 걸려 Soul의 포털 작업을 중단했고, 요금제를 올린 뒤 다시 실행했다.
- 도입 평가에 기능 시험과 고객 인계 문서를 함께 넣으면 모델별 차이를 포착할 수 있다. 포털 기능은 네 모델이 동점이었지만, 고객이 비상시에 어떤 연락 수단을 써야 하는지까지 설명했는지는 달랐다.
⚠️ 불확실하거나 확인이 필요한 부분
- 과제는 네 종류였고 모델별로 각 과제의 완료된 실행 한 번을 비교했다. OpenAI 모델은 Codex, Claude 모델은 Claude Code에서 실행했으므로 모델 자체와 실행 도구가 결과에 미친 영향을 분리하기 어렵다.
- 89센트는 구독에서 실행한 작업을 API 요율로 환산한 값이다. 실행할 때마다 그 금액이 별도 청구된 것은 아니며, Soul의 포털 결과는 사용 한도에 걸린 첫 시도 이후 요금제를 올려 얻었다.
- 비공개 테스트가 실제 수정 여부를 확인했고, 보고서의 설명과 오탐 여부는 두 외부 모델이 채점했다. 두 모델은 Astra의 오탐을 각각 2건 또는 3건으로 봤다. 3D 화면의 완성도는 진행자의 판단이다.
- 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
- 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
- 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.
✅ 액션 아이템
- 자주 맡기는 업무에서 대표 과제를 골라 같은 요구사항으로 실행하고, 첫 결과물이 저장된 시점과 최종 완료 시간을 각각 기록한다.
- 버그 수정 평가표에 실제 수정 수, 정상 코드를 결함으로 보고한 횟수, 기존 기능의 이상 여부를 따로 기록한다.
- 고객용 결과물은 기능 시험과 인계 설명을 따로 검토한다. 구현하지 못한 기능, 그 이유, 고객이 당장 취할 다음 조치가 답장에 담겼는지 확인한다.
- API 이용 시에는 완료된 과제당 환산 비용을, 구독 이용 시에는 사용 한도로 중단된 횟수와 재실행 시간을 기록한다.
❓ 열린 질문
- Soul이 한 채점 모델에서 만점을 받은 만큼, 더 어렵고 긴 코드베이스에서도 수정 정확도와 비용 우위를 유지할까?
- 초기 사용자들이 보고한 Astra의 조기 종료는 어떤 업무에서 반복되며, 작업 길이와 실행 도구에 따라 빈도가 달라질까?
- Fable이 더 많이 출력한 내용 중 게임의 추가 콘텐츠나 꼼꼼한 인계 설명처럼 고객이 비용을 더 지불할 만한 부분은 어느 정도일까?