A scorecard for the AI age

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

AI 투자의 성과는 토큰 가격이나 사용량이 아니라 유용한 업무량, 성공한 작업의 총비용, 결과의 신뢰성, 규모 확대에 따른 가치 증가를 함께 측정하는 ‘달러당 유용한 지능’으로 평가해야 한다는 제안이다.

📌 핵심 요약

• 기존 소프트웨어의 좌석 수·활성 사용자·갱신율 중심 지표와 달리, AI는 실제로 완료한 유용한 업무를 중심으로 가치를 측정해야 한다.
• 성공한 작업의 비용에는 모델 사용료와 연산량뿐 아니라 재시도, 지연, 직원 시간, 검토, 수정과 재작업까지 포함해야 한다.
• 측정은 하나의 업무 흐름에서 완료 기준을 명확히 정의한 뒤, 실제 업무가 처리되는 시스템에서 품질 기준을 충족한 결과를 집계하는 방식으로 시작한다.
• 결과를 즉시 사용 가능, 수정 필요, 사람의 개입 필요로 나누면 정확도만으로는 드러나지 않는 AI의 실질적인 업무 절감 효과와 신뢰성을 파악할 수 있다.
• 품질이 유지되거나 향상되는 가운데 완료된 업무가 총비용보다 빠르게 증가한다면, 사용 규모가 커질수록 AI에 투입한 각 달러의 가치도 높아진다.

🧩 주요 포인트

1. AI 성과를 도입량이 아닌 완료된 결과로 측정 → 기술 사용이 실제 운영 가치로 이어졌는지 판단할 수 있다.
2. 모델 단가보다 성공 결과의 전체 비용을 비교 → 더 비싼 모델도 재시도·검토·지연을 줄이면 경제성이 높을 수 있다.
3. 정확성·통제·비용을 같은 업무에서 지속 추적 → 신뢰성을 유지하면서 규모의 경제가 발생하는지 검증할 수 있다.

🧠 상세 정리

1. 도입 지표에서 업무 성과 지표로

글은 최고재무책임자와 기업 경영진이 제기하는 핵심 질문을 AI 지출로부터 어떻게 더 많은 가치를 얻을 것인가로 설정한다. 기존 소프트웨어 시장은 구매한 좌석 수, 활성 사용자 수, 라이선스 갱신 같은 도입 지표를 성공의 기준으로 삼아 왔지만, AI의 가치를 이해하려면 실제로 완료된 업무를 봐야 한다고 주장한다. 기업이 판단해야 할 경제적 쟁점은 AI가 완수한 업무의 가치가 그 업무를 생산하는 비용보다 더 빠르게 증가하는지 여부다. 이를 위해 글은 ‘달러당 유용한 지능’을 궁극적인 평가표로 제시하며, 중요한 업무의 완료량, 성공한 작업의 비용, 결과의 신뢰성, 규모 확대에 따른 가치 증가를 함께 묻는다. 따라서 단순한 사용량 확대는 성과 그 자체가 아니며, 비용과 품질을 고려한 실질적인 업무 결과가 평가의 출발점이 된다.

2. 유용한 업무를 정의하고 측정하는 방법

유용한 업무는 고객 문제 해결, 테스트를 통과한 코드 변경 배포, 정확한 계약 검토, 직원에게 돌려준 시간, 적절한 맥락을 바탕으로 개선된 의사결정처럼 실제로 사용할 수 있는 결과를 뜻한다. 토큰은 그 자체로 가치가 있는 것이 아니라 사람이 활용할 수 있는 업무 결과로 변환될 때 가치를 만든다. 모델의 역량이 높아지면 긴 맥락을 유지하고, 여러 단계를 추론하며, 복수의 도구를 사용하고, 진행 상황에 맞춰 대응하는 더 길고 복잡한 작업을 맡을 수 있다. 측정은 하나의 업무 흐름을 선택하고 그 업무에서 완료가 무엇인지 구체적으로 정의한 다음, 실제 업무가 이루어지는 시스템에서 결과를 확인하는 방식으로 시작한다. 고객지원팀은 고객 문제 해결, 엔지니어링팀은 테스트 통과, 법무팀은 정확하고 기한에 맞는 계약 검토를 각각 완료 기준으로 삼을 수 있다.

3. 재무 업무 사례와 사람의 역할 변화

글은 예측 검토를 준비하는 재무팀을 사례로 들어, 최종 의사결정 이전에 발생하는 복잡한 준비 업무를 설명한다. 이 과정에는 최신 예측 자료 찾기, 데이터를 엑셀이나 스프레드시트로 옮기기, 변경점 식별, 탭 간 수치 조정, 발표 자료 재구성, 전체 계산 검증이 포함된다. 챗GPT 워크는 이러한 과정의 상당 부분을 담당해 팀이 무엇이 바뀌었는지, 왜 바뀌었는지, 다음에 무엇을 해야 하는지에 더 많은 시간을 쓰도록 할 수 있다고 글은 설명한다. 여기서 경제적 가치는 단순히 응답을 빠르게 생성하는 데 있지 않고, 실제 준비 업무를 더 많이 완료하면서 사람의 시간을 판단·창의성·전문성이 필요한 질문으로 이동시키는 데 있다. 이는 AI가 사람을 업무에서 배제한다는 설명보다 반복적인 처리 부담을 줄이고 사람이 핵심 판단에 집중하도록 만드는 업무 재구성의 사례로 제시된다.

4. 성공한 작업의 전체 비용 계산

AI 작업은 짧은 답변부터 깊은 추론, 도구 사용, 다수의 행동이 필요한 코딩·연구·재무 업무까지 복잡성이 크게 다르며, 더 복잡한 작업은 더 많은 연산을 요구하는 대신 더 큰 가치를 만들 수 있다. 모델 수준에서 성공한 작업의 비용은 가격, 사용한 연산량, 올바른 결과에 도달할 가능성에 따라 달라진다. 기업 수준에서는 여기에 직원이 투입한 시간, 사람의 검토, 재시도, 수정과 재작업 비용까지 더해야 한다. 글은 업무 완료에 들어간 전체 비용을 합산하고, 요구된 품질 기준을 충족한 작업 수를 센 다음, 전체 비용을 성공한 작업 수로 나누는 계산 방식을 제안한다. 이 때문에 토큰당 가격이 가장 낮은 모델이 결과당 비용까지 가장 낮다고 단정할 수 없으며, 더 강력한 모델이 한 번에 올바른 답을 제공하면 재시도·지연·검토·총연산량을 줄일 수 있다. 모델 선택은 개별 호출의 단가가 아니라 전체 작업의 경제성을 기준으로 이루어져야 한다는 것이 이 부분의 결론이다.

5. 모델 계층, 효율성 근거와 도입 단계

글은 GPT-5.6 계열을 성능 중심의 솔, 성능과 비용의 균형을 지향하는 테라, 속도와 경제성을 중시하는 루나의 세 계층으로 설명한다. 고속·대량 업무에는 루나, 더 깊은 처리가 필요한 업무에는 테라, 강한 추론으로 시도 횟수를 줄이는 것이 중요한 업무에는 솔을 사용할 수 있지만, 최종 선택 기준은 전체 작업의 경제성이라고 강조한다. 또한 최대 추론 설정의 GPT-5.6 솔이 인공분석 코딩 에이전트 지수에서 다른 선도 모델보다 출력 토큰을 54% 적게 사용하면서 최고 성능을 기록했다고 제시한다. 장기 엔지니어링 작업을 다루는 딥스위 1.1 비교에서는 GPT-5.6 솔이 72.7%를 기록해 클로드 페이블 5의 69.9%를 웃돌았고, 추정 응용프로그램 인터페이스 비용은 36.2% 낮았다고 설명한다. 이어 AI 도입은 초안 작성에서 시작해 맥락 탐색과 여러 도구·데이터에 걸친 추론으로 발전하고, 이후에는 사람이 필요한 판단과 통제를 유지한 채 행동·예외 처리·업무 흐름 완료로 확대된다고 정리한다.

6. 신뢰성의 경제적 가치와 통제 경계

정확하고 출처가 명확하며 일관된 결과를 제공하고 필요한 상황에서 적절히 사람에게 넘기는 신뢰성은 직접적인 경제적 가치를 갖는다. 이런 신뢰성이 높으면 검토, 수정, 반복 작업에 쓰이는 시간이 줄어 성공한 작업의 비용이 낮아지고, 조직은 AI를 더 중요한 업무에 적용할 자신감을 얻을 수 있다. 글은 결과를 전달된 상태로 품질 기준을 충족한 ‘즉시 사용 가능’, 추가 시도나 사람의 수정이 필요한 ‘수정 필요’, 사람이 개입해 마무리해야 하는 ‘개입 필요’로 분류한다. 이 분류는 모델 정확도만 보는 것보다 AI가 프로젝트 완료에 필요한 사람의 업무를 실제로 얼마나 줄였는지 더 풍부하게 보여준다. AI가 초안 작성에서 실제 행동으로 이동하기 전에는 접근 가능한 데이터, 사용하거나 변경할 수 있는 시스템, 사람의 검토나 승인이 필요한 시점을 명확히 정해야 한다. 글은 챗GPT 워크가 챗GPT 엔터프라이즈의 보안·개인정보 보호·규정 준수·작업공간 관리 기반 위에서 더 많은 맥락과 업무 접근을 제공하면서 적절한 감독을 유지한다고 설명한다.

7. 규모 확대와 연산 투자 선순환

규모 확대의 경제성은 동일한 업무 흐름을 시간에 따라 추적하면서 품질 기준을 충족한 작업 수, 완료에 든 전체 비용, 성공한 작업당 비용을 함께 기록해 판단한다. 품질이 유지되거나 향상되는 동안 완료된 업무가 총비용보다 빠르게 증가한다면, AI에 투입한 각 달러가 이전보다 더 많은 가치를 생산하는 것이다. 글은 연산이 연구와 현재의 모든 AI 작업을 뒷받침하며 제품 품질, 속도, 신뢰성, 가용성, 비용에 영향을 준다고 설명하고, 학습 연산은 미래 역량을 구축하며 추론 연산은 현재의 유용한 업무를 제공한다고 구분한다. 더 나은 모델, 효율적인 추론, 목적에 맞춘 하드웨어, 높은 이용률, 지능적인 작업 배분, 강화된 제품 설계는 모두 연산 투자 수익을 높이는 요소로 제시된다. 고객은 이러한 개선을 더 나은 답변, 빠른 결과, 적은 수정, 높은 신뢰성, 낮은 업무 비용의 형태로 경험한다. 기반 시설의 향상이 연구를 가속하고, 연구가 더 유능하고 효율적인 모델을 만들며, 향상된 제품과 도입이 다시 다음 세대의 연구·연산·배포·안전 투자로 이어진다는 누적 구조도 설명한다.

8. 통합 평가표와 최종 목표

글은 오픈AI가 하나의 공유 지능 플랫폼을 통해 연구, 모델, 제품, 개발 도구와 기업 배포를 연결한다고 설명한다. 사람은 챗GPT와 챗GPT 워크를 사용하고, 개발자는 코덱스와 응용프로그램 인터페이스를 통해 서비스를 구축하며, 기업은 실제 업무가 일어나는 시스템에 이를 배치한다. 이 구조에서는 한 계층의 개선이 여러 제품과 고객에게 확산될 수 있다고 본다. 최종 평가표에서 유용한 업무는 AI가 무엇을 생산했는지, 성공한 작업당 비용은 결과 도달에 무엇이 들었는지, 신뢰성은 사람이 결과를 얼마나 안심하고 사용할 수 있는지, 규모에 따른 가치는 각 달러와 연산 단위가 시간에 따라 더 많은 일을 하는지를 보여준다. 글이 제시하는 최종 목표는 더 유능한 모델, 더 빠르고 신뢰할 수 있는 결과, 더 낮은 업무 비용을 통해 사람들이 의미 있는 일을 더 많이 하고 더 나은 결정을 내리며 인간의 판단과 창의성이 필요한 부분에 더 많은 시간을 쓰도록 하는 것이다.

🧾 핵심 주장 / 시사점

• 토큰 단가를 낮추는 최적화는 재시도와 검토가 늘면 전체 비용을 오히려 높일 수 있으므로, 비교 단위는 호출이나 토큰이 아니라 품질 기준을 충족한 최종 작업이어야 한다.
• 높은 역량은 AI를 처음 사용하게 만드는 요인이지만, 반복 업무에 정착시키는 요인은 정확성·일관성·적절한 개입 전환·명확한 권한 통제를 포함한 신뢰성이다.
• 규모의 경제는 사용량 증가만으로 성립하지 않으며, 동일한 업무에서 품질을 유지하거나 높인 상태로 성공한 작업량이 총비용보다 빠르게 늘어나는지를 장기간 확인해야 한다.

✅ 액션 아이템

• ‘달러당 유용한 지능’ 산정에서는 모델 단가보다 성공한 작업의 총비용을 먼저 계산하고 재작업·검토·지연 비용까지 함께 반영한다.
• 하나의 업무 흐름에서 완료 기준을 명확히 정의해 실제 업무가 처리되는 시스템에서 품질 기준 충족 결과만 집계해 ‘달러당 유용한 지능’ 판정을 위해 활용한다.
• 결과를 즉시 사용 가능, 수정 필요, 사람의 개입 필요로 구분하면 정확도만으로는 드러나지 않는 실질적 업무 절감과 신뢰성을 점검한다.

❓ 열린 질문

• 재시도, 지연, 직원 시간, 검토, 수정, 재작업을 포함한 성공한 작업의 총비용은 업무별로 어떤 방식으로 산정할 것인가?
• 품질이 유지되거나 향상되는 가운데 완료 업무가 총비용보다 빠르게 증가할 때 ‘달러당 유용한 지능’의 개선으로 판단할 임계값은 무엇인가?
• 규모 확대에서 사용량 증가가 AI에 투입한 각 달러의 가치로 이어지는지, 정확성·통제·비용을 동시에 어떤 주기로 추적해야 하는가?