YouTubeEvery·2026년 11월 16일·0

Anthropic & Ode Engineers on How Established Companies Win with AI

Quick Summary

Anthropic과 Ode가 제시한 기존 기업의 AI 경쟁력은 숙련자의 판단을 업무에 담고, 품질과 손익을 검증하며, 직원이 효과를 직접 보고 새 방식을 채택하게 하는 데서 나온다.

영상 보기

클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.

원본 열기

🖼️ 인포그래픽

Anthropic & Ode Engineers on How Established Companies Win with AI 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

Anthropic & Ode Engineers on How Established Companies Win with AI의 핵심 내용을 4단계로 요약한 인포그래픽
Anthropic & Ode Engineers on How Established Companies Win with AI 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 결론

Anthropic과 Ode가 제시한 기존 기업의 AI 경쟁력은 숙련자의 판단을 업무에 담고, 품질과 손익을 검증하며, 직원이 효과를 직접 보고 새 방식을 채택하게 하는 데서 나온다.

📌 핵심 요점

  1. 자동화할 일은 현장에서 고른다. Ode는 고객의 첫 제안에서 출발해 실무자가 일하는 모습을 살핀다. 숙련자에게 특정 문서를 열어 보지 않은 이유를 물으면, 인터뷰에서 빠졌던 판단 기준이 드러나기도 한다.
  2. AI에 맡기는 범위는 단계적으로 넓힌다. Ode의 휴 윔벌리는 AI가 업무를 관찰하는 단계부터 시작해, 다음에는 AI가 준비한 결과를 사람이 검토하고 승인하는 방식을 제안했다. 무엇을 고쳤는지 기록하면 처음에 예상하지 못한 오류 패턴도 살펴볼 수 있다.
  3. 처음 결과가 나오는 시간과 검증이 끝나는 시간을 함께 잰다. Anthropic의 제러미 햇필드에 따르면 Bun의 약 100만 줄 코드베이스를 Rust로 재작성하는 데는 약 일주일이 걸렸고, 검증에는 몇 주가 더 들었다. 그는 새 모델을 평가할 때도 같은 업무에서 건당 비용, 결과의 품질, 회사 정책 준수 여부를 확인해야 한다고 봤다.
  4. 숙련자용 도구의 첫 사용자는 신입일 수 있다. 윔벌리가 소개한 회사에서는 3개월간 도제식 교육을 받던 신입들이 AI에 직접 질문하며 일을 더 빨리 익혔다. 처음에 도구를 쓰지 않던 경력자들도 신입들이 같은 일을 더 빨리 처리하는 모습을 본 뒤 사용하기 시작했다고 한다.
  5. 건당 비용이 낮아지면 고객층이 달라질 수 있다. 윔벌리가 소개한 한 팀은 시간 절감을 기대하고 AI를 도입했다. 이후 비용 때문에 일부 고객에게만 제공하던 서비스를 더 넓은 고객층에 제공하면서 예상보다 큰 손익 효과를 얻었다고 한다.

🧩 배경과 문제 정의

  • Ode의 엔지니어 휴 윔벌리는 고객사에서 AI 시스템을 설계하고 배포한다. 목표는 사람의 업무 부담을 줄이거나 기존에는 만들 수 없던 제품을 개발해 고객사의 손익에 영향을 주는 것이다.
  • Anthropic의 제러미 햇필드는 소프트웨어 기업의 AI 도입을 지원한 뒤 모델 훈련과 출시를 담당하는 연구 제품관리로 옮겼다. 고객 현장에서 어떤 업무가 막히는지, 모델이 개선되면 그 문제가 풀리는지가 그의 관심사다.
  • 기존 기업에는 숙련자가 오랜 경험으로 익혔지만 문서로 남기지 않은 판단 기준이 있다. AI 전환에는 이 지식을 찾아내는 일, 업무 성과를 검증하는 일, 직원이 새 방식을 실제로 쓰게 만드는 일이 함께 필요하다.

🕒 시간순 섹션별 상세정리

1. 개발 과정에서 사람의 시간이 많이 드는 지점을 찾는다

  • 햇필드는 고객사가 풀려는 사업 문제에서 출발한다. 소프트웨어 기업이라면 개발 주기 전체를 살펴 사람이 들이는 시간에 비해 성과가 작은 단계를 찾고, 에이전트가 작성한 코드를 스스로 검증할 수 있는지 살핀다. [03:11]
  • 햇필드가 든 Shopify 사례에서는 제품 관리자도 직접 제품을 만들고 엔지니어는 더 넓은 범위의 일을 맡는다. Anthropic은 고객사와 몇 달마다 기대한 투자수익이 났는지, 모델 성능이 여전히 제약인 업무는 무엇인지 점검한다. [03:57]

2. 고객의 첫 제안에서 출발해 풀 문제 자체를 다시 고른다

  • Ode에서는 고객의 첫 아이디어를 그대로 구현하기도 하고, 몇 달간 실무자와 함께 업무를 살펴 더 가치 있는 과제를 찾기도 한다. 이미 하는 일을 빠르게 만드는 데만 집중하면 실무자도 문제로 인식하지 못했던 일이 빠질 수 있다. [04:42]
  • 햇필드는 고객이 예상한 생산성 향상뿐 아니라 새로 시도할 수 있는 창의적 작업까지 검토해야 AI 도입의 기대효과를 제대로 가늠할 수 있다고 본다. [05:05]

3. 대규모 코드 재작성에서는 구현과 검증에 드는 시간이 달라진다

  • 햇필드에 따르면 자바스크립트 런타임 Bun은 약 100만 줄의 코드베이스를 AI로 약 일주일 만에 Rust로 재작성했고, 검증에는 몇 주가 더 걸렸다. 그는 기존 방식이라면 팀 단위로 1년 넘게 걸렸을 수 있다고 추정했다. [06:01]
  • 햇필드는 Rust를 몰랐던 엔지니어들이 Anthropic의 자체 API를 Rust로 다시 작성해 효율을 높이고 지연 시간을 줄였다고 말했다. 리눅스 커널의 취약점을 찾아 신속하게 수정한 일도 개별 작업을 넘어 더 넓은 범위를 AI에 맡긴 사례로 들었다. [06:28]

4. 숙련자의 판단 기준은 실제 업무를 지켜봐야 드러난다

  • 윔벌리는 도입이 막히는 주된 이유로 변화 관리를 꼽았다. Bun에는 기대 동작을 확인할 테스트가 많았지만, 숙련자가 자신의 업무 기준을 목록으로 적으면 본인이 실제로 고려하는 것의 절반 정도만 드러날 수 있다는 설명이다. [08:05]
  • Ode는 실무자에게 평소처럼 일을 맡기고 선택의 이유를 묻는다. 가령 어떤 문서를 열어 보지도 않은 이유를 물으면, 당사자에게는 너무 당연해서 인터뷰에서는 생략했던 판단 기준을 알아낼 수 있다. [09:04]

5. 관찰 모드와 사람의 승인을 거쳐 자동화 범위를 넓힌다

  • 윔벌리가 제시한 중간 단계에서는 AI가 먼저 실제 업무에 개입하지 않고 진행 과정을 관찰한다. 다음에는 AI가 일을 미리 해 두고 사람이 결과를 검토해 승인한다. [10:10]
  • 이때 사람이 무엇을 고쳤는지까지 상호작용 기록에 남긴다. 에이전트가 기록 전체를 살펴보면 설계자가 미리 지표로 정하지 못한 패턴도 발견할 가능성이 있다. [10:37]

6. 업무별 평가에서 비용·품질·안전성을 함께 확인한다

  • 햇필드가 보는 성숙한 도입 팀은 새 모델이 나올 때마다 같은 업무에서 성능이 얼마나 달라지는지 측정한다. 기존 모델이 이미 만점을 받는 평가로는 개선 폭을 알기 어렵다. 코드 변경 검토라면 건당 비용과 함께 검토 품질, 남은 버그와 취약점 수도 볼 수 있다. [12:11]
  • 햇필드가 만난 한 정부 기관은 외부 계약자에게 맡겨 수개월과 수백만 달러가 들던 규정 준수 절차를 Claude로 약 일주일까지 단축했다고 한다. 이 기관에는 새 모델도 같은 업무를 충분히 수행하는지 판별할 기준이 있었다. [12:37]

7. 자동화의 완료 기준은 사람의 투입량일 수도, 오류율일 수도 있다

  • 사람과 에이전트의 협업 범위를 계속 넓히는 업무와 달리, 사람의 투입을 없애는 것이 목표인 업무에는 완료 기준을 세울 수 있다. 윔벌리는 인건비가 모델 실행 비용의 100배인 경우라면 추가 비용 절감보다 기존 팀의 성과 지표를 달성하거나 넘기는지가 중요하다고 봤다. [14:17]
  • Ode가 범위를 검토하던 한 프로젝트에서는 노동시간 절감의 가치가 거의 없었다. 고객 내부 분석상 실수 한 건의 손실 중앙값이 70만 달러였고 드물게 손실이 훨씬 커졌기 때문이다. 오류율을 0.03%에서 0.01%로 낮추는 것은 검토 단계의 예시였으며, 시스템은 아직 구축 전이었다. [15:06]

8. 예상 밖의 편익과 정답이 없는 작업은 투자수익 측정을 어렵게 한다

  • 윔벌리는 프로젝트를 몇 달 진행한 뒤에야 원래 과제를 풀면서 다른 문제까지 해결했다는 사실을 발견한 경험이 있다. 부수적으로 해결한 문제의 효과가 더 컸던 경우도 있어, 착수 시점에 가장 가치 있는 결과를 예측하기는 어렵다고 봤다. [16:18]
  • 정답을 자동으로 확인하기 어려운 업무에서는 사람이 결과를 표본 검토하고, 평가용 모델로 정성적 품질 비교를 일부 자동화할 수 있다. 햇필드는 이런 업무까지 포함해 AI 투자수익을 일관되게 측정하는 방법은 업계 전반에서 아직 미성숙하다고 평가했다. [17:24]

9. 건당 비용이 내려가면 서비스를 제공할 수 있는 고객층이 달라진다

  • 윔벌리가 소개한 사례에서는 비용이 너무 높아 가치가 가장 큰 고객에게만 제공하던 서비스를 더 넓은 고객층에 제공할 수 있게 됐다. 처음에는 팀의 시간 절감을 기대했지만, 실제로는 공략할 수 있는 시장이 넓어지면서 예상보다 큰 손익 효과가 났다고 한다. [18:08]

10. 숙련자용 도구가 신입 교육에서 먼저 가치를 보였다

  • Ode가 전문가의 지식을 담아 만든 시스템은 이미 일에 익숙한 직원들 사이에서는 빠르게 확산되지 않았다. 윔벌리에 따르면 같은 시스템이 업무를 처음 배우는 직원의 교육에 쓰이면서 효과를 낸 일이 두 차례 있었다. [18:57]
  • 한 회사는 원래 3개월의 도제식 교육을 운영했다. 신입은 전문가의 지식이 담긴 AI에 직접 질문하며 더 빨리 배웠고, 독립적으로 일할 수 있게 된 뒤에도 그 도구를 계속 사용했다. [19:30]

11. 고객이 먼저 찾은 활용처와 모델 비용 하락이 수익에 영향을 줬다

  • 햇필드에 따르면 일부 고객은 Anthropic이 가능성을 충분히 인식하기 전부터 모델을 신약 후보 발굴과 새로운 치료법 연구에 활용하고 임상시험 절차를 앞당기는 데 썼다. 모델 공급자보다 해당 분야의 고객이 먼저 용도를 발견한 사례다. [20:19]
  • 직원에게 폭넓은 사용량을 허용하면 탐색 초기에는 비용이 클 수 있다. 햇필드는 일찍 투자한 일부 고객이 새 사업 기회를 얻고 모델 비용 하락의 혜택도 보면서 이익률을 높였다고 말했다. 그는 1달러로 얻는 모델 역량의 개선 폭을 전년 대비 약 100배로 표현했다. [21:26]

12. 목적지가 불확실할 때는 직원이 체감하는 작은 변화부터 시작한다

  • 화이자 직원은 175년 된 조직에서 AI 전환 이후의 업무 모습을 미리 정하기 어렵다고 했다. 목적지와 이행 경로, 직원 개인이 얻을 이익을 사전에 설명하던 기존 변화 관리 방식이 여기서 막힌다는 문제였다. [22:37]
  • 윔벌리는 직원이 꺼리는 작업부터 덜어 주는 방식을 제안했다. 예를 들어 20분 걸리던 양식 작성을 AI가 대부분 미리 채우고, 사람은 오류를 찾아 점수를 받게 할 수 있다. 직원이 직접 편의를 경험하면 사용을 늘릴 이유가 생긴다는 설명이다. [24:26]

13. 동료의 시연과 신입의 성과가 자발적 도입을 이끈다

  • 햇필드는 소수의 초기 사용자가 충분한 사용량을 배정받아 여러 업무를 실험하고, 효과가 난 사례를 동료 앞에서 구체적으로 시연할 때 활용이 조직 전체로 퍼질 수 있다고 봤다. [25:21]
  • 앞서 3개월의 도제식 교육을 운영하던 회사에서는 20년간 일한 직원들도 처음에는 AI 도우미를 쓰지 않았다. 윔벌리에 따르면 이들은 신입들이 같은 일을 더 빠르게 처리하는 모습을 본 뒤에야 사용하기 시작했다. [25:53]

14. 비정형 기록 분석은 사람이 발견한 사례로 평가 기준을 세운다

  • 구글의 한 시장 진출 조직에서는 회의 기록, 문서, 발표 자료 사이에서 미처 생각하지 못한 연관성을 찾으려 했다. 질문자가 만든 에이전트들은 의미 있는 패턴을 찾거나 발견한 내용을 명확히 전달하는 데 어려움을 겪었다. [27:15]
  • 윔벌리는 사람이 기록 일부를 직접 읽고 찾아낸 패턴을 에이전트의 평가 사례로 바꾸는 방식을 제안했다. AI가 결과를 채점한다면 그 채점의 품질도 따로 평가한다. 분석 품질이 사람 수준에 이르면 같은 기준을 수천 시간 분량의 기록에 적용할 수 있다는 구상이다. [28:33]

15. 효율 개선을 경험한 뒤에는 자기 업무에서 무엇이 더 가능한지 봐야 한다

  • 로열캐리비안 직원은 불편한 일을 줄이고 도입 불안을 낮춘 다음의 과제를 짚었다. 직원이 재설계된 기존 업무를 감독하는 단계에서 벗어나, 이전에는 생각하지 못한 일까지 구상하도록 어떻게 도울 수 있느냐는 질문이었다. [29:30]
  • 햇필드는 직원이 자기 직무에서 AI로 무엇을 할 수 있는지 구체적으로 봐야 가능성을 믿게 된다고 답했다. 이메일 처리가 편해지고 생산성이 조금 높아졌다는 감각은 그가 설명한 초기 단계의 경험이다. [29:55]

16. 익숙한 분야의 도전적인 사례가 업무를 다시 생각할 계기를 준다

  • 실무자는 다른 사람이 자신에게 익숙한 분야에서 도전적인 과제에 AI를 적용해 어떻게 작동하는지 보여줄 때, 자기 업무도 새롭게 설계하고 결과까지 책임질 가능성을 그려볼 수 있다. [30:11]
  • 제약 등 규제 산업의 실무자들이 품는 의문은 특히 구체적이다. 이미 자신이 잘 아는 업무에서도 AI의 도움이 클지 확신하기 어렵다는 것이다. [30:29]

17. 좁은 업무 하나로도 절차를 다시 설계할 가능성을 보여줄 수 있다

  • 예를 들어, 수행하기 까다로웠던 12단계 절차 하나에 AI를 적용해 그 절차를 전면적으로 다시 설계할 수 있는지 보여주는 방식이다. [30:42]
  • 실무자의 판단을 바꾸는 데에는 가능한 일을 길게 설명하는 것보다 구체적인 시도를 하고 그 결과를 직접 확인하게 하는 편이 더 효과적이다. [30:57]

🧾 결론

  • 기존 기업에는 숙련자가 매일 쓰면서도 문서에 남기지 않은 기준이 있다. 실제 선택과 그 이유를 기록하면 AI의 결과를 검토할 때도 같은 기준을 적용할 수 있다.
  • 자동화의 완료 기준은 업무 목적에 따라 달라진다. 실수 한 건의 손실이 큰 업무라면 기존 팀과 오류율을 비교해야 개선의 가치를 판단할 수 있다.
  • 직원이 AI를 쓸 이유는 자기 업무에서 구체적으로 드러난다. 동료가 익숙한 일을 어떻게 처리했고 결과가 얼마나 달라졌는지 보여주는 시연이 도입의 계기가 될 수 있다.

📈 투자·시사 포인트

  • 비용 구조를 볼 때는 모델 실행비에 사람이 검토하고 수정하는 시간까지 더해야 한다. 그래야 결과 한 건을 실제로 사용할 수 있게 만드는 비용을 비교할 수 있다.
  • 시장 확대 효과를 평가하려면 기존 고객을 응대하며 절약한 시간과, 건당 비용 하락으로 새로 서비스를 제공할 수 있게 된 고객층을 함께 살펴야 한다.
  • 투자 후 점검에서는 처음 예상한 편익과 나중에 발견한 편익을 각각 기록할 만하다. 햇필드는 Anthropic이 고객사와 몇 달마다 기대한 수익이 났는지, 어떤 업무가 여전히 모델 성능에 막히는지 확인한다고 설명했다.

⚠️ 불확실하거나 확인이 필요한 부분

  • Bun의 재작성·검증 기간은 햇필드가 소개한 수치다. 기존 방식으로 1년 넘게 걸렸을 수 있다는 설명은 그의 추정이어서, 이 사례만으로 정확한 시간 절감률을 계산하기 어렵다.
  • Ode가 검토한 프로젝트에서 실수 한 건의 손실 중앙값 70만 달러는 고객 내부 분석치였다. 오류율을 0.03%에서 0.01%로 낮춘다는 수치는 구축 전 검토에 쓰인 가정이므로 달성 실적으로 인용할 수 없다.
  • 고객층이 넓어졌다는 사례에는 추가 매출이나 이익 규모가 제시되지 않았다. 정답이 없는 업무의 품질과 투자수익을 일관되게 측정하는 방법도 아직 미성숙하다는 것이 햇필드의 평가다.
  • 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
  • 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
  • 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

  • 직원이 자주 꺼리는 업무 하나를 골라 숙련자가 처리하는 과정을 지켜보고, 건너뛴 단계 하나에 대해 그 이유를 기록한다.
  • AI가 준비한 결과를 사람이 승인하는 시험 운영을 진행하고, 어떤 항목을 왜 수정했는지 남긴다.
  • 같은 업무 사례로 기존 팀과 AI 도입 후의 결과를 비교한다. 검토 시간을 포함한 건당 비용과 오류율을 기록하고, 정답이 분명하지 않은 결과는 사람이 표본 검토한다.
  • 초기 사용자가 실제 업무 사례를 동료에게 시연하게 하고, 이후 누가 어떤 일에 도구를 계속 쓰는지 확인한다.

❓ 열린 질문

  • 숙련자가 결과를 자주 수정하는 지점에는 어떤 판단 기준이 숨어 있으며, 그 기준을 다음 평가에 어떻게 반영할 수 있을까?
  • 서비스 한 건을 제공하는 비용이 어느 수준까지 내려가면 지금은 응대하기 어려운 고객층까지 수익성 있게 지원할 수 있을까?
  • 정답이 하나로 정해지지 않은 업무에서 평가용 모델의 점수가 사람의 품질 판단을 얼마나 잘 반영하는지 어떻게 확인할 수 있을까?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.