YouTubeStanford Online·2026년 11월 19일·0

AI Costs: Tokens, Energy, Model Choice & API Keys

Quick Summary

AI 서비스의 비용을 판단하려면 실제로 소비한 토큰과 에너지를 살피고, 작업에 맞는 모델과 API 키 사용료를 부담할 주체를 정해야 한다.

영상 보기

클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.

원본 열기

🖼️ 인포그래픽

AI Costs: Tokens, Energy, Model Choice & API Keys 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

AI Costs: Tokens, Energy, Model Choice & API Keys의 핵심 내용을 4단계로 요약한 인포그래픽
AI Costs: Tokens, Energy, Model Choice & API Keys 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 결론

AI 서비스의 비용을 판단하려면 실제로 소비한 토큰과 에너지를 살피고, 작업에 맞는 모델과 API 키 사용료를 부담할 주체를 정해야 한다.

📌 핵심 요점

  1. 화면에 보이는 대화는 토큰 사용량의 일부다. 시스템 지침과 도구 목록도 모델이 읽는 입력이고, 추론 모델이 답변을 준비하며 생성한 토큰도 출력 예산에 포함된다. 강의 예시에서는 스킬 네 개를 한 번도 호출하지 않았는데도 그 목록이 요청마다 225토큰을 차지했다.
  2. 반복할 입력과 버릴 입력을 구분하면 비용을 줄일 수 있다. 같은 작업에서 계속 쓰는 지침은 캐시로 계산 결과를 재사용할 수 있다. 강의에 따르면 캐시에서 읽은 입력 토큰은 일반 입력 요금보다 최대 약 90% 저렴할 수 있다. 주제가 바뀌면 새 세션을 열어 이전 대화를 다시 처리하는 비용을 줄일 수 있다.
  3. 모델은 각 단계에서 내려야 할 판단에 맞춰 고른다. 강의자는 AI 튜터 Wayfinder에서 연속된 코드 줄 수를 검사하는 일은 작은 모델에도 맡길 수 있다고 봤다. 반면 교직원용 챗봇에서 인용한 규정이 실제로 답변을 뒷받침하는지 확인하려면 규정을 해석할 능력이 필요하다. Wayfinder 테스트에서는 생성과 검사가 여러 차례 반복돼 학생의 대기 시간이 길어진 사례도 있었다.
  4. 에너지 사용량은 무엇을 생성하느냐에 따라 크게 달라진다. 강의가 인용한 연구에서는 텍스트 생성 대비 이미지 생성에 28~40배, 영상 생성에 1,000~3,000배의 에너지가 든다고 추정했다. 상용 모델은 세부 자료 공개가 제한적이어서 개별 서비스의 소비량을 이 배율만으로 계산하기 어렵다.
  5. API 키는 모델을 호출할 권한과 요금을 낼 계정을 연결한다. 강사는 550명 모두에게 무료로 튜터를 제공하려고 자신의 카드에 연결된 키를 선택했다. 웹서비스에서 운영자가 비용을 부담할 때는 방문자에게 전달되는 코드에 키가 들어 있는지도 확인해야 한다. 화면에 키가 보이지 않아도 그 계정에 사이트 밖 사용료가 청구될 수 있다.

🧩 배경과 문제 정의

  • 주간 과제보다 큰 프로젝트에서는 사용자가 입력한 질문과 화면에 보이는 답변만으로 세션 비용을 설명하기 어렵다. 매 요청에 딸려가는 지침과 모델의 추론도 토큰을 소비한다.
  • AI 사용에는 요금 외에도 전력과 물 소비, 탄소 배출이 따른다. 상용 모델의 세부 자료가 충분히 공개되지 않아 기업의 자체 보고와 공개 모델 연구로 영향을 추정해야 한다.
  • 여러 에이전트가 한 요청을 처리하면 각 단계의 대기 시간이 누적된다. 모델을 고를 때는 비용과 응답 속도뿐 아니라 각 단계에서 어떤 판단을 얼마나 정확하게 내려야 하는지도 고려해야 한다.

🕒 시간순 섹션별 상세정리

1. 프로젝트 규모가 커질 때 추적할 비용

  • Claude Code의 토큰 사용 보고서는 작은 과제에서 더 큰 프로젝트로 넘어갈 때 사용량이 어디서 늘어나는지 확인하는 출발점이다. [00:29]
  • Hopscotch와 OpenRouter를 이용하면 같은 작업에 서로 다른 모델을 적용하고 모델별 사용량을 관리할 수 있다. [01:50]

2. API 응답 대기 시간과 세션 경과 시간

  • Claude Code에서 /usage로 확인한 예시 세션의 총비용은 28달러였다. [03:01]
  • API 소요 시간에는 모델의 계산 시간, 노트북과 데이터센터 사이의 왕복 통신 시간, 서버가 혼잡할 때의 대기가 포함된다. 요청을 50번 보냈다면 보고서에는 50번의 대기 시간을 합산한다. [04:19]

3. 화면에 보이지 않는 입력·출력 토큰

  • 입력 토큰은 세션 동안 모델이 읽은 전체 분량이다. 사용자가 쓴 질문 외에 설정, 활성화한 도구의 연결 지침, 시스템 지침도 컨텍스트에 들어간다. [05:51]
  • 출력 토큰은 모델이 생성한 전체 분량이다. 추론 모델에서는 최종 답변을 만들기까지 추론 과정에서 생성한 토큰도 출력 예산에 포함된다. [06:27]

4. 반복되는 컨텍스트의 계산을 재사용하는 캐시

  • 한 세션에서는 시스템 지침이나 설정이 여러 요청에 걸쳐 그대로인 경우가 많다. 캐시는 이 부분을 미리 계산해 두어 새 요청마다 같은 텍스트를 다시 처리하는 부담을 줄인다. [07:23]
  • 캐시에서 읽은 입력 토큰에는 일반 입력 토큰 요금 대비 최대 약 90%의 할인이 적용될 수 있다. [07:55]

5. 사용하지 않은 스킬도 차지하는 입력 공간

  • 예시 에이전트에는 한 범주에 스킬 네 개가 있었고, 그 스킬 목록과 관련된 225토큰이 요청마다 컨텍스트에 들어갔다. [11:08]
  • 세션에서 해당 스킬을 한 번도 호출하지 않아도 이 비용은 발생한다. 에이전트에 필요한 스킬만 활성화하면 매번 반복되는 입력을 줄일 수 있다. [11:42]

6. 작업 전환과 하위 에이전트 배정으로 줄이는 비용

  • 다른 작업으로 넘어갈 때 /clear로 세션을 새로 시작하면 이전 주제의 대화를 계속 들고 갈 필요가 없다. 같은 작업을 이어갈 때도 무엇이 컨텍스트를 채우는지 점검할 수 있다. [12:41]
  • 사용 보고서의 예시에서는 Claude Opus와 그보다 작고 저렴한 Haiku가 일을 나눴다. 범용 하위 에이전트에 어떤 모델을 배정할지는 맡길 작업의 난도에 따라 결정할 수 있다. [13:16]

7. Gemini 요청 한 건의 환경 비용과 측정 한계

  • 전력·물 소비와 탄소 배출에 관한 세부 자료는 충분히 공개되지 않는다. 연구자들은 공개 모델을 자체 서버에서 실행해 자원 사용량을 추정하기도 한다. [14:29]
  • Google은 2025년 Gemini의 ‘중앙값에 해당하는 텍스트 요청’ 한 건에 물 0.26mL가 들었다고 자체 보고했다. 강의 자막은 전력 수치를 0.24W로 표기하고, 사용 규모를 TV 약 9초 시청에 비유한다. [15:41]

8. 이미지·영상 생성과 추론 모드의 에너지 사용량

  • 강의에서 인용한 연구 추정치에 따르면 텍스트 생성 대비 에너지 사용량은 이미지 생성이 28~40배, 영상 생성이 1,000~3,000배였다. [16:46]
  • 추론 모드의 에너지 사용량은 평균 약 30배였지만 일부 모델에서는 150배나 700배에 이르렀다. 공개 모델 사이에서도 편차가 커서 이 배율을 상용 모델에 그대로 적용하기는 어렵다. [17:18]

9. 긴 컨텍스트가 추가하는 비용

  • Epoch AI는 컨텍스트에 입력 토큰이 1만 개일 때와 10만 개일 때의 비용을 계산했다. 주제가 바뀔 때 새 대화를 시작하는 습관은 이미 끝난 작업의 내용을 다음 요청에서도 계속 처리하는 부담을 줄인다. [18:34]

10. 다단계 에이전트에서 누적되는 응답 지연

  • 큰 모델은 더 어려운 일을 처리할 수 있지만 답을 받기까지 오래 걸릴 수 있다. 사용자가 결과를 기다리는 시간인 지연 시간(latency)도 모델 선택 기준이다. [19:35]
  • 여러 에이전트가 순서대로 일하면 단계별 지연이 누적된다. 같은 추가 지연이 다섯 번 발생하면 처음 요청부터 최종 응답까지 사용자가 더 기다리는 시간도 그 다섯 번의 합이 된다. [20:59]

11. Wayfinder가 정답 요청을 걸러내고 학습을 돕는 방식

  • Stanford의 컴퓨터과학 수업 106B에서 사용하는 AI 튜터 Wayfinder는 입력 검사 에이전트로 과제 정답을 직접 요구하는 질문을 가려낸다. 그런 요청에는 개념을 질문하도록 권하는 미리 작성된 안내문을 돌려준다. [22:11]
  • 입력 검사를 통과한 질문은 응답 생성 에이전트가 처리한다. 수업 자료를 인용하고 비유나 소크라테스식 질문을 활용해 학생이 개념을 이해하도록 돕는다. [22:48]

12. 출력 검사와 재생성이 튜터의 대기 시간에 미치는 영향

  • 입력 검사를 통과한 질문에도 튜터가 정답을 지나치게 드러낼 수 있다. 출력 검사 에이전트는 학생에게 보낼 응답을 확인하고, 문제가 있으면 생성 에이전트에 다시 작성을 요청한다. [24:03]
  • Wayfinder 테스트에서는 응답이 검사를 통과하기까지 생성과 검사를 여러 차례 반복한 경우가 있었다. 이런 요청에서는 한 번의 모델 호출에서 생기는 속도 차이가 최종 대기 시간에 거듭 반영된다. [24:30]

13. 에이전트별 모델 선택에서 함께 볼 크기와 세대

  • 입력 검사, 응답 생성, 출력 검사에 같은 모델을 배정할 필요는 없다. Stanford AI Playground의 예시에서는 같은 GPT-6 세대 안에서도 크기가 다른 모델을 선택할 수 있었다. [25:17]
  • 선택지는 모델 세대에 따라서도 달라진다. 이전 세대의 한 모델과 새 세대의 크기가 다른 모델 중 어느 쪽이 적합한지는 각 에이전트에 필요한 능력과 비용을 함께 따져야 한다. [25:50]

14. 규정 질의응답에서 인용의 존재와 의미 검증

  • Stanford의 교직원용 챗봇은 사람을 대상으로 하는 연구의 준수 절차나 유급휴가 승인 절차 같은 질문을 받으면 교직원 편람을 검색해 답변의 근거를 찾는다. [27:11]
  • 이런 시스템의 출력 검사는 인용한 문서가 실제로 존재하는지와 그 문서가 답변의 주장을 뒷받침하는지를 모두 확인해야 한다. 강의에서 든 법률 서면 사례처럼, 실제 판례를 인용하고도 그 판결의 취지를 잘못 설명할 수 있다. [28:13]

15. 출력 검사에 필요한 모델 성능을 가르는 판단 기준

  • 수업용 튜터의 출력 검사에는 ‘연속된 코드가 세 줄을 넘으면 안 된다’는 명확한 기준이 있었다. 강의자는 이처럼 해석의 여지가 작은 검사는 가장 작고 저렴한 모델도 합리적으로 처리할 수 있다고 보았다. [28:58]
  • 규정 챗봇의 출력 검사자는 직원이 설명한 상황을 해석하고 관련 정책을 적용해 답변이 맞는지 판단해야 한다. 강의자는 이 경우 검사자가 응답 생성자와 대등한 판단 책임을 지므로 튜터의 출력 검사와는 다른 모델 선택이 필요하다고 보았다. [29:45]

16. API 키가 프로그램의 모델 사용과 계정 청구를 연결한다

  • API 키는 프로그램이 계정 소유자를 대신해 모델을 호출할 때 쓰는 자격 증명이다. 프로그램에서 발생한 모델 사용료는 해당 계정에 청구된다. [31:20]
  • 결제 카드가 연결돼 있으면 키 노출이 금전적 피해로 이어질 수 있다. API 키도 비밀번호처럼 보호하고, 공개된 장소에 적어 두거나 문자 메시지로 보내는 일을 피해야 한다. [31:50]

17. AI 튜터 비용을 강사가 부담할지 학생별로 나눌지 결정한다

  • 강사는 550명이 사용량 제한 없이 튜터를 쓰면 비용을 감당할 수 있을지 우려했지만, 모두에게 동등한 무료 접근을 보장하려고 자기 카드에 연결된 키를 선택했다. 수업에 필요한 사용량보다 수업 외 용도로 쓰면서 발생할 비용을 더 걱정했다. [33:22]
  • 월 비용이 감당하기 어려워지면 학생마다 자기 카드에 연결된 API 키를 사용할 수도 있다. 이 경우 많이 쓰는 학생은 더 내고, 전혀 쓰지 않는 학생은 비용을 내지 않는다. [34:04]

18. 공개 웹사이트에서 AI 기능을 제공하면서 키를 보호해야 한다

  • 운영자가 웹사이트 이용자의 AI 사용료를 부담하더라도, 방문자에게 전달되는 코드에 키가 드러나면 사이트 밖에서 발생한 사용료까지 청구될 수 있다. 코드 검토에서는 방문자가 AI 기능을 쓸 때 키 자체가 공개되는지 확인해야 한다. [36:37]
  • 해적 말투 번역기 시연에서는 요청이 Anthropic에 도달했지만 유효하지 않은 키라는 응답이 돌아왔다. 공개될 수 있는 코드에 실제 키를 넣지 않으려고 시연용 가짜 키를 썼기 때문이다. [38:02]

19. 유타의 데이터센터 입지 논쟁은 물과 토지, 소음에 집중됐다

  • 강의에서 인용한 분석에 따르면 AI 데이터센터 입지는 일부 선거에서 주요 쟁점이었다. 유타에서는 투자자 케빈 올리리가 솔트레이크시티 북쪽 농촌에 추진한 대형 데이터센터의 부지 규모와 물 사용량이 논란이 됐다. [43:41]
  • 유타의 물 부족으로 그레이트솔트호가 말라가는 상황에서, 예정지가 호수로 물을 공급하는 수원과 가까워 많은 주민이 반대했다. [44:14]

20. 투표 안건과 출구조사에 데이터센터를 둘러싼 여론이 드러났다

  • 강의에서 제시한 집계에 따르면 11월 3일에는 10개 주에서 데이터센터 관련 안건 41건을 표결했다. 2026년 앞서 치른 투표와 12월 예정분까지 포함하면 13개 주 50건이다. [45:31]
  • CNBC 출구조사에서는 응답자의 50%가 데이터센터 문제를 투표 결정의 핵심 요인이나 주요 요인으로 꼽았다. CBS가 자기 지역에 데이터센터가 들어서는 데 찬성하는지 물었을 때는 응답자의 76%가 반대했다. [46:04]

21. 안건 41건 중 40건이 반대 방향으로 결정됐고 텍사스 유치 정책도 쟁점이 됐다

  • 강의에서 소개한 결과에 따르면 11월 3일 표결한 안건 41건 가운데 40건이 데이터센터에 반대하는 방향으로 결정됐다. 안건의 문구가 달라 어떤 곳에서는 찬성표가, 다른 곳에서는 반대표가 같은 뜻을 나타냈다. [46:53]
  • 텍사스는 경제 개발을 위해 신규 AI 데이터센터를 적극 유치해 왔다. 주지사 선거에서 도전자 지나 이노호사는 그레그 애벗 주지사의 유치 정책을 주요 쟁점으로 삼았다. [47:35]

22. 모델 선택의 전력 수요는 데이터센터를 받아들일 지역의 문제와 연결된다

  • 강사는 선거 결과를 모델 선택과 연결해 해석했다. 토큰과 전력을 많이 쓰는 모델 때문에 자기 지역에 데이터센터를 새로 지어야 한다면 주민들이 그런 선택을 달가워하지 않을 수 있다는 뜻이다. [48:06]
  • 강의에 따르면 텍사스를 비롯한 여러 지역의 데이터센터에 투자한 일론 머스크는 선거 다음 날인 11월 4일, 우주 데이터센터가 매력적으로 보인다는 글을 올렸다. 강사는 이 발언을 지상에서 데이터센터 입지를 찾기 어렵다는 반응으로 해석했다. [48:47]

🧾 결론

  • 세션 비용을 설명하려면 질문과 답변의 길이뿐 아니라 매번 읽는 지침, 캐시에서 재사용한 입력, 답변을 준비하는 데 쓴 출력 토큰까지 살펴야 한다.
  • 모델 선택의 기준은 사용자가 받아 보는 답변이다. 생성과 검사를 모두 거친 뒤에도 답이 정확한지, 다시 작성하는 시간까지 포함해 얼마나 기다리는지를 함께 봐야 한다.
  • AI 기능을 무료로 제공해도 사용료는 발생한다. 어느 계정에 청구할지 정하는 결정은 이용자의 접근성과 운영자가 부담할 비용을 함께 바꾼다.

📈 투자·시사 포인트

  • AI 서비스의 원가를 비교할 때는 같은 작업을 끝내는 데 든 총비용이 유용하다. 토큰 단가가 같아도 반복 입력의 캐시 적용 여부와 답변 재생성 횟수에 따라 요청 한 건을 처리하는 비용이 달라진다.
  • 교육용 서비스에서 운영자 일괄 결제는 학생의 결제 여력과 관계없이 접근을 보장할 수 있다. 학생별 키를 쓰면 운영자의 부담은 줄지만 많이 쓰는 학생이 더 많은 비용을 낸다.
  • 데이터센터 입지를 평가할 때는 냉각에 쓸 물의 출처와 인근 주민이 겪을 소음도 살펴야 한다. 강의가 소개한 유타 사례에서는 예정지가 그레이트솔트호에 물을 공급하는 수원과 가깝다는 점이 주민 반대의 이유였다.

⚠️ 불확실하거나 확인이 필요한 부분

  • 캐시 읽기의 최대 약 90% 할인은 해당 입력 토큰에 적용될 수 있는 수치다. 세션 전체의 절감률을 알려면 실제로 캐시에서 읽은 분량과 나머지 입력·출력 요금을 확인해야 한다.
  • Google이 자체 보고한 물 0.26mL는 2025년 Gemini의 ‘중앙값에 해당하는 텍스트 요청’ 한 건에 관한 값이다. 어떤 요청이 중앙값인지 불분명하며, 강의 자막의 0.24W는 전력 단위여서 요청당 에너지 사용량으로 인용하려면 원자료의 단위를 확인해야 한다.
  • 작은 모델로 충분하다는 강의자의 판단은 코드 줄 수처럼 기준이 명확한 검사에 관한 것이다. 규정 해석까지 맡겨도 정확도가 유지되는지는 별도로 검증해야 한다.
  • 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
  • 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
  • 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

  • 대표 작업 하나를 골라 사용 보고서에서 일반 입력, 캐시 읽기, 출력 토큰을 확인하고, 호출하지 않은 스킬 목록이 매번 차지하는 분량을 점검한다.
  • 같은 질문으로 생성 모델과 검사 모델의 조합을 바꿔 보며 최종 답변의 정확성, 재생성 횟수, 사용자가 답을 받기까지 걸린 시간을 기록한다.
  • 서비스 공개 전에 어느 계정이 사용료를 부담하는지 정하고, 방문자에게 전달되는 코드에 실제 API 키가 포함되는지 검토한다.
  • 환경 수치를 인용할 때는 기업 자체 보고인지 연구 추정치인지 밝히고, 대상 모델·작업 유형·측정 단위를 함께 적는다.

❓ 열린 질문

  • Wayfinder에서 검사 모델을 바꾸면 정답을 지나치게 드러내는 응답을 얼마나 잘 가려내며, 재작성까지 포함한 학생의 대기 시간은 어떻게 달라질까?
  • 학생 모두에게 무료 접근을 유지하려면 수업에 필요한 사용량과 수업 외 사용량을 어떻게 구분해 월 예산을 잡을 수 있을까?
  • 같은 텍스트 작업을 서로 다른 상용 모델에 맡겼을 때 전력과 물 소비를 비교하려면 어떤 측정 자료가 더 필요할까?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.