AI Costs: Tokens, Energy, Model Choice & API Keys
Quick Summary
AI 서비스의 비용을 판단하려면 실제로 소비한 토큰과 에너지를 살피고, 작업에 맞는 모델과 API 키 사용료를 부담할 주체를 정해야 한다.
영상 보기
클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론
AI 서비스의 비용을 판단하려면 실제로 소비한 토큰과 에너지를 살피고, 작업에 맞는 모델과 API 키 사용료를 부담할 주체를 정해야 한다.
📌 핵심 요점
- 화면에 보이는 대화는 토큰 사용량의 일부다. 시스템 지침과 도구 목록도 모델이 읽는 입력이고, 추론 모델이 답변을 준비하며 생성한 토큰도 출력 예산에 포함된다. 강의 예시에서는 스킬 네 개를 한 번도 호출하지 않았는데도 그 목록이 요청마다 225토큰을 차지했다.
- 반복할 입력과 버릴 입력을 구분하면 비용을 줄일 수 있다. 같은 작업에서 계속 쓰는 지침은 캐시로 계산 결과를 재사용할 수 있다. 강의에 따르면 캐시에서 읽은 입력 토큰은 일반 입력 요금보다 최대 약 90% 저렴할 수 있다. 주제가 바뀌면 새 세션을 열어 이전 대화를 다시 처리하는 비용을 줄일 수 있다.
- 모델은 각 단계에서 내려야 할 판단에 맞춰 고른다. 강의자는 AI 튜터 Wayfinder에서 연속된 코드 줄 수를 검사하는 일은 작은 모델에도 맡길 수 있다고 봤다. 반면 교직원용 챗봇에서 인용한 규정이 실제로 답변을 뒷받침하는지 확인하려면 규정을 해석할 능력이 필요하다. Wayfinder 테스트에서는 생성과 검사가 여러 차례 반복돼 학생의 대기 시간이 길어진 사례도 있었다.
- 에너지 사용량은 무엇을 생성하느냐에 따라 크게 달라진다. 강의가 인용한 연구에서는 텍스트 생성 대비 이미지 생성에 28~40배, 영상 생성에 1,000~3,000배의 에너지가 든다고 추정했다. 상용 모델은 세부 자료 공개가 제한적이어서 개별 서비스의 소비량을 이 배율만으로 계산하기 어렵다.
- API 키는 모델을 호출할 권한과 요금을 낼 계정을 연결한다. 강사는 550명 모두에게 무료로 튜터를 제공하려고 자신의 카드에 연결된 키를 선택했다. 웹서비스에서 운영자가 비용을 부담할 때는 방문자에게 전달되는 코드에 키가 들어 있는지도 확인해야 한다. 화면에 키가 보이지 않아도 그 계정에 사이트 밖 사용료가 청구될 수 있다.
🧩 배경과 문제 정의
- 주간 과제보다 큰 프로젝트에서는 사용자가 입력한 질문과 화면에 보이는 답변만으로 세션 비용을 설명하기 어렵다. 매 요청에 딸려가는 지침과 모델의 추론도 토큰을 소비한다.
- AI 사용에는 요금 외에도 전력과 물 소비, 탄소 배출이 따른다. 상용 모델의 세부 자료가 충분히 공개되지 않아 기업의 자체 보고와 공개 모델 연구로 영향을 추정해야 한다.
- 여러 에이전트가 한 요청을 처리하면 각 단계의 대기 시간이 누적된다. 모델을 고를 때는 비용과 응답 속도뿐 아니라 각 단계에서 어떤 판단을 얼마나 정확하게 내려야 하는지도 고려해야 한다.
🕒 시간순 섹션별 상세정리
1. 프로젝트 규모가 커질 때 추적할 비용
- Claude Code의 토큰 사용 보고서는 작은 과제에서 더 큰 프로젝트로 넘어갈 때 사용량이 어디서 늘어나는지 확인하는 출발점이다. [00:29]
- Hopscotch와 OpenRouter를 이용하면 같은 작업에 서로 다른 모델을 적용하고 모델별 사용량을 관리할 수 있다. [01:50]
2. API 응답 대기 시간과 세션 경과 시간
- Claude Code에서
/usage로 확인한 예시 세션의 총비용은 28달러였다. [03:01] - API 소요 시간에는 모델의 계산 시간, 노트북과 데이터센터 사이의 왕복 통신 시간, 서버가 혼잡할 때의 대기가 포함된다. 요청을 50번 보냈다면 보고서에는 50번의 대기 시간을 합산한다. [04:19]
3. 화면에 보이지 않는 입력·출력 토큰
- 입력 토큰은 세션 동안 모델이 읽은 전체 분량이다. 사용자가 쓴 질문 외에 설정, 활성화한 도구의 연결 지침, 시스템 지침도 컨텍스트에 들어간다. [05:51]
- 출력 토큰은 모델이 생성한 전체 분량이다. 추론 모델에서는 최종 답변을 만들기까지 추론 과정에서 생성한 토큰도 출력 예산에 포함된다. [06:27]
4. 반복되는 컨텍스트의 계산을 재사용하는 캐시
- 한 세션에서는 시스템 지침이나 설정이 여러 요청에 걸쳐 그대로인 경우가 많다. 캐시는 이 부분을 미리 계산해 두어 새 요청마다 같은 텍스트를 다시 처리하는 부담을 줄인다. [07:23]
- 캐시에서 읽은 입력 토큰에는 일반 입력 토큰 요금 대비 최대 약 90%의 할인이 적용될 수 있다. [07:55]
5. 사용하지 않은 스킬도 차지하는 입력 공간
- 예시 에이전트에는 한 범주에 스킬 네 개가 있었고, 그 스킬 목록과 관련된 225토큰이 요청마다 컨텍스트에 들어갔다. [11:08]
- 세션에서 해당 스킬을 한 번도 호출하지 않아도 이 비용은 발생한다. 에이전트에 필요한 스킬만 활성화하면 매번 반복되는 입력을 줄일 수 있다. [11:42]
6. 작업 전환과 하위 에이전트 배정으로 줄이는 비용
- 다른 작업으로 넘어갈 때
/clear로 세션을 새로 시작하면 이전 주제의 대화를 계속 들고 갈 필요가 없다. 같은 작업을 이어갈 때도 무엇이 컨텍스트를 채우는지 점검할 수 있다. [12:41] - 사용 보고서의 예시에서는 Claude Opus와 그보다 작고 저렴한 Haiku가 일을 나눴다. 범용 하위 에이전트에 어떤 모델을 배정할지는 맡길 작업의 난도에 따라 결정할 수 있다. [13:16]
7. Gemini 요청 한 건의 환경 비용과 측정 한계
- 전력·물 소비와 탄소 배출에 관한 세부 자료는 충분히 공개되지 않는다. 연구자들은 공개 모델을 자체 서버에서 실행해 자원 사용량을 추정하기도 한다. [14:29]
- Google은 2025년 Gemini의 ‘중앙값에 해당하는 텍스트 요청’ 한 건에 물 0.26mL가 들었다고 자체 보고했다. 강의 자막은 전력 수치를 0.24W로 표기하고, 사용 규모를 TV 약 9초 시청에 비유한다. [15:41]
8. 이미지·영상 생성과 추론 모드의 에너지 사용량
- 강의에서 인용한 연구 추정치에 따르면 텍스트 생성 대비 에너지 사용량은 이미지 생성이 28~40배, 영상 생성이 1,000~3,000배였다. [16:46]
- 추론 모드의 에너지 사용량은 평균 약 30배였지만 일부 모델에서는 150배나 700배에 이르렀다. 공개 모델 사이에서도 편차가 커서 이 배율을 상용 모델에 그대로 적용하기는 어렵다. [17:18]
9. 긴 컨텍스트가 추가하는 비용
- Epoch AI는 컨텍스트에 입력 토큰이 1만 개일 때와 10만 개일 때의 비용을 계산했다. 주제가 바뀔 때 새 대화를 시작하는 습관은 이미 끝난 작업의 내용을 다음 요청에서도 계속 처리하는 부담을 줄인다. [18:34]
10. 다단계 에이전트에서 누적되는 응답 지연
- 큰 모델은 더 어려운 일을 처리할 수 있지만 답을 받기까지 오래 걸릴 수 있다. 사용자가 결과를 기다리는 시간인 지연 시간(latency)도 모델 선택 기준이다. [19:35]
- 여러 에이전트가 순서대로 일하면 단계별 지연이 누적된다. 같은 추가 지연이 다섯 번 발생하면 처음 요청부터 최종 응답까지 사용자가 더 기다리는 시간도 그 다섯 번의 합이 된다. [20:59]
11. Wayfinder가 정답 요청을 걸러내고 학습을 돕는 방식
- Stanford의 컴퓨터과학 수업 106B에서 사용하는 AI 튜터 Wayfinder는 입력 검사 에이전트로 과제 정답을 직접 요구하는 질문을 가려낸다. 그런 요청에는 개념을 질문하도록 권하는 미리 작성된 안내문을 돌려준다. [22:11]
- 입력 검사를 통과한 질문은 응답 생성 에이전트가 처리한다. 수업 자료를 인용하고 비유나 소크라테스식 질문을 활용해 학생이 개념을 이해하도록 돕는다. [22:48]
12. 출력 검사와 재생성이 튜터의 대기 시간에 미치는 영향
- 입력 검사를 통과한 질문에도 튜터가 정답을 지나치게 드러낼 수 있다. 출력 검사 에이전트는 학생에게 보낼 응답을 확인하고, 문제가 있으면 생성 에이전트에 다시 작성을 요청한다. [24:03]
- Wayfinder 테스트에서는 응답이 검사를 통과하기까지 생성과 검사를 여러 차례 반복한 경우가 있었다. 이런 요청에서는 한 번의 모델 호출에서 생기는 속도 차이가 최종 대기 시간에 거듭 반영된다. [24:30]
13. 에이전트별 모델 선택에서 함께 볼 크기와 세대
- 입력 검사, 응답 생성, 출력 검사에 같은 모델을 배정할 필요는 없다. Stanford AI Playground의 예시에서는 같은 GPT-6 세대 안에서도 크기가 다른 모델을 선택할 수 있었다. [25:17]
- 선택지는 모델 세대에 따라서도 달라진다. 이전 세대의 한 모델과 새 세대의 크기가 다른 모델 중 어느 쪽이 적합한지는 각 에이전트에 필요한 능력과 비용을 함께 따져야 한다. [25:50]
14. 규정 질의응답에서 인용의 존재와 의미 검증
- Stanford의 교직원용 챗봇은 사람을 대상으로 하는 연구의 준수 절차나 유급휴가 승인 절차 같은 질문을 받으면 교직원 편람을 검색해 답변의 근거를 찾는다. [27:11]
- 이런 시스템의 출력 검사는 인용한 문서가 실제로 존재하는지와 그 문서가 답변의 주장을 뒷받침하는지를 모두 확인해야 한다. 강의에서 든 법률 서면 사례처럼, 실제 판례를 인용하고도 그 판결의 취지를 잘못 설명할 수 있다. [28:13]
15. 출력 검사에 필요한 모델 성능을 가르는 판단 기준
- 수업용 튜터의 출력 검사에는 ‘연속된 코드가 세 줄을 넘으면 안 된다’는 명확한 기준이 있었다. 강의자는 이처럼 해석의 여지가 작은 검사는 가장 작고 저렴한 모델도 합리적으로 처리할 수 있다고 보았다. [28:58]
- 규정 챗봇의 출력 검사자는 직원이 설명한 상황을 해석하고 관련 정책을 적용해 답변이 맞는지 판단해야 한다. 강의자는 이 경우 검사자가 응답 생성자와 대등한 판단 책임을 지므로 튜터의 출력 검사와는 다른 모델 선택이 필요하다고 보았다. [29:45]
16. API 키가 프로그램의 모델 사용과 계정 청구를 연결한다
- API 키는 프로그램이 계정 소유자를 대신해 모델을 호출할 때 쓰는 자격 증명이다. 프로그램에서 발생한 모델 사용료는 해당 계정에 청구된다. [31:20]
- 결제 카드가 연결돼 있으면 키 노출이 금전적 피해로 이어질 수 있다. API 키도 비밀번호처럼 보호하고, 공개된 장소에 적어 두거나 문자 메시지로 보내는 일을 피해야 한다. [31:50]
17. AI 튜터 비용을 강사가 부담할지 학생별로 나눌지 결정한다
- 강사는 550명이 사용량 제한 없이 튜터를 쓰면 비용을 감당할 수 있을지 우려했지만, 모두에게 동등한 무료 접근을 보장하려고 자기 카드에 연결된 키를 선택했다. 수업에 필요한 사용량보다 수업 외 용도로 쓰면서 발생할 비용을 더 걱정했다. [33:22]
- 월 비용이 감당하기 어려워지면 학생마다 자기 카드에 연결된 API 키를 사용할 수도 있다. 이 경우 많이 쓰는 학생은 더 내고, 전혀 쓰지 않는 학생은 비용을 내지 않는다. [34:04]
18. 공개 웹사이트에서 AI 기능을 제공하면서 키를 보호해야 한다
- 운영자가 웹사이트 이용자의 AI 사용료를 부담하더라도, 방문자에게 전달되는 코드에 키가 드러나면 사이트 밖에서 발생한 사용료까지 청구될 수 있다. 코드 검토에서는 방문자가 AI 기능을 쓸 때 키 자체가 공개되는지 확인해야 한다. [36:37]
- 해적 말투 번역기 시연에서는 요청이 Anthropic에 도달했지만 유효하지 않은 키라는 응답이 돌아왔다. 공개될 수 있는 코드에 실제 키를 넣지 않으려고 시연용 가짜 키를 썼기 때문이다. [38:02]
19. 유타의 데이터센터 입지 논쟁은 물과 토지, 소음에 집중됐다
- 강의에서 인용한 분석에 따르면 AI 데이터센터 입지는 일부 선거에서 주요 쟁점이었다. 유타에서는 투자자 케빈 올리리가 솔트레이크시티 북쪽 농촌에 추진한 대형 데이터센터의 부지 규모와 물 사용량이 논란이 됐다. [43:41]
- 유타의 물 부족으로 그레이트솔트호가 말라가는 상황에서, 예정지가 호수로 물을 공급하는 수원과 가까워 많은 주민이 반대했다. [44:14]
20. 투표 안건과 출구조사에 데이터센터를 둘러싼 여론이 드러났다
- 강의에서 제시한 집계에 따르면 11월 3일에는 10개 주에서 데이터센터 관련 안건 41건을 표결했다. 2026년 앞서 치른 투표와 12월 예정분까지 포함하면 13개 주 50건이다. [45:31]
- CNBC 출구조사에서는 응답자의 50%가 데이터센터 문제를 투표 결정의 핵심 요인이나 주요 요인으로 꼽았다. CBS가 자기 지역에 데이터센터가 들어서는 데 찬성하는지 물었을 때는 응답자의 76%가 반대했다. [46:04]
21. 안건 41건 중 40건이 반대 방향으로 결정됐고 텍사스 유치 정책도 쟁점이 됐다
- 강의에서 소개한 결과에 따르면 11월 3일 표결한 안건 41건 가운데 40건이 데이터센터에 반대하는 방향으로 결정됐다. 안건의 문구가 달라 어떤 곳에서는 찬성표가, 다른 곳에서는 반대표가 같은 뜻을 나타냈다. [46:53]
- 텍사스는 경제 개발을 위해 신규 AI 데이터센터를 적극 유치해 왔다. 주지사 선거에서 도전자 지나 이노호사는 그레그 애벗 주지사의 유치 정책을 주요 쟁점으로 삼았다. [47:35]
22. 모델 선택의 전력 수요는 데이터센터를 받아들일 지역의 문제와 연결된다
- 강사는 선거 결과를 모델 선택과 연결해 해석했다. 토큰과 전력을 많이 쓰는 모델 때문에 자기 지역에 데이터센터를 새로 지어야 한다면 주민들이 그런 선택을 달가워하지 않을 수 있다는 뜻이다. [48:06]
- 강의에 따르면 텍사스를 비롯한 여러 지역의 데이터센터에 투자한 일론 머스크는 선거 다음 날인 11월 4일, 우주 데이터센터가 매력적으로 보인다는 글을 올렸다. 강사는 이 발언을 지상에서 데이터센터 입지를 찾기 어렵다는 반응으로 해석했다. [48:47]
🧾 결론
- 세션 비용을 설명하려면 질문과 답변의 길이뿐 아니라 매번 읽는 지침, 캐시에서 재사용한 입력, 답변을 준비하는 데 쓴 출력 토큰까지 살펴야 한다.
- 모델 선택의 기준은 사용자가 받아 보는 답변이다. 생성과 검사를 모두 거친 뒤에도 답이 정확한지, 다시 작성하는 시간까지 포함해 얼마나 기다리는지를 함께 봐야 한다.
- AI 기능을 무료로 제공해도 사용료는 발생한다. 어느 계정에 청구할지 정하는 결정은 이용자의 접근성과 운영자가 부담할 비용을 함께 바꾼다.
📈 투자·시사 포인트
- AI 서비스의 원가를 비교할 때는 같은 작업을 끝내는 데 든 총비용이 유용하다. 토큰 단가가 같아도 반복 입력의 캐시 적용 여부와 답변 재생성 횟수에 따라 요청 한 건을 처리하는 비용이 달라진다.
- 교육용 서비스에서 운영자 일괄 결제는 학생의 결제 여력과 관계없이 접근을 보장할 수 있다. 학생별 키를 쓰면 운영자의 부담은 줄지만 많이 쓰는 학생이 더 많은 비용을 낸다.
- 데이터센터 입지를 평가할 때는 냉각에 쓸 물의 출처와 인근 주민이 겪을 소음도 살펴야 한다. 강의가 소개한 유타 사례에서는 예정지가 그레이트솔트호에 물을 공급하는 수원과 가깝다는 점이 주민 반대의 이유였다.
⚠️ 불확실하거나 확인이 필요한 부분
- 캐시 읽기의 최대 약 90% 할인은 해당 입력 토큰에 적용될 수 있는 수치다. 세션 전체의 절감률을 알려면 실제로 캐시에서 읽은 분량과 나머지 입력·출력 요금을 확인해야 한다.
- Google이 자체 보고한 물 0.26mL는 2025년 Gemini의 ‘중앙값에 해당하는 텍스트 요청’ 한 건에 관한 값이다. 어떤 요청이 중앙값인지 불분명하며, 강의 자막의 0.24W는 전력 단위여서 요청당 에너지 사용량으로 인용하려면 원자료의 단위를 확인해야 한다.
- 작은 모델로 충분하다는 강의자의 판단은 코드 줄 수처럼 기준이 명확한 검사에 관한 것이다. 규정 해석까지 맡겨도 정확도가 유지되는지는 별도로 검증해야 한다.
- 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
- 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
- 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.
✅ 액션 아이템
- 대표 작업 하나를 골라 사용 보고서에서 일반 입력, 캐시 읽기, 출력 토큰을 확인하고, 호출하지 않은 스킬 목록이 매번 차지하는 분량을 점검한다.
- 같은 질문으로 생성 모델과 검사 모델의 조합을 바꿔 보며 최종 답변의 정확성, 재생성 횟수, 사용자가 답을 받기까지 걸린 시간을 기록한다.
- 서비스 공개 전에 어느 계정이 사용료를 부담하는지 정하고, 방문자에게 전달되는 코드에 실제 API 키가 포함되는지 검토한다.
- 환경 수치를 인용할 때는 기업 자체 보고인지 연구 추정치인지 밝히고, 대상 모델·작업 유형·측정 단위를 함께 적는다.
❓ 열린 질문
- Wayfinder에서 검사 모델을 바꾸면 정답을 지나치게 드러내는 응답을 얼마나 잘 가려내며, 재작성까지 포함한 학생의 대기 시간은 어떻게 달라질까?
- 학생 모두에게 무료 접근을 유지하려면 수업에 필요한 사용량과 수업 외 사용량을 어떻게 구분해 월 예산을 잡을 수 있을까?
- 같은 텍스트 작업을 서로 다른 상용 모델에 맡겼을 때 전력과 물 소비를 비교하려면 어떤 측정 자료가 더 필요할까?