토큰사용 줄이면서 품질은 유지하는 4가지 방법 (표철민 AI3 대표)

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

토큰사용 줄이면서 품질은 유지하는 4가지 방법 (표철민 AI3 대표)를 중심으로, 기업 AX의 판단 기준은 AI 사용량에서 실제 가치와 ROI로 이동했다. 토큰 비용만 줄이는 것이 아니라 기존 업무 품질과 사업를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. 기업 AX의 판단 기준은 AI 사용량에서 실제 가치와 ROI로 이동했다. 토큰 비용만 줄이는 것이 아니라 기존 업무 품질과 사업 성과가 유지되는지를 함께 측정해야 한다.
2. 검색이나 단순 하위 작업은 경량 모델로 자동 분기하고, 어려운 요청에만 고급 모델을 사용해야 한다. 다만 발화마다 모델을 바꾸면 기존 캐시가 무효화될 수 있으므로 전환 비용까지 계산해야 한다.
3. API와 MCP는 전체 데이터나 테이블을 반환하지 말고 필요한 항목만 추출해야 한다. 코딩 에이전트의 도구 결과를 214줄 이상에서 14줄로 줄인 사례에서는 품질이 오히려 2% 높아졌다.
4. 후속 질문이 반복되는 작업은 발화 단위가 아니라 대화 단위로 라우팅해 캐시를 재사용해야 한다. 프롬프트 캐싱을 확대했던 사례에서는 평균 지출과 단기 매출이 약 20% 감소했지만 한두 달 뒤 사용량이 회복됐다.
5. 에이전트가 선택할 수 있는 도구와 호출 경로를 제한하면 불필요한 탐색을 막을 수 있다. 최상급 모델만 사용한 결과와 백테스트했을 때 품질 하락은 극히 작고 비용은 약 1/10~1/15까지 낮아질 수 있었지만, 모델·컨텍스트·프롬프트·MCP·워크플로를 각각 바꿔 검증해야 한다.

🧩 배경과 문제 정의

• 기업 AX의 기준이 AI 사용량 확대에서 실제 가치 창출과 ROI 측정으로 이동하면서, 토큰 소비량만으로는 투자를 정당화하기 어려워졌다.
• 결과물을 빠르게 만드는 데 집중한 1세대 에이전트는 고가 모델, 과도한 컨텍스트, 불필요한 도구 호출을 허용했고 실제 사용이 늘자 비용 예측과 통제가 새로운 과제가 됐다.
• 목표는 결과물의 품질을 무너뜨리지 않으면서 토큰 비용을 낮추고, 절감 이후에도 사업 성과가 유지되는지 평가하는 것이다.
• 주요 방법은 경량 모델 라우팅, 컨텍스트와 도구 결과 프루닝, 캐시를 고려한 대화 단위 라우팅, 결정론적인 도구 호출 경로 설계다.

🕒 시간순 섹션별 상세정리

1. AX의 기준이 사용량에서 ROI로 이동

• 기업 AX는 AI를 얼마나 많이 쓰는지보다 얼마나 많은 가치를 만들고 그 성과를 어떻게 측정하는지가 중요해지며, 양적 도입에서 ROI 제고로 기준이 이동한다. [00:10]
• 기존 업무 품질을 유지하면서 토큰 소비를 효율화해야 한다. [01:18]

2. 결과 우선의 1세대 에이전트가 만든 비용 문제

• 초기 사내 에이전트는 토큰 효율보다 경영진과 실무자가 바로 활용할 수 있는 결과물을 빠르게 만드는 데 우선순위를 뒀다. [01:49]
• 1세대는 RAG와 프롬프트 중심이었지만 2세대는 MCP를 활용하며 더 복잡해졌고, 엔지니어 역량과 모델 성능도 함께 높아졌다. [02:28]

3. 경량 모델과 스마트 라우팅

• 전반적인 모델 성능이 높아져 일반적인 사내 데이터 처리와 워크플로에는 플래그십 모델이 거의 필요하지 않다. [03:03]
• 사내 데이터와 필요한 맥락을 정확히 제공하면 노트북에서도 구동되는 경량 오픈소스 모델이 비싼 폐쇄형 모델과 비교해도 크게 뒤처지지 않는다. [03:26]

4. 필요한 정보만 싣는 컨텍스트 경량화

• 기존 공공 데이터 API는 필요한 정보만 선별하지 않고 전체 데이터를 반환하므로, 삼성전자의 최근 3개월 지분 변동만 필요해도 분기 공시 전체가 인풋 토큰에 들어간다. [05:23]
• 데이터를 모두 넣고 AI가 고르게 하던 방식에서 벗어나, 호출 전에 필요한 정보만 추출해 컨텍스트 자체를 가볍게 만들어야 한다. [05:47]

5. MCP 도구 설계와 토큰 프루닝

• MCP가 사내 DB의 전체 테이블을 가져오는 대신 정확한 항목만 찾아 반환하면, 에이전트가 여러 도구를 연속 호출해도 누적 토큰을 크게 절약할 수 있다. [06:27]
• 코딩 에이전트가 관련 코드를 과도하게 읽는 사례에서는 214줄이 넘는 도구 결과를 실제로 필요한 14줄까지 프루닝할 수 있었다. [07:37]

6. 캐시를 고려한 대화 단위 라우팅

• 레시피 에이전트처럼 여러 도구를 호출한 뒤 후속 질문이 반복되는 작업은 캐시를 재사용해야 대화가 길어져도 비용 증가를 억제할 수 있다. [09:32]
• 매 발화만 보고 모델을 선택하면 어려운 질문이 등장한 순간 고급 모델로 승격될 수 있고, 새 모델이 이전 대화를 다시 읽으며 인풋 토큰과 캐시 쓰기 할증이 발생한다. [10:19]

7. 결정론적 도구 경로로 호출 낭비 차단

• 도구 선택을 AI에 전부 맡기면 필요한 공시를 찾는 과정에서도 여러 검색 서비스와 데이터 소스를 돌아다니며 불필요한 호출을 반복할 수 있다. [11:26]
• 에이전트가 볼 수 있는 도구를 의도적으로 제한하고 문제 유형별 고정 경로 템플릿을 주면 호출 횟수와 토큰 소비를 함께 줄일 수 있다. [11:39]

8. 스마트 라우터의 평가와 비용·품질 절충

• 토큰 비용이 과도하게 증가하면서 스마트 라우터 수요가 최근 빠르게 늘었고, 기업용 AI 플랫폼과 LLM 게이트웨이에도 관련 기능이 추가됐다. [12:04]
• 직원 발화별 모델 선택 경로를 고객에게 공개하고, 라우팅 결과를 지속적으로 분석해야 분류 오류와 절감 효과를 함께 추적할 수 있다. [12:34]

9. 스마트 라우터의 세 가지 구현 방식

• 경량 LLM을 앞단에 두는 방식은 사용자 요청과 선택 가능한 모델 목록을 보고 유연하게 분기하지만, 모든 발화에 추가 사용료와 지연 시간이 발생한다. [14:28]
• BERT 계열 분류기는 LLM보다 훨씬 빠르고 결정론적이지만, 후단 모델이 계속 바뀌면 분류 모델이나 설정을 반복해서 갱신해야 한다. [14:57]

10. 하이브리드 라우팅과 고객별 선택

• LLM·분류기·규칙 기반 방식은 서로 배타적이지 않으며, 어느 방식으로 최종 분기할지 다시 선택하는 혼합 구조도 가능하다. [15:59]
• 비즈라우터는 정규식에서 시작해 텍소노미 기반 분기로 확장한 뒤, 현재는 판단이 어려운 요청을 처리하는 LLM 폴백까지 갖췄다. [16:09]

11. 구축 단계에서 평가 최적화 단계로

• 국내 기업은 아직 가능한 기능을 먼저 만들어 보는 단계에 머물러 있으며, 완성된 에이전트의 비용과 품질을 세밀하게 깎는 단계에는 충분히 진입하지 못했다. [17:21]
• 미국에서는 외부 평가 전문 기업이 고객 에이전트에 다양한 실험을 적용하고, 더 저렴한 모델로 교체해도 품질이 유지되는지 검증한다. [17:55]

12. 프롬프트 캐싱이 만든 지속 가능한 사용 경제

• 종량제 고객은 에이전트 기능 도입 후 지출이 급격히 늘었고, 예상 범위를 크게 벗어난 비용은 고객 스트레스와 서비스 이탈 위험을 키웠다. [19:41]
• 프롬프트 캐싱을 전면 확대하자 고객의 평균 지출과 공급자의 단기 매출이 약 20% 줄었지만, 한두 달 뒤 사용량이 회복되면서 비용 절감이 장기 이용을 촉진한다는 점이 확인됐다. [20:49]

13. 비용 블랙박스 통제와 중개 사업자의 가치

• 모델 API 원가는 정해져 있고 고객 예산은 약 20~30% 초과까지만 감당할 수 있지만, 에이전트의 도구 호출 횟수와 인풋 컨텍스트 양은 예측하기 어려운 블랙박스다. [22:20]
• 한 경량 모델은 단일 질문에서 도구를 약 100번 호출해 약 2만 원의 비용을 만들었고, 해당 모델로 라우팅될 때 호출 횟수를 최대 20회로 제한하는 보호 장치가 필요했다. [23:17]

🧾 결론

• 토큰 최적화는 가장 싼 모델을 고르는 문제가 아니라 모델, 컨텍스트, 캐시, 도구 경로를 하나의 시스템으로 설계하는 문제다.
• 불필요한 정보를 제거하면 비용뿐 아니라 긴 컨텍스트에서 핵심을 놓치는 문제도 줄일 수 있지만, 품질 유지 여부는 반드시 평가 데이터로 확인해야 한다.
• 예측 가능한 비용과 호출 제한 장치는 고객의 비용 불안을 낮추고 장기 사용을 촉진하는 제품 요건이 된다.
• 기업은 기능 구축 이후 모델·프롬프트·도구·워크플로를 단계별로 교체하고 결과 차이를 측정하는 평가 최적화 단계로 이동해야 한다.

📈 투자·시사 포인트

• 스마트 라우터, LLM 게이트웨이, 에이전트 평가와 비용 관측 도구의 수요가 커질 가능성을 시사한다.
• 경쟁력은 모델 접근권보다 업무별 라우팅 데이터, 캐시 활용률, 도구 호출 통제, 품질 백테스트 역량에서 갈릴 수 있다.
• 프롬프트 캐싱은 공급자의 단기 매출을 낮출 수 있지만 고객 지출을 안정시켜 사용 회복과 이탈 방지에 기여할 수 있다.
• 국내 기업이 기능 구축 중심에서 비용·품질 최적화 단계로 이동하면 평가 전문 기업과 AI 중개 플랫폼의 역할이 확대될 수 있다.

⚠️ 불확실하거나 확인이 필요한 부분

• 품질 2% 상승과 비용 1/10~1/15 절감은 특정 사례와 백테스트 결과이며, 평가 데이터셋·표본 규모·모델 구성·품질 판정 기준이 제시되지 않았다.
• 프롬프트 캐싱 이후 평균 지출과 단기 매출이 약 20% 감소하고 사용량이 회복됐다는 사례도 고객 수, 관찰 기간, 이탈률 변화가 공개되지 않아 일반화에는 추가 검증이 필요하다.
• 질의당 약 5,000원 또는 약 2만 원이 발생한 사례는 모델 가격, 컨텍스트 크기, 도구별 비용 등 세부 조건이 없어 일반적인 비용 수준으로 해석하면 안 된다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 현재 에이전트의 요청별 입력·출력 토큰, 도구 호출 횟수, 캐시 적중률, 비용, 품질, 사업 성과를 연결한 기준선을 만든다.
• 쉬운 검색·단순 작업·고난도 작업을 분류하고 경량 모델 라우팅 결과를 최상급 모델 기준 결과와 백테스트한다.
• API와 MCP가 전체 데이터 대신 필요한 필드와 행만 반환하도록 컨텍스트 및 도구 결과를 프루닝한다.
• 반복 대화는 대화 단위로 라우팅하고, 모델 전환 이득이 캐시 재작성 비용보다 큰지 측정한다.

❓ 열린 질문

• 조직이 허용할 수 있는 품질 하락 한계와 토큰 절감 목표를 어떤 업무·ROI 지표로 정의할 것인가?
• 고급 모델 전환으로 얻는 품질 향상이 캐시 무효화와 입력 토큰 재처리 비용을 넘어서는 기준점은 어디인가?
• 모델과 업무가 계속 바뀌는 환경에서 라우팅 규칙, 분류기, 평가 데이터의 갱신 책임을 누가 맡을 것인가?