Open Models Change The Economics of AI
Quick Summary
Open Models Change The Economics of AI를 중심으로, 에이전트 확산이 토큰 수요와 비용 구조를 바꾼다. 자료에서는 사용자당 토큰 소비가 약 10~20배 이상 늘었다고 추산한다. 개방형를 핵심 판단 포인트로 압축 정리한다.
영상 보기
클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론
Open Models Change The Economics of AI를 중심으로, 에이전트 확산이 토큰 수요와 비용 구조를 바꾼다. 자료에서는 사용자당 토큰 소비가 약 10~20배 이상 늘었다고 추산한다. 개방형를 핵심 판단 포인트로 압축 정리한다.
📌 핵심 요점
- 에이전트 확산이 토큰 수요와 비용 구조를 바꾼다. 자료에서는 사용자당 토큰 소비가 약 10~20배 이상 늘었다고 추산한다. 개방형 모델 도입의 출발점은 비용 절감이지만, 장기적 가치는 기업별 통제와 맞춤화에 있다.
- 사용량과 지출의 중심이 달라질 수 있다. 개방형 모델이 기업 토큰의 80~90%를 처리하면서 지출은 10~20%만 차지할 수 있다는 전망이다. 복잡한 계획과 조정에는 최상위 모델을, 다수의 세부 작업에는 저렴한 모델을 배치하는 구성이 가능해진다.
- 경쟁 기준이 토큰당 가격에서 작업당 비용으로 넓어진다. 충분한 성능을 갖춘 소형·특화 모델을 조합하면 비용과 반복 가능성 측면에서 유리할 수 있다. 다만 최상위 모델과의 성능 격차가 모든 업무에서 사라졌다는 뜻은 아니다.
- 실제 도입 성과는 실행 환경에 달려 있다. 추론 엔진, 도구 호출, 하드웨어 공급, 보안 조건을 함께 맞춰야 한다. 단순한 문서 처리는 로컬에, 복잡한 코드 작성과 테스트는 클라우드에 배치하는 방식이 제시된다.
- 모델이 풍부해질수록 통합의 가치가 커진다. 에이전트 조정, 외부 메모리, 기업 데이터 연결, 일관된 API가 주요 사업 기회로 제시된다. Ollama의 성장 과정도 개발자가 모델을 쉽게 실행하도록 만드는 구체적인 문제 해결의 중요성을 보여준다.
🧩 배경과 문제 정의
- 코딩 에이전트와 업무 자동화가 확산하면서 사용자당 토큰 소비가 급증하고, 인공지능 운영비가 기업의 주요 제약으로 커지고 있다.
- 개방형 모델의 가치는 단기적인 비용 절감에서 기업별 데이터·업무에 맞춘 모델 통제와 맞춤화로 확장된다.
- 모델 성능이 개선돼도 보안, 추론 속도, 도구 연동, 하드웨어 공급이 실제 도입을 좌우한다. 모델과 실행 환경을 함께 최적화해야 한다.
- 개방형·폐쇄형 모델과 로컬·클라우드 실행을 조합하면 작업 난도에 따라 비용과 응답 속도를 다르게 설계할 수 있다.
🕒 시간순 섹션별 상세정리
1. 기업의 개방형 모델 도입과 비용 절감
- 기업의 개방형 모델 도입은 코딩 에이전트와 업무 보조 도구를 중심으로 확대되고 있다. 올라마 클라우드에서는 중국계 모델 사용이 많지만, 주요 사용 지역에는 미국과 독일이 포함된다. [01:21]
- 비용 절감은 단기적인 도입 동기이고, 장기적인 목표는 기업별 통제와 맞춤화다. 에이티앤티는 토큰 소비의 40%를 개방형 모델로 전환했으며, 미국·유럽 모델을 주로 사용하면서 중국계 모델도 평가하고 있다. [02:19]
2. 에이전트 확산에 따른 사용자당 토큰 소비 급증
- 오픈클로와 헤르메스 에이전트는 장시간 업무 자동화를 개발자 밖으로 확장했다. 재무·지원·마케팅·영업에서도 복잡한 업무를 맡길 수 있게 되면서 토큰 수요가 늘었다. [03:14]
- 사용자당 주간 토큰 소비는 연초 코딩 에이전트 확산과 4월 오픈클로 확산을 거치며 급증했다. 사용자당 증가 폭은 약 10~20배 이상으로 추산되며, 올라마 클라우드 전체 사용량은 연초 대비 약 150배 증가했다. [04:48]
3. 즉시 활용 가능한 모델과 맞춤 학습의 부담
- 2024~2025년에는 개방형 모델을 특정 용도에 맞게 수정한 뒤 대규모로 사용하는 방식이 중심이었다. 올해 초부터는 별도 맞춤화 없이 바로 활용하는 개방형 모델의 사용이 본격적으로 확대됐다. [05:08]
- 개방형 모델의 출시 간격이 짧아지면서 맞춤 학습 결과를 최신 모델에 맞춰 유지하기 어려워졌다. 반면 도구의 개선은 미세조정을 원하는 팀이 출시 속도를 따라가는 데 도움을 준다. [06:08]
4. 기업 도입의 보안 장벽과 보안 점검 활용
- 보안과 안전성은 기업의 개방형 모델 도입을 가로막는 주요 장벽이다. 미국·유럽 기업에서도 이 문제가 해결되면 중국계 모델을 채택할 여지가 있어, 보안·거버넌스 제품에 사업 기회가 생긴다. [06:51]
- 침투 테스트와 소프트웨어 보안 점검은 개방형 모델의 유력한 활용처다. 보안 연구용 특화 모델은 이런 작업을 더 유연하게 수행할 수 있으며, 일반 모델에서도 안전성 학습과 정당한 사용 목적의 구분이 중요하다. [07:37]
5. 모델 출시 품질을 결정하는 추론 엔진과 검증
- 출시 준비에는 선호하는 추론 엔진에서 모델이 빠르고 정확하게 작동하는지 확인하는 과정이 필요하다. 참조 구현과 결과를 맞추는 데 보통 수주가 걸리며, 새 기능을 활용할 도구와 사용 사례도 준비해야 한다. [08:53]
- 모델마다 구조와 도구 호출 방식이 달라 동일한 연동 방식만으로 품질을 보장하기 어렵다. 최종 배포 제품을 벤치마크해 연구 단계의 성능이 실제 사용 환경에서도 유지되는지 확인해야 한다. [09:42]
6. 도구·모델·하드웨어를 연결하는 공통 실행 환경
- 안정적인 서비스에는 에이전트 실행 도구, 모델, 하드웨어·추론 제공자의 결합이 필요하다. 출시 첫날의 수요를 감당할 클라우드 용량과 충분한 응답 속도가 없으면 모델 성능이 좋아도 사용자 경험이 나빠진다. [10:21]
- 공통 실행 환경은 하드웨어 드라이버와 추론 계층부터 애플리케이션까지 연결한다. 재사용 가능한 구성 요소와 검증 체계를 축적하면 서로 다른 모델과 인프라를 더 빠르게 결합할 수 있다. [11:46]
7. 모델과 애플리케이션 사이의 인프라 사업 기회
- 개방형 모델 생태계는 모델·추론·인프라·칩 등 여러 계층을 조율해야 한다. 폐쇄형 연구소처럼 출시 첫날부터 일관된 개발 경험을 제공하려면, 개별 계층의 성능뿐 아니라 전체 시스템의 협력이 필요하다. [12:34]
- 기업 데이터와 맥락을 연결하는 지식 계층, 하위 에이전트를 배치하는 조정 계층, 실제 작업을 수행하는 실행 계층에는 독립적인 사업 기회가 있다. 클라우드에서도 통합 서비스 이후 분야별 전문 제품을 조합하는 방식이 성장했다. [14:05]
8. 토큰 공급 이후의 병목과 외부 메모리의 역할
- 개방형 모델 토큰을 공급하는 업체가 수십 곳으로 늘면서, 새로운 병목은 토큰 자체보다 에이전트 조정과 시스템 통합으로 이동하고 있다. 개발자 한 명이 모든 계층을 직접 구축하기는 어렵다. [15:27]
- 기본적인 에이전트 기능 일부는 모델에 흡수될 수 있지만, 메모리와 최신 데이터 저장은 별도 계층으로 남을 가능성이 크다. 주기적으로 학습하는 모델만으로는 계속 바뀌는 시스템 상태를 최신으로 유지하기 어렵다. [16:46]
9. 토큰 비중과 지출 비중이 달라지는 혼합 모델 경제
- 기업 토큰의 80~90%를 개방형 모델이 처리하면서도 관련 지출은 전체의 10~20%에 그칠 수 있다는 전망이 있다. 저렴한 토큰 공급은 사용 제한을 완화하고, 가장 어려운 작업에는 최상위 모델을 활용하는 구성을 가능하게 한다. [18:19]
- 복잡한 일정 수립과 작업 조정은 최상위 모델에, 다수의 세부 작업은 개방형 모델에 맡길 수 있다. 사카나 에이아이와 오픈라우터의 혼합 활용 사례처럼, 고객은 작업에 따라 모델을 조합할 수 있다. [19:21]
10. 로컬과 클라우드를 나누는 작업 난도
- 비교적 쉬운 작업은 로컬에서 처리하면 응답 지연과 토큰당 비용을 낮출 수 있다. 최근 하드웨어는 200억~400억 매개변수 모델을 효율적으로 실행하고, 일부 환경에서는 1,200억 매개변수 모델까지 다룰 수 있다. [20:57]
- 복잡한 코드 작성과 테스트에는 대형 클라우드 모델이 유리하지만, 단순한 문서 처리에는 로컬 모델이 효과적이다. 라우터가 작업 난도를 판단해 필요한 경우에만 클라우드로 넘기면 기존 업무용 장비를 활용해 비용을 줄일 수 있다. [22:11]
11. 실행 환경에 따라 달라지는 모델의 지역별 구성
- 올라마의 클라우드 코딩 에이전트 사용에서는 중국계 모델이 가장 많이 쓰인다. 로컬 환경에서는 미국·유럽·중국 모델이 함께 사용돼, 두 실행 환경의 모델 구성이 뚜렷하게 다르다. [22:57]
- 엔비디아의 개방형 소프트웨어와 모델 지원은 생태계를 확대하고 하드웨어 경쟁력을 뒷받침하는 전략으로 해석할 수 있다. 데스크톱 장비까지 지원 범위가 넓어지면서 개방형 모델의 실행 선택지도 늘어난다. [23:39]
12. 데스크톱 추론 장비의 확대와 로컬 개발의 복귀
- 은행과 산업 기업 중에는 엔지니어용 엔비디아 그래픽처리장치를 이미 대규모로 보유한 곳이 있다. 기존 설계·엔지니어링용 워크스테이션 기반은 로컬 모델 실행을 확대할 여지가 된다. [24:49]
- 디지엑스 스파크는 128기가바이트 통합 메모리로 200억~1,200억 매개변수 모델을 실행하는 구성을 지원한다. 고속 네트워크로 여러 장비를 연결하면 더 큰 모델을 다룰 수 있으며, 애플 장비도 비교 테스트에서 경쟁력이 있다. [25:14]
13. 그래픽처리장치 공급 제약과 추론 서비스의 가치
- 그래픽처리장치 가격과 수급 변동성이 커서 스타트업은 최신 모델에 필요한 비이백·비삼백 장비를 확보하기 어렵다. 추론 서비스 제공자는 이런 장비를 확보하고 운영하는 부담을 대신 감당한다. [27:24]
- 올라마는 여러 제공자의 장비를 모아 수요에 대응하지만, 모델별 배치 지역·처리 속도·고객 지연 시간을 함께 최적화해야 한다. 개발자는 이런 서비스를 통해 고가의 장비 계약이나 24개월 수요 예측 없이 추론 자원을 이용할 수 있다. [27:58]
14. 토큰당 가격에서 작업당 비용으로 이동하는 경쟁
- 딥시크 플래시 같은 저비용 모델은 토큰당 가격뿐 아니라 작업 하나를 완료하는 비용에서도 중요하다. 토큰 사용량을 덜 의식하는 이용 방식으로 발전할 가능성이 있지만, 대량 사용에 맞춘 모델 구조와 학습 개선이 필요하다. [29:16]
- 개방형 모델과 최상위 폐쇄형 모델의 지능 격차는 3개월 미만일 수 있다는 추정이 있다. 성능 추격과 함께 대량의 토큰을 경제적으로 사용하는 능력이 다음 경쟁 과제로 부상하고 있다. [29:49]
15. 저비용 플래시 모델과 조합형 처리의 경제성
- 플래시 계열 모델은 약 80%의 작업에 충분한 성능과 낮은 비용, 빠른 속도를 갖춘다는 평가다. Ollama Cloud에서 DeepSeek 계열의 빠른 성장은 Flash 모델 채택의 영향을 크게 받는다. [30:16]
- 저렴한 모델 여러 개에 서로 다른 작업을 맡기고 연결하면 대형 모델에 가까운 결과를 얻을 가능성이 있다. 호출량과 토큰 비용의 부담이 줄어들수록 복잡한 업무 흐름을 자동화할 여지도 커진다. [30:58]
16. 충분한 성능을 갖춘 모델과 최상위 모델의 역할 분화
- 많은 업무에서는 소형·특화 모델을 조합하는 방식이 반복 가능성, 신뢰성, 비용 면에서 유리할 수 있다. 고객은 필요한 성능 수준에 도달하면 최상위 모델로 계속 이동할 필요가 줄어든다. [32:00]
- 오픈 모델은 일부 과제에서 최상위 모델과 직접 경쟁하는 단계에 접근하고 있다. GLM의 일부 작업 성능과 Kimi의 웹 개발 성능이 사례이며, 모든 분야에서 격차가 사라졌다는 의미는 아니다. [33:09]
17. 모델의 출처와 실행 환경을 둘러싼 기업의 신뢰 조건
- 기업 고객의 관심은 모델을 어디서 만들었는지와 어디서 안전하게 실행하는지로 나뉜다. 출처를 중시하는 고객에게는 보안뿐 아니라 학습 데이터와 모델의 응답 방식도 판단 기준이다. [33:42]
- 핵심 업무에서는 데이터 출처와 모델 구축 과정을 이해할 수 있어야 한다. 핀란드 발전소의 이상 급증을 감지하는 Llama 분석 사례처럼 전력 공급과 연결된 활용에서는 모델의 신뢰성이 운영에 직접 영향을 준다. [34:39]
18. 오픈 모델 보안과 기존 소프트웨어 공급망 위험
- 미국에 호스팅한 중국산 모델에도 악의적 장치가 있을 수 있다는 우려가 있지만, 대화 참여자들이 아는 범위에서는 그러한 사례가 확인되지 않았다. 가정적인 위험과 실제 확인된 사건은 구분해야 한다. [35:07]
- 오픈소스 의존성 하나가 전체 애플리케이션을 위험하게 만들 수 있다는 공급망 문제는 오래됐다. 모델은 내부를 들여다보기 더 어렵지만, 기업 보안팀의 검사로 위험을 관리할 수 있다는 고객 경험이 있다. [35:31]
19. Docker 경험에서 출발한 문제 탐색과 투자 유치
- Ollama 공동창업자들은 Docker Desktop을 만들며 개발자 경험에 대한 전문성을 쌓았지만, 새 회사에서는 그 역량으로 풀 문제를 찾는 데 시간이 걸렸다. 2021년 YC 지원 당시 구상은 Kubernetes용 데스크톱 경험에 가까웠고, Ollama 출시는 2023년 7월까지 이어졌다. [36:50]
- 2022년 Benchmark 투자 유치의 중심에는 개발자 경험과 보안 문제, 기존 Docker 시절부터 이어진 관계가 있었다. Kubernetes의 통합 로그인 문제 자체보다 창업팀의 역량과 지향점이 투자 관계의 중요한 토대였다. [39:10]
20. 고객 문제의 부재와 로컬 모델 실행이라는 전환점
- 고객과 반복해서 접촉해도 풀어야 할 문제가 명확해지지 않는 기간은 창업팀에 큰 부담이었다. 10명이 넘는 팀과 약 2년간 여러 방향을 시험하면서도 개발자의 어려움을 해결한다는 목표는 유지했다. [40:37]
- 제품 방향은 Kubernetes 보안에서 개발자 데스크톱 보안으로 이동했고, Llama 실행의 어려움이 더 구체적인 문제를 드러냈다. 오픈 모델을 쉽게 실행하도록 돕는 일이 기존 개발자 도구 역량과 맞아떨어졌다. [41:40]
21. 팀의 강점에 맞춘 선택과 2주 만의 출시
- 새 출발을 가정한 재검토에서 여러 모델에 접근하는 게이트웨이와 오픈 모델 실행 도구라는 두 기회가 떠올랐다. Docker 출신 팀의 시스템 운영 경험은 모델을 실제로 작동시키는 도구 쪽에 더 잘 맞았다. [42:39]
- 팀은 첫 Ollama 버전에 2주를 배정했고, 그 끝에 Llama 2가 나오자 제품을 출시했다. 아이디어에서 출시까지 짧게 실행한 결과, 이전 제품들에서 경험하지 못한 사용자 반응을 얻었다. [43:27]
22. 취미 개발자에서 기업으로 번진 채택
- Ollama는 GitHub 별 10만 개에 빠르게 도달했으며, 정확한 소요 기간은 불명확하지만 Docker와 Kubernetes보다 빨랐다는 경험적 비교가 있다. 약 2년 만에 Fortune 500 기업의 약 85%로 사용이 확산했다는 수치도 나온다. [44:52]
- 무료로 시작하고 원하는 곳에서 실행할 수 있는 특성은 취미 개발자와 기업 내부 개발자 모두의 진입 부담을 낮췄다. 다만 클라우드로 옮길 때는 비용, 보안, 실행 위치를 다시 검토해야 한다. [46:02]
23. 수익화를 가능하게 한 오픈 모델의 성숙
- 초기 오픈 모델은 도구 호출 같은 기능에서 제약이 있어 일부 용도가 최상위 모델에 머물렀다. 이후 코딩 에이전트의 대규모 사용 수요를 오픈 모델이 감당할 수 있게 되면서 사업 기회가 커졌다. [47:40]
- 프라이버시를 지키는 로컬 실행만으로는 고객의 요구 전체를 충족하기 어려웠다. 더 어려운 문제에 오픈 모델을 활용하도록 접근성을 높이려면 시장 성숙이 필요했지만, 기다리는 동안 수익화를 경시하는 조직 문화가 굳어질 위험도 있었다. [48:35]
24. 사용자 지표를 넘어선 고객 관계와 창업자 동료망
- 오픈소스 프로젝트가 성공해도 사용자를 온라인 지표로만 이해하면 실제 수요를 놓칠 수 있다. 고객을 직접 만나 현재 작업과 향후 6개월의 계획을 알아야 제품과 사업의 방향을 잡을 수 있다. [49:17]
- 재창업자에게도 창업의 고립감은 남는다. YC에서 매주 다른 창업팀들과 대화한 경험은 외로움을 줄였고, 이후 오픈 모델과 AI 제품을 만드는 창업자들과의 관계로 이어졌다. [49:51]
25. 경험 공유와 성공한 팀에서 배우는 품질 기준
- 창업자들이 실수를 솔직하게 공유하면 이전 세대 기업의 실패를 되풀이할 가능성을 줄일 수 있다. Docker와 VMware 같은 기업의 성장과 부침을 겪은 구성원들은 무엇이 실제로 효과가 있었는지 판단할 경험을 제공한다. [50:52]
- 많은 사용자에게 제품을 전달하고 시장 적합성을 확보한 팀에서 일하면 버그 관리, 출시 절차, 품질 기준을 직접 배울 수 있다. 짧은 참여라도 좋은 실행의 기준을 익히는 기회가 될 수 있다. [51:49]
26. 장기 운영 경험과 AI 시대에 달라진 사업 상식
- 사용자가 소프트웨어를 2년 동안 계속 쓸 때도 작동하는지 고려하는 능력은 운영 경험에서 나온다. 숙련된 엔지니어의 경험은 중요하지만, 과거 DevOps와 인프라 사업의 교훈이 AI에서도 모두 유효한 것은 아니다. [52:52]
- 다른 서비스 위에 제품을 구축하면 사업적으로 취약하다는 과거의 통념은 AI에 그대로 적용하기 어렵다. 상위 계층에서 고객과 가까워지는 일이 강점이 될 수 있으며, 언어 모델의 비결정적 동작도 기존 시스템의 완벽한 재현성 기준과는 다르게 다뤄야 한다. [53:38]
27. AI가 바꾸는 팀 운영과 통합 계층의 실용적 가치
- AI는 고객 지원과 클라우드 서비스 운영에서 필요한 인력 규모를 바꿀 수 있다. 동시에 엔지니어가 코드의 모든 부분을 정확히 알지 못하는 상태에서도 서비스를 운영해야 하는 새로운 과제가 생긴다. [54:30]
- 추론 제공자마다 다른 매개변수 처리, 문서에 없는 JSON 요구, 특이한 오류는 개발 시간을 소모시킨다. 일관된 API를 제공하고 이런 차이를 해결하는 계층은 사용자의 통합 부담을 줄인다. [55:07]
28. 풍부해진 모델을 실제로 작동하게 만드는 통합의 기회
- 분산된 모델, 추론 기술, 클라우드, 도구를 매끄럽게 연결하는 일에는 큰 가치가 있다. 개발자는 기반 서비스의 차이를 해결하는 데 시간을 쓰기보다 자신의 애플리케이션과 사업을 만드는 데 집중하려 한다. [55:57]
- OpenRouter는 여러 모델의 접근과 결제를 한곳에 모으고, OpenCode는 하나의 도구에서 여러 모델을 시험할 수 있게 한다. 모델과 제공자가 풍부해질수록 이들을 실제로 작동하는 경험으로 통합하는 역량이 더 귀해진다. [56:29]
🧾 결론
- 개방형 모델의 경제성은 저렴한 토큰 공급과 기업이 모델을 통제하고 맞춤화할 수 있는 선택권에서 나온다.
- 모든 업무에 같은 모델을 쓰기보다 필요한 성능에 맞춰 모델과 실행 위치를 조합하는 구성이 유력하다.
- 연구 단계의 성능이 실제 제품 품질로 이어지려면 최종 배포 환경에서 속도, 정확성, 도구 연동을 검증해야 한다.
- 개발자 채택이 사업 성과로 이어지려면 사용량 지표에 더해 실제 고객의 작업과 요구를 파악해야 한다.
📈 투자·시사 포인트
- 토큰 처리량 확대를 매출 비중 확대로 바로 해석하기 어렵다. 저비용 모델의 사용량과 지출 비중이 달라질 수 있다는 점을 사업 평가에 반영필요가 있다.
- 에이전트 조정, 지식·메모리 계층, 보안·거버넌스, 제공자 간 통합은 자료에서 제시하는 독립적인 사업 기회다. 고객의 구축·운영 부담을 얼마나 줄이는지가 핵심이다.
- 추론 서비스는 GPU 확보와 운영 부담을 대신 감당하는 가치를 제공한다. 장비 공급뿐 아니라 모델별 배치 지역, 처리 속도, 고객 지연 시간을 함께 최적화하는 역량이 중요하다.
- 기존 워크스테이션과 데스크톱 추론 장비는 로컬 실행 확대의 기반이 될 수 있다. 다만 실제 비용 절감 가능성은 작업 난도와 필요한 응답 속도에 따라 평가해야 한다.
⚠️ 불확실하거나 확인이 필요한 부분
- 사용자당 토큰 소비 증가, Ollama Cloud 사용량 증가, Fortune 500 기업 채택 비율은 자료에 제시된 수치다. 집계 기간, 표본, 사용의 정의와 산출 방식은 별도 확인이 필요하다.
- 개방형 모델의 토큰 비중 80~90%·지출 비중 10~20%, 최상위 모델과의 지능 격차 3개월 미만, Flash 모델의 약 80% 작업 대응은 전망·추정·평가다. 보편적인 실측 결과로 받아들이기 어렵다.
- 데스크톱에서 모델을 실행할 수 있다는 설명만으로 업무에 필요한 속도와 동시 처리 성능까지 보장되지는 않는다. 하드웨어와 모델 구성별 검증이 필요하다.
- 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
- 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
- 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.
✅ 액션 아이템
- 현재 업무별 토큰 사용량과 작업 완료 비용을 기록하고, 요구 정확도와 응답 속도를 정리한다.
- 같은 업무를 개방형 모델과 최상위 모델에 수행시켜 최종 결과 품질, 도구 호출 성공 여부, 완료 시간과 비용을 비교한다.
- 단순 문서 처리와 복잡한 코드 작업을 나눠 로컬·클라우드 배치 및 모델 라우팅을 시험한다.
- 모델의 출처, 학습 데이터 관련 정보, 실행 위치와 기업 보안 검사 요건을 확인한다.
❓ 열린 질문
- 저렴한 토큰이 사용량을 더 늘릴 때 기업의 전체 AI 지출과 작업당 비용은 각각 어떻게 변할까?
- 에이전트 기능이 모델에 흡수되더라도 외부 메모리와 조정·통합 서비스는 얼마나 독립적인 가치를 유지할까?
- 소형 모델 여러 개를 연결하는 방식은 어떤 업무에서 최상위 모델 하나보다 신뢰성과 비용 측면에서 유리할까?