🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

리플링은 무분별한 고가 AI 모델 사용으로 급증한 비용을 통제하면서 실제 업무 생산성과 연결하기 위해 AI 지출 콘솔과 모델 라우팅 게이트웨이를 구축했다.

📌 핵심 요약

• 리플링은 직원·팀·직무별 AI 사용 비용과 업무 결과를 연결해 보여주는 AI 지출 콘솔을 공개했다.
• AI 토큰 비용은 한때 연구개발 인건비 예산의 40%에 이를 전망이었으며, 직원 약 10~15%가 전체 지출의 약 60%를 발생시키고 있었다.
• 직원들이 작업 난도와 관계없이 최신 고가 모델을 기본적으로 선택한 것이 비용 폭증의 주요 원인으로 확인됐다.
• 리플링은 여러 가격대의 모델을 비교하고 작업별로 적합한 모델에 요청을 배분하는 자체 AI 게이트웨이를 도입했다.
• 그 결과 토큰 사용량을 제한하지 않고도 비용 비중을 약 15%까지 낮췄으며, 향후 전사 확대 여부는 토큰 소비를 측정 가능한 생산성과 연결할 수 있는지에 달려 있다고 밝혔다.

🧩 주요 포인트

1. 소수 직원의 지출 집중과 일률적인 최고가 모델 선택이 확인됐다 → AI 도입 규모만으로는 투자 효과를 판단할 수 없다는 문제가 드러났다.
2. 작업별 모델 배분과 지출·산출물 통합 측정을 적용했다 → 사용량을 유지하면서도 동일한 업무를 더 낮은 비용으로 처리할 수 있게 됐다.
3. 비개발 직무에는 직무별 성과 지표를 요구하고 있다 → AI 접근 권한이 이메일처럼 보편적으로 제공되기보다 생산성 입증을 전제로 관리될 가능성이 제기됐다.

🧠 상세 정리

1. 급증한 AI 비용과 긴급 점검

리플링은 연초부터 AI 활용을 적극 장려했지만, 3월 경영진 회의에서 토큰 비용이 감당하기 어려운 수준으로 증가하고 있다는 사실을 확인했다. 당시 추세대로라면 AI 토큰에 연구개발 조직 인건비 예산의 40%에 해당하는 수백만 달러를 쓰게 될 전망이었다. 지출은 매월 80%씩 늘고 있었고, 이 흐름이 지속되면 다음 해에는 연구개발 직원 인건비의 90%에 가까운 금액이 토큰 비용으로 나갈 수 있었다. 회사는 즉시 지출 내역과 그 비용으로 얻는 성과를 파악하는 긴급 프로젝트를 시작했다. 내부 분석에서는 직원 약 10~15%가 전체 AI 비용의 약 60%를 발생시키고 있었으며, 한 엔지니어의 월간 지출은 5만 달러에 달한 것으로 나타났다.

2. 고가 모델을 기본값으로 선택한 사용 행태

리플링은 AI 사용 자체를 중단하기보다 과도한 비용을 통제하는 방향을 택하고, 커서·오픈AI·앤스로픽 등 사용 도구별로 최대 지출 한도를 협상했다. 이 과정에서 직원들이 작업의 중요도나 난도와 무관하게 가장 최신이면서 가장 비싼 최전선 모델을 기본적으로 사용한다는 문제가 확인됐다. 리플링 측은 모델 제공업체마다 사용량 정보가 충분하지 않고 서로 협력하지 않아 기업이 전체 지출을 통합적으로 파악하기 어렵다고 지적했다. 회사는 여러 AI 연구소의 모델을 다양한 가격대로 확보하고, 고성능 개방형 가중치 모델까지 선택지에 포함해야 한다고 판단했다. 자체 벤치마크에서는 그록이 종합적으로 앞섰지만, 지엘엠 5.2가 최전선 모델과 거의 비슷한 성능을 내면서도 비용은 85% 낮았다고 밝혔다.

3. AI 지출 콘솔과 게이트웨이의 작동 방식

AI 지출 콘솔은 직원·팀·직무별로 발생한 AI 비용을 표시하고, 그 지출이 실제 생산성 향상으로 이어졌는지 함께 측정하도록 설계됐다. 예를 들어 AI 비용이 높은 엔지니어가 작성한 코드를 동료들이 코드 검토 과정에서 자주 다시 고치도록 요구하는지도 확인할 수 있다고 회사는 설명했다. 대시보드는 하루 프롬프트 수, 코드 줄 수와 풀 리퀘스트 같은 업무 산출물, 지출액을 결합해 보여준다. 함께 구축된 AI 게이트웨이는 각 요청을 작업에 적합하면서 비용 효율적인 모델로 전달해 불필요한 최고가 모델 사용을 줄인다. 다른 게이트웨이를 이미 사용하는 기업도 콘솔을 이용할 수 있지만, 지출을 직접 통제하는 기능까지 사용하려면 리플링의 게이트웨이가 필요하다.

4. 사용량을 줄이지 않고 달성한 비용 절감

리플링은 콘솔과 모델 라우팅 체계를 적용한 뒤 AI 토큰 지출을 연구개발 인건비 예산의 40% 수준에서 약 15% 수준으로 낮췄다고 밝혔다. 이 결과는 직원들의 AI 사용을 억제해 얻은 것이 아니었다. 최고 지출 경고가 나왔던 달의 내부 사용량은 6,050억 토큰이었고, 7월에도 이와 비슷한 6,000억 토큰을 사용했다. 그런데 7월 토큰 비용은 4월 비용의 37%에 불과했다. 회사는 문법 수정처럼 단순한 작업에 고가 모델을 쓰지 않고 더 효과적인 모델로 요청을 배분한 것이 비용 감소의 주된 이유라고 설명했다.

5. 기술만으로 해결되지 않는 조직 운영

리플링은 모델 라우팅과 비용 대시보드만으로 충분하지 않다고 보고, AI를 효과적으로 사용하는 직원들을 ‘AI 캡틴’으로 지정해 다른 직원들을 지원하도록 했다. 현재까지는 소프트웨어 엔지니어가 AI의 주된 사용자이며, 엔지니어링 이외 부서에서의 활용은 아직 발전 과정에 있다. 회사는 고객 온보딩 조직에서 우편 데이터 처리와 데이터 대조 작업 일부를 자동화하는 방안을 추진하고 있다. 이 경우 단순한 프롬프트 수가 아니라 더 많은 고객을 온보딩했는지를 생산성 지표로 삼을 계획이다. 리플링은 관리 조직과 고객 대면 조직의 토큰 소비를 구체적인 생산성 향상에 연결하지 못한다면 광범위한 직원에게 AI 사용 권한을 제공하기 어렵다고 밝혔다.

6. 직원 접근 정책과 제품화의 의미

리플링의 사례는 초기의 무제한 AI 사용 장려가 비용과 성과를 함께 관리하는 단계로 전환되고 있음을 보여준다. 기사에서는 기업이 생산성 개선을 측정하지 못할 경우 AI 접근 권한이 슬랙이나 이메일처럼 모든 직원에게 기본 제공되지 않을 수 있다고 짚었다. AI 지출 콘솔은 리플링의 인사관리 소프트웨어 가입자에게 포함되지만, 실제 AI 사용량에 따른 추가 비용이 발생한다. 다른 인사정보시스템을 사용하는 기업은 이 제품을 별도로 구매해 연동할 수도 있다. 리플링은 내부 비용 위기를 해결하기 위해 만든 지출 추적·성과 측정·모델 라우팅 체계를 독립적인 기업용 제품으로 확장했다.

🧾 핵심 주장 / 시사점

• 리플링의 비용 절감은 토큰 사용량 축소보다 작업별 모델 라우팅을 통한 단위 비용 개선에서 나왔다.
• 직원별 AI 지출을 코드 검토의 재작업이나 실제 산출물과 연결함으로써 예산 관리와 업무 품질 평가가 하나의 체계 안에서 다뤄지게 됐다.
• 비개발 직무로 AI를 확대하려면 온보딩 고객 수처럼 각 직무에 맞는 결과 지표를 먼저 정의하고 토큰 소비와 연결해야 한다.

✅ 액션 아이템

• 직원·팀·직무별 AI 비용과 업무 결과를 같은 기준으로 묶어, 도입 규모 대신 투자 효과를 판별할 측정 단위를 정의한다.
• 작업 난도별로 가격대가 다른 모델 배분 규칙을 정하고, 기본값이 최신 고가 모델로 고정되지 않는지 점검한다.
• 토큰 사용량을 줄이지 않으면서 비용 비중을 낮출 수 있는지, 지출 집중 구간(상위 10~15% 사용자)부터 비교·조정한다.

❓ 열린 질문

• 토큰 소비를 어떤 측정 가능한 생산성 지표와 연결해야 전사 확대 여부를 판단할 수 있는가?
• 비개발 직무에서 AI 접근 권한을 열기 전에 요구할 직무별 성과 지표의 최소 기준은 무엇인가?
• 동일 업무를 더 낮은 비용으로 처리했다고 볼 때, 모델 배분 효과가 산출물 품질을 해치지 않았는지 어떻게 확인할 것인가?