AI’s hidden storage bill: What inference leaves behind

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

AI 추론이 지속될수록 결과물 뒤에 남는 데이터가 누적되므로, AI 인프라 예산은 연산뿐 아니라 데이터 전체 수명주기의 저장 비용까지 반영해야 한다는 것이 WD의 주장이다.

📌 핵심 요약

• 학습은 시작과 끝이 있는 작업이지만 추론은 요청마다 계속 실행되며 로그·캐시·결과물 등 데이터를 남긴다. 연산 수요가 줄어도 보관 데이터는 계속 누적될 수 있어 저장 비용을 별도로 계획해야 한다.
• WD 내부 측정에서는 사용자에게 3.97MB의 720p 파일로 제공된 8초 AI 영상이 백엔드에 500MB 이상의 관련 데이터를 남겼으며, 원문은 이를 출력 파일 크기의 130배로 설명한다. 더 길고 해상도가 높은 기업용 영상에서는 영상당 수백 GB까지 늘어날 수 있다고 주장한다.
• McKinsey는 2030년까지 AI 추론 수요가 연평균 35%, 학습 수요가 22% 증가하고, 추론이 2030년 말 전체 데이터센터 수요의 40% 이상을 차지할 것으로 전망한다.
• WD가 후원한 IDC의 전 세계 IT·비즈니스 의사결정자 763명 조사에서 약 95%는 지난 12개월간 생성형 AI로 데이터가 증가했다고 답했고, 약 61%는 증가율이 25% 이상이라고 보고했다. 응답자의 96%는 추론이나 검색증강생성(RAG)을 지원하기 위해 더 빠른 아카이브 검색이 필요해질 것으로 예상했다.
• WD는 저장 계층 전반에서 성능·용량·전력·신뢰성·총소유비용을 함께 고려하고, 보관 정책과 조달 기준을 데이터 수명주기에 맞춰야 한다고 제안한다. 대량 보관과 재사용을 위한 HDD의 TB당 비용 우위도 강조하며, 이 글은 MIT Technology Review 편집부가 아닌 WD가 제작한 후원 콘텐츠다.

🧩 주요 포인트

1. 연산 수요의 등락과 보관 데이터의 누적은 별개 → 저장 비용을 부수 항목으로 잡으면 12~18개월 뒤 AI 프로그램 총비용에서 상당한 비중을 차지할 수 있다.
2. 아카이브가 RAG와 추론의 입력으로 재사용됨 → 저장 설계는 용량 확충과 함께 검색 속도, 계층별 성능, HDD의 비용 효율을 함께 다뤄야 한다.
3. AI 사용량 증가가 저장 비용에 미치는 영향은 보관 정책과 조달 기준에 달림 → 사용량이 두 배가 될 때 비용도 두 배 또는 그 이상이 되는지 예산 편성 전에 검토할 필요가 있다.

🧠 상세 정리

1. GPU 중심 비용 계산에서 빠지는 저장 비용

글은 경영진이 AI 비용을 떠올릴 때 대개 GPU와 전력, 반도체 공급 대기를 생각하지만 데이터 저장 비용은 빠뜨리기 쉽다는 문제에서 출발한다. 매일 발생하는 방대한 프롬프트와 이미지·영상 처리 과정에서는 사용자에게 응답을 전달한 뒤에도 저장해야 할 백엔드 데이터가 남는다. 기존 인프라 논의의 중심이었던 모델 학습은 시작하고 종료하는 작업이므로 특정 프로젝트로 예산을 잡을 수 있지만, 추론은 모델이 요청에 답할 때마다 계속 실행된다. 따라서 학습 작업의 종료와 같은 방식으로 추론의 데이터 부담이 끝나리라고 보기 어렵다는 것이 글의 논리다. 저장 비용은 초기 계획에서 간과되기 쉬우면서도 예측하기 까다로운 인프라 항목으로 제시된다.

2. 작은 영상 파일 뒤에 남는 큰 데이터

WD는 내부 측정 사례로 사용자에게 3.97MB의 720p 파일로 제공된 8초짜리 AI 영상을 제시한다. 이 영상은 로그, 캐시된 문맥, 중간 렌더링 결과, 백업, 안전 관련 기록 등을 포함해 백엔드에 500MB 이상의 관련 데이터를 남겼으며, 글은 이를 사용자가 본 파일 크기의 130배로 설명한다. 더 길고 해상도가 높은 영상을 생성하는 기업 환경에서는 영상당 백엔드 데이터가 수백 GB까지 커질 수 있다는 주장도 이어진다. 이는 WD의 측정 사례와 확장 가능성에 관한 설명이며, 모든 AI 영상의 저장량이 같다는 의미로 제시되지는 않는다. 규모 확대의 배경으로는 2030년까지 추론 수요가 연평균 35%, 학습 수요가 22% 증가하고 추론이 전체 데이터센터 수요의 40% 이상을 차지할 것이라는 McKinsey 전망을 인용한다.

3. 데이터 증가와 GPU 가동률의 연결

WD가 후원한 IDC의 글로벌 백서는 IT·비즈니스 의사결정자 763명을 조사했으며, 약 95%가 지난 12개월 동안 생성형 AI로 데이터량이 증가했다고 답했다. 약 61%는 데이터 증가율이 25% 이상이었다고 보고해, 저장 부담의 확대가 응답 기업들에서 널리 관찰됐음을 보여준다. 보고서에 인용된 한 하이퍼스케일 클라우드 서비스 제공업체의 선임 제품 관리자는 저장 공간을 늘리는 일을 GPU가 계속 작업하도록 만드는 최적화로 볼 수 있다고 설명한다. 데이터가 도착하기를 기다리며 GPU가 유휴 상태에 머무는 시간이 길어지면 비용이 빠르게 커진다는 취지다. 글은 저장 지출이 매년 25%씩 늘고 연산 예산은 주기적으로 변동하는 상황을 가정해, 관심이 연산에 집중된 사이 저장 비용 증가가 예산 계획을 앞지를 수 있다고 경고한다.

4. 보관 데이터가 다시 쓰이는 수명주기

연산 수요는 학습 주기와 제품 출시, 하드웨어 교체에 따라 오르내리지만, 이미 보관한 데이터량이 그에 맞춰 줄어드는 것은 아니다. 모델 로그와 합성 결과물, 추론 결과가 쌓이고 조직이 이를 더 오래 보유하면서, 과거에는 거의 꺼내 보지 않던 아카이브도 미래 AI 작업의 입력이 될 수 있다. 저장 인프라에는 용량 확대뿐 아니라 보관 데이터를 검색하고 재사용하는 동적인 접근을 지원할 능력이 요구된다. 같은 WD-IDC 조사에서 응답자의 96%는 추론이나 RAG를 지원하기 위해 더 빠른 아카이브 검색이 필요해질 것으로 예상했다. 글은 데이터 수명주기의 단계마다 필요한 성능과 용량이 다르다고 설명하며, 대량 데이터를 보관하고 다시 활용하는 기반으로 HDD의 높은 용량과 TB당 비용 우위를 강조한다.

5. 예산에 늦게 드러나는 누적 비용

CFO와 CIO의 관점에서 글은 AI 인프라 지출을 연산 중심으로 정의하면 저장 병목의 비용을 놓칠 수 있다고 지적한다. 데이터 로딩을 기다리는 모델의 유휴 상태도 비용을 발생시키지만, 저장 문제는 가속기 옆의 설비투자 항목보다 운영비 증가와 검색 지연으로 드러나기 쉽다는 설명이다. 예시로 상품 목록용 AI 영상을 만드는 소매업체와 보험금 청구 문서를 RAG로 처리해 인수심사를 빠르게 하는 보험사를 든다. 생성당 또는 질의당 연산 비용은 예측할 수 있어도, 작업 이후 남는 백엔드 데이터 때문에 저장 비용은 영상 생성과 청구 처리마다 누적된다는 것이다. 저장 비용을 사소한 부수 항목으로 편성한 팀은 12~18개월 뒤 사업 확대를 판단할 무렵 그 비용이 프로그램 총비용의 상당 부분이 된 상황을 마주할 수 있다고 경고한다.

6. 경제적으로 확장 가능한 저장 설계

글은 즉각적이고 빈번한 접근을 위한 고비용 핫 계층에 치우친 설계를 넘어, 데이터 대부분이 누적되는 웜·쿨·콜드 계층까지 고려해야 한다고 제안한다. 데이터 전체 수명주기에서 성능과 용량, 전력, 신뢰성, 총소유비용을 함께 평가하고, 아카이브를 RAG와 추론에 활용하는 자산으로 다뤄야 한다는 주장이다. 보관 정책은 최초 저장 비용뿐 아니라 데이터의 커지는 전략적 가치를 반영해야 하며, 저장 장치 선택의 경제성도 개별 드라이브가 아닌 전체 운영 규모에서 판단해야 한다고 설명한다. 마지막에는 AI 생성 콘텐츠의 보관 정책과 결정 주체, 저장 조달이 학습 성능과 실제 데이터 수명주기 중 무엇을 기준으로 하는지, AI 사용량이 두 배가 되면 저장 비용이 얼마나 늘어나는지를 묻는다. 대부분의 조직이 세 질문에 모두 자신 있게 답하지 못한다는 것이 글의 진단이며, 다음 예산 주기 전에 이 간극을 줄일 것을 권한다. 이러한 제안은 MIT Technology Review 편집부가 작성한 기사가 아니라 WD가 제작한 후원 콘텐츠라는 맥락에서 읽어야 한다.

🧾 핵심 주장 / 시사점

• 추론의 경제성은 요청을 처리하는 순간의 연산 비용만으로 판단하기 어렵다. 요청이 끝난 뒤에도 남는 데이터가 이후의 보관·검색 비용을 계속 발생시키기 때문이다.
• 아카이브의 재사용 확대는 저렴하게 오래 보관하는 능력과 필요할 때 빠르게 접근하는 능력을 동시에 요구한다. 따라서 저장 용량과 접근 성능을 함께 고려하는 수명주기 설계가 글의 핵심이다.
• HDD의 비용 우위와 저장 투자 필요성은 WD가 제시한 주장이다. 내부 측정 사례, WD 후원 조사, 외부 수요 전망은 각각 근거의 성격이 다르므로 구분해 해석할 필요가 있다.

✅ 액션 아이템

• AI 인프라 예산에 보관 데이터의 누적 비용과 12~18개월 뒤 총비용 비중을 반영할 필요가 있다.
• RAG와 추론에 재사용되는 아카이브의 검색 속도 및 저장 계층별 성능·용량·총소유비용을 함께 검토할 필요가 있다.
• 보관 정책과 조달 기준을 데이터 수명주기에 맞춰 검토하고, AI 사용량이 두 배가 될 때 저장 비용이 얼마나 증가하는지 확인할 필요가 있다.

❓ 열린 질문

• 현재 AI 인프라 예산은 보관 데이터의 누적으로 12~18개월 뒤 커질 수 있는 저장 비용을 어느 정도 반영하고 있는가?
• RAG와 추론에 재사용할 아카이브에는 어느 수준의 검색 속도와 저장 계층별 성능이 필요한가?
• 현재의 보관 정책과 조달 기준에서 AI 사용량이 두 배가 되면 저장 비용도 두 배가 되는가, 그 이상으로 증가하는가?