Building a self-service LLM gateway with Amazon Bedrock and LiteLLM
Quick Summary
Amazon Bedrock과 AWS Fargate의 LiteLLM을 연결하면 개발자는 단일 OpenAI 호환 API와 개인별 키로 모델을 이용하고, 조직은 비용·접근 권한·모델 성능을 중앙에서 관리할 수 있다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
Amazon Bedrock과 AWS Fargate의 LiteLLM을 연결하면 개발자는 단일 OpenAI 호환 API와 개인별 키로 모델을 이용하고, 조직은 비용·접근 권한·모델 성능을 중앙에서 관리할 수 있다.
📌 핵심 요약
- 이 구성은 Amazon Bedrock Application Inference Profiles와 AWS Fargate에서 실행하는 LiteLLM으로 모델 접근을 중앙화한다. 개발자는 단일 OpenAI 호환 API와 개인별 키를 사용하며, 조직은 사용자별 비용 통제와 모델 성능 관측 기능을 확보한다.
- 요청은 Amazon Route 53, Amazon CloudFront, Application Load Balancer를 거쳐 LiteLLM에 도달한다. Amazon RDS의 PostgreSQL은 키와 지출 상태를 저장하고, Amazon ElastiCache for Valkey는 비영구 응답 캐시와 태스크 간 속도 제한 조정을 담당한다. Amazon CloudWatch는 RPM·TPM 지표와 할당량 경보를, Langfuse는 프롬프트 수준 원격 측정·지연 추적·디버깅을 지원한다.
- 원문에 따르면 LiteLLM AI Gateway는 최대 5명까지 무료이며 이를 초과하면 라이선스가 필요하다. 무료 계층도 가상 키를 지원하지만, 글에서 설명하는 셀프서비스 키 발급에는 LiteLLM Enterprise가 필요하다. Enterprise에는 SSO, 감사 로그, 위임 관리자 역할, 지원이 포함된다.
- 원시 추론 프로파일 ARN은 LiteLLM의 기본 비용표에서 인식되지 않아 비용이 $0으로 처리될 수 있으므로, 키별 예산 집행을 위해 입력·출력 토큰 단가를 명시해야 한다. 예시 설정은 키별 예산 250, 7일 이동 기간, 최대 병렬 요청 10개를 사용하며, 관리 키와 데이터베이스 자격 증명은 AWS Secrets Manager에서 주입한다.
- Global CRIS는 모델 지원과 조직 정책이 허용할 때 권장되며, Geographic CRIS보다 넓은 리전 용량과 잠재적인 가격 이점을 제공한다. Global CRIS의 copyFrom은 global. 접두사의 시스템 정의 추론 프로파일을 가리켜야 하고, IAM에는 애플리케이션 추론 프로파일과 라우팅 대상 리전의 해당 기반 모델 권한이 필요하다. 프로덕션 전에는 적절한 책임 있는 AI 통제를 포함해야 하며, 제공된 본문은 Langfuse 연동 설정 설명 도중에 끝난다.
🧩 주요 포인트
- OpenAI 호환 API로 개발 도구와 Amazon Bedrock 구성을 분리 → 개발자 설정 변경 없이 모델 교체·폴백 추가·공급자 이전 가능.
- 개인별 키와 명시적 토큰 단가를 결합 → 사용자별 지출 통제가 가능하지만, 셀프서비스 발급에는 LiteLLM Enterprise가 필요하고 비용이 $0으로 기록되면 예산이 집행되지 않음.
- Global CRIS의 처리 범위와 IAM 리소스를 함께 설계 → 넓은 리전 용량을 활용하려면 조직 정책을 충족하고 실제 호출 대상 모델까지 권한을 부여해야 함.
🧠 상세 정리
1. 개발 편의와 중앙 관리가 만나는 LLM 게이트웨이
원문은 개발자가 AI 코딩 도우미를 최소한의 설정으로 사용하려는 요구와, 조직이 사용 현황을 관리해야 하는 요구를 함께 제시한다. 플랫폼 팀은 지연 시간과 오류를 관측해야 하고, 재무 팀은 추론 비용을 팀과 프로젝트에 귀속시켜야 하며, 보안 팀은 일관된 접근 통제를 필요로 한다. 이를 위한 중앙 접근점으로 LiteLLM을 AWS Fargate에서 실행하고 Amazon Bedrock Application Inference Profiles를 연결하는 구성을 설명한다. 개발자는 단일 OpenAI 호환 API와 전용 키로 기반 모델에 접근하고, 조직은 사용자별 비용 통제와 모델 성능 관측 기능을 얻는 방식이다. 글은 Claude Sonnet과 Claude Haiku를 예시로 사용하며, 제시된 코드 조각과 AWS CDK 구성을 통해 독자가 자체 구현 방식을 이해하도록 하는 데 목적을 둔다.
2. 요청 경로와 저장소의 역할 분담
개발자의 OpenAI 호환 클라이언트 요청은 Amazon Route 53, Amazon CloudFront, Application Load Balancer를 거쳐 Fargate의 LiteLLM에 도달하고, 개인별 API 키로 인증된다. LiteLLM은 CPU 사용률을 기준으로 목표 추적 Auto Scaling을 적용하며, 개발 도구는 Amazon Bedrock에 직접 접근하는 대신 이 프록시를 사용한다. Amazon RDS의 PostgreSQL은 API 키 메타데이터와 지출 추적 같은 영속 상태의 기준 저장소이고, Amazon ElastiCache for Valkey는 비영구 응답 캐시와 여러 Fargate 태스크 사이의 속도 제한 조정을 맡는다. AWS Secrets Manager는 비밀값을 제공하며, LiteLLM은 범위가 제한된 IAM 태스크 역할로 Amazon Bedrock Application Inference Profiles를 호출한다. Amazon CloudWatch는 RPM·TPM 지표와 할당량 경보를 담당하고, Langfuse는 인프라 지표를 보완하는 애플리케이션 수준 관측 기능을 제공한다.
3. 셀프서비스 포털, 라이선스와 개발 도구 설정
배포에는 AWS 계정, Amazon Bedrock 모델 접근 권한, 적절한 IAM 권한과 LiteLLM이 필요하며, 원문은 오픈 소스 AI Gateway가 일부 제한을 전제로 소규모 시험 운영에 적합하다고 설명한다. 원문이 인용한 LiteLLM 안내에 따르면 최대 5명까지 무료이고 그 이상에는 라이선스가 필요하며, 무료 계층의 가상 키 지원과 별개로 이 글의 셀프서비스 키 발급에는 LiteLLM Enterprise가 요구된다. Enterprise는 SSO, 감사 로그, 위임 관리자 역할, 지원을 포함하며, 포털에서 운영 엔지니어가 지출 정책을 정하면 개발자는 그 범위 안에서 API 키를 직접 발급받는다. 개발자는 Claude Code, Continue, Cursor 같은 도구에 기본 URL과 API 키를 설정하고, 예시에서는 openai-compatible 공급자와 claude-sonnet-4-20250514 모델명을 사용한다. 이 추상화로 모델 교체, 폴백 추가, 모델 공급자 이전을 개발자 설정 변경 없이 수행할 수 있다는 것이 원문의 설명이다.
4. 모델 매핑과 비용 집행의 핵심 조건
LiteLLM 설정은 개발자가 사용하는 모델명을 Amazon Bedrock 추론 프로파일 ARN에 매핑하고, 키별 지출 한도를 적용하는 중심 지점이다. 예시의 claude-sonnet-4-20250514는 최대 재시도 3회와 확장 사고를 위한 900초, 즉 15분의 제한 시간을 사용하며, claude-haiku-4-5의 제한 시간은 120초로 제시된다. 특히 원시 추론 프로파일 ARN을 사용하면 LiteLLM이 기본 비용표에서 이를 찾지 못해 비용을 $0으로 처리하고 키별 지출도 0에 머물러 예산이 집행되지 않으므로, 입력·출력 토큰 단가를 명시해야 한다고 강조한다. Sonnet의 예시 토큰 단가는 입력 0.000003과 출력 0.000015이고, Haiku는 입력 0.000001과 출력 0.000005이며, 모두 예시 비용으로 제시된 값이다. 공통 설정에는 키별 예산 250, 7일 이동 기간, 최대 병렬 요청 10개가 포함되므로, 비용 계산 설정이 실제 지출 통제의 전제 조건이 된다.
5. 캐시와 비밀값을 연결하는 운영 설정
원문은 LiteLLM을 컨테이너 서비스에 배포하되 이 예시에서는 AWS Fargate를 사용하며, 로컬 시험 중에는 http://localhost:4000/ui에서 포털을 열 수 있다고 설명한다. 캐시 설정은 Valkey가 Redis 프로토콜과 호환되므로 type을 redis로 유지하고, 예시에서는 ElastiCache 엔드포인트와 6379 포트를 지정한다. 관리 키와 데이터베이스 자격 증명은 config.yaml에 직접 기록하지 않고, AWS Secrets Manager에서 가져와 Fargate 태스크의 LITELLM_MASTER_KEY와 DATABASE_URL 환경 변수로 설정한다. LiteLLM은 설정을 읽을 때 os.environ/VAR_NAME 참조를 해석하며, Langfuse 자격 증명도 같은 방식으로 전달하도록 안내한다. 개발자가 모델명을 지정해 요청하면 LiteLLM은 대응하는 추론 프로파일 ARN을 찾고 Fargate 태스크의 IAM 역할로 인증한 뒤, 응답을 OpenAI 형식으로 스트리밍한다.
6. 추론 프로파일과 교차 리전 처리 방식의 선택
Amazon Bedrock Application Inference Profiles는 특정 모델을 위한 이름 있는 엔드포인트를 제공하며, 원문은 이를 모델별 할당량 격리와 세밀한 IAM 통제, LiteLLM 설정과 모델 버전 사이의 추상화 수단으로 설명한다. 모델별 프로파일은 AWS CDK로 관리하고, 교차 리전 추론인 CRIS를 사용하면 별도의 교차 리전 요청 라우팅을 직접 구현하는 부담을 줄일 수 있다. CRIS의 이점으로는 더 넓은 리전 용량 접근, 가용 용량이 있는 지원 리전으로의 자동 라우팅, 추론 프로파일을 통해서만 제공되는 일부 모델의 이용이 제시된다. 선택한 모델이 지원하고 조직 정책이 전 세계 지원 AWS 상용 리전에서의 처리를 허용한다면 Global CRIS를 권장하며, Geographic CRIS는 미국 프로파일이 지원 미국 리전만 사용하는 것처럼 처리를 정해진 지리 범위에 유지한다. Global CRIS의 더 넓은 용량과 가격 이점은 가능성으로 제시되며, 실제 모델 가용성·서비스 할당량·모델별 가격은 현재 AWS 문서와 가격 페이지에서 확인하도록 한다.
7. Global CRIS의 CDK 참조와 IAM 권한 함정
CDK 예시는 claude-sonnet-gateway라는 애플리케이션 추론 프로파일을 만들고, modelSource의 copyFrom에 global. 접두사가 붙은 시스템 정의 추론 프로파일 ARN을 지정한다. 원문은 이 자리에 기반 모델 ARN을 직접 넣으면 교차 리전 라우팅이 없는 단일 리전 프로파일이 만들어진다고 강조하므로, Global CRIS 사용 여부는 참조 대상에 달려 있다. LiteLLM 태스크 역할에는 bedrock:InvokeModel과 bedrock:InvokeModelWithResponseStream 작업을 허용하고, 애플리케이션 추론 프로파일과 실제 라우팅으로 접근할 수 있는 기반 모델 리소스를 포함해야 한다. 권한을 애플리케이션 추론 프로파일 ARN에만 한정하면 호출 시 기반 모델 리소스에 대한 권한 오류가 발생하며, 예시는 해당 모델의 리전 지정 ARN과 리전 와일드카드 ARN을 함께 보여준다. 이 방식은 작업이나 리소스 전체를 허용하는 대신 실제 사용하는 모델을 특정한다는 의미에서 최소 권한 구성으로 설명된다.
8. 모델 호출, 관측 기능과 제공 본문의 범위
LiteLLM이 추론 프로파일 ARN을 호출하면 Amazon Bedrock이 모델 확인과 교차 리전 라우팅을 처리하고, 설정된 AWS 리전의 가용 용량으로 요청을 전달한 뒤 응답을 반환한다. 이 과정은 추론 프로파일이 투명하게 처리하므로, 원문은 모델 호출 단계에서 별도의 추가 설정이 필요하지 않다고 설명한다. 이어지는 Langfuse 단계에서는 LiteLLM의 로깅 콜백으로 모델 호출을 관측하고, 개발 도구 설정을 바꾸지 않고도 프롬프트 수준 원격 측정과 지연 추적, 디버깅 정보를 얻는다고 소개한다. 다만 제공된 본문은 기존 litellm_settings에 연동 항목을 병합하라는 설명 도중에 끝나므로, 구체적인 후속 설정이나 완성된 콜백 코드는 확인할 수 없다. 또한 글은 단순화를 위해 콘텐츠 필터링과 그라운딩 같은 Amazon Bedrock Guardrails 추가를 다루지 않지만, 프로덕션 배포 전에는 적절한 책임 있는 AI 통제를 포함하는 것이 일반적이라고 명시한다.
🧾 핵심 주장 / 시사점
- OpenAI 호환 API는 개발자 설정과 모델 백엔드 사이의 결합을 줄인다. 중앙에서 모델 연결을 바꿀 수 있다는 점이 개발 편의와 운영 통제를 함께 확보하는 핵심이다.
- 개인별 키가 존재하는 것만으로 비용 통제가 완성되지는 않는다. 추론 프로파일 ARN의 토큰 단가를 명시하지 않으면 지출이 $0으로 기록될 수 있어 예산 설정이 실효성을 잃는다.
- Global CRIS의 용량 이점은 조직의 처리 지역 정책과 IAM 구성이 맞아야 활용할 수 있다. 원문은 가격 이점을 잠재적인 것으로 표현하므로, 이를 확정적인 비용 절감으로 해석할 수 없다.
✅ 액션 아이템
- 셀프서비스 키 발급에 필요한 LiteLLM Enterprise와 최대 5명 무료 조건을 기준으로 이용 범위를 검토한다.
- 원시 추론 프로파일 ARN의 입력·출력 토큰 단가를 명시하고, 키별 예산 250과 7일 이동 기간에 따른 지출 집행 여부를 확인한다.
- Global CRIS의 처리 범위에 대한 조직 정책과 모델 지원 여부를 확인하고, IAM에 애플리케이션 추론 프로파일 및 라우팅 대상 기반 모델 권한을 반영한다.
❓ 열린 질문
- 최대 5명 무료 조건과 셀프서비스 키 발급 요구를 고려할 때 LiteLLM Enterprise가 필요한 이용 범위는 어디까지인가?
- 원시 추론 프로파일 ARN의 토큰 단가가 명시되어, 지출이 $0으로 남지 않고 키별 예산 250이 7일 이동 기간에 따라 집행되는가?
- 선택한 모델과 조직 정책은 Global CRIS를 허용하며, IAM 권한은 실제 라우팅 대상 리전의 기반 모델까지 포함하는가?