Introducing India-based inference for Kimi K3 on Amazon Bedrock

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Amazon Bedrock이 Kimi K3의 추론을 인도 Mumbai·Hyderabad 리전 안에서 처리하는 옵션을 제공하며, 힌디어 문서 이해와 구조화 추출, Hinglish 질의응답 및 비용 최적화 방법을 소개했다.

📌 핵심 요약

• Kimi K3는 Moonshot AI의 멀티모달 오픈웨이트 기반 모델로, 출시 당시 최상위 수준의 코딩·일반 에이전트 지능을 달성했다고 제공사가 보고했다. Amazon Bedrock은 기존 글로벌·미국 기반 추론에 더해 인도 내 추론을 지원한다.
• 추론 프로필 global.moonshotai.kimi-k3는 최저 비용과 폭넓은 가용성을 이유로 대부분의 용도에 권장되며, in.moonshotai.kimi-k3는 추론 처리를 Mumbai·Hyderabad로 제한한다. 리전 간 데이터는 전송 중 암호화되고 AWS 네트워크 안에 머문다.
• Ultrahuman은 건강 도우미 Jade가 하루 14,000건 이상의 대화를 처리하며, Kimi K3를 기존 API로 도입하고 건강 데이터를 AWS 내부에 유지하면서 Mumbai를 대체 리전으로 활용한다고 밝혔다. 프롬프트 캐싱으로 LLM 비용을 80% 줄이고 다중 턴 대화를 85% 빠르게 했다는 성과도 보고했다.
• 문서 처리 예제는 별도 OCR·번역 서비스 없이 힌디어 이미지에서 원문을 전사하고, JSON 필드 추출·날짜와 숫자 정규화·영문 요약·Hinglish 후속 질의응답을 수행한다. 함수 호출이나 JSON Schema로 출력 구조를 제약할 수 있지만, 중요한 결정에 활용하기 전 용도별 신뢰성 검증과 필요에 따른 후처리 검증 또는 사람의 검토가 권고된다.
• 구현에는 Python 3.11 이상과 AWS 자격 증명·IAM 권한이 필요하며, 예제는 OpenAI 호환 API와 단기 토큰을 사용한다. 이미지 detail을 high로 설정하면 정확도 개선과 입력 토큰 증가가 맞물리고, flex 티어는 기본 standard 가격 대비 50% 할인, priority는 추가 비용으로 높은 대기열 우선순위를 제공하며, 반복되는 정적 입력에는 프롬프트 캐싱을 적용할 수 있다.

🧩 주요 포인트

1. 데이터 위치 요구 → in.moonshotai.kimi-k3로 인도 내 추론 범위를 지정하고, 호출 출발 리전과 Mumbai·Hyderabad 목적지에 대한 접근 권한을 함께 맞추는 것이 도입의 핵심이다.
2. 멀티모달 입력과 구조화 출력 → 힌디어 문서 이해부터 Hinglish 후속 대화까지 연결할 수 있지만, 출력 형식 제약과 추출 내용의 신뢰성 검증은 별도로 다뤄야 한다.
3. 비용·응답속도 조정 → 이미지 detail, 서비스 티어, 프롬프트 캐싱을 업무 특성에 맞게 선택할 수 있으며, Ultrahuman의 개선 수치는 해당 고객이 보고한 운영 사례로 해석해야 한다.

🧠 상세 정리

1. 인도 내 추론 지원과 고객의 운영 사례

Amazon Bedrock은 기존 글로벌·미국 기반 추론에 더해 Kimi K3의 인도 내 추론을 지원하며, 엄격한 데이터 상주 요건을 가진 현지 워크로드를 지원한다고 설명한다. Kimi K3는 Moonshot AI의 멀티모달 오픈웨이트 기반 모델이며, 출시 당시 최상위 수준의 코딩 및 일반 에이전트 지능을 달성했다는 평가는 모델 제공사의 보고로 제시된다. Ultrahuman의 건강·웰니스 도우미 Jade는 사용자의 Ring 및 포도당 데이터를 바탕으로 자연어 질문에 답하며 하루 14,000건 이상의 대화를 처리한다고 한다. 이 회사는 기존에 사용하던 API로 Kimi K3를 추가하고 건강 데이터를 AWS 내부에 유지하면서 Mumbai를 대체 리전으로 활용했다고 밝혔다. 또한 프롬프트 캐싱을 통해 LLM 비용을 80% 줄이고 다중 턴 대화를 85% 빠르게 했다고 보고했으며, 이는 해당 고객의 운영 경험으로 소개된다.

2. 추론 프로필로 처리 가능한 리전 선택

Kimi K3는 Amazon Bedrock의 교차 리전 추론 프로필을 통해 제공되며, 요청을 보내는 출발 리전과 실제 추론을 수행하는 목적지 리전이 구분된다. 고객은 지원되는 여러 AWS 리전에서 호출할 수 있고, Bedrock은 선택한 프로필이 허용하는 목적지 리전 중 하나에서 요청을 처리한다. global.moonshotai.kimi-k3는 최저 비용과 가장 폭넓은 가용성을 이유로 대부분의 용도에 권장되는 반면, in.moonshotai.kimi-k3는 추론 처리가 Mumbai와 Hyderabad 안에 머물러야 할 때 선택하는 옵션이다. 교차 리전 처리는 AWS가 관리하며, 리전 사이의 데이터는 전송 중 암호화되고 AWS 네트워크에 머물러 공개 인터넷을 통과하지 않는다. 별도의 다중 리전 VPC 인프라를 구성할 필요는 없으며, 사용 가능한 출발·목적지 리전과 프로필의 최신 정보는 Kimi K3 모델 카드에서 확인하도록 안내한다.

3. 힌디어 문서 처리 예제의 준비와 접근 권한

예제는 스캔된 힌디어 문서를 읽어 구조화 데이터를 추출하고, 힌디어와 영어가 섞인 Hinglish로 후속 질문에 답하는 흐름을 다룬다. 원문은 KYC 양식과 공공요금 청구서를 디지털화해야 하는 인도 금융 서비스 및 공공 부문에서 이러한 수요가 흔하다고 설명하며, 전체 예제 코드를 GitHub에서 제공한다. 실행에는 AWS 계정, Python 3.11 이상, 필요한 PyPI 패키지를 설치할 인터넷 연결, AWS CLI와 적절한 IAM 권한이 설정된 자격 증명이 필요하다. Mumbai의 ap-south-1에서 인도 프로필을 호출하는 IAM 예시는 베어러 토큰 호출, 일반·스트리밍 모델 호출, 두 인도 리전의 모델, 추론 프로필 및 기본 프로젝트 접근을 포함한다. 조직이 AWS 리전을 제한한다면 출발 리전을 허용하고 두 인도 목적지로의 라우팅도 가능하게 해야 하며, 관련 IAM·SCP 지침과 필요한 경우 프로필 범위의 예외를 검토하도록 안내한다.

4. OpenAI 호환 API와 단기 자격 증명 사용

Amazon Bedrock은 Bedrock Runtime 엔드포인트에서 Kimi K3를 호출하는 Chat Completions, Responses, Converse, InvokeModel API를 지원한다. Chat Completions와 Responses는 OpenAI 호환 형식을 사용하고, Converse는 지원 모델 전반의 메시지·콘텐츠 블록·추론 매개변수를 표준화하며, InvokeModel은 모델별 JSON 요청과 응답을 사용한다. 원문은 이 모델에 OpenAI 호환 API가 권장된다고 설명하고, 예제에서는 openai Python 라이브러리로 연결한다. API 키 생성도 지원하지만 가능한 경우 단기 자격 증명 사용을 권장하며, AWS token generator 라이브러리는 표준 AWS CLI 자격 증명 체인에서 단기 토큰을 만든다. 예제의 region 값인 ap-south-1은 요청을 보내는 Mumbai 출발 리전이고, model_id인 in.moonshotai.kimi-k3는 추론을 인도 리전으로 제한한다. 이름 있는 CLI 프로필을 쓰면 AWS_PROFILE 설정이 필요할 수 있으며, Chat Completions와 Responses 모두 스트리밍·도구 호출·구조화 출력 같은 기능을 지원한다.

5. 이미지 입력과 문서 내용에 대한 직접 질의

Kimi K3는 이미지뿐 아니라 PDF와 여러 다른 파일 형식을 지원하며, 입력 파일을 base64로 인코딩해 모델에 직접 전달할 수 있다. OCR처럼 작은 세부 정보가 중요한 작업에서는 이미지 detail을 high로 설정하는 방안을 제안하지만, 정확도 개선에 따라 이미지당 입력 토큰 소비도 늘어난다고 설명한다. 일부 경우 이미지를 텍스트보다 먼저 제공했을 때 출력 품질이 높았다는 관찰도 제시하며, 요청 안에서 입력 순서를 바꿔 실험하도록 권한다. 시연에는 가상의 힌디어 전기요금 청구서를 사용하고, 별도의 디지털화 단계 없이 문서에서 금액과 기한을 읽어 질문에 답한다. 예시 질문은 청구 금액·납부 기한·연체 시 납부액을 묻는 Hinglish이며, 답변에는 ₹2,217.20, 20/10/2026, 연체 시 ₹2,261.54가 제시된다. 이 사례는 문서 이미지 이해와 자연어 질의응답을 하나의 모델 호출 흐름으로 연결하는 방식을 보여준다.

6. 구조화 추출과 다중 턴 질의응답의 연결

여러 문서에서 일관된 필드를 얻으려면 고정된 프롬프트로 예상 필드 집합을 추출하는 문서 처리 흐름을 구성할 수 있다. 출력 형식을 프롬프트에만 맡기지 않고 강하게 제약하려는 경우, Kimi K3는 Amazon Bedrock에서 함수 호출이나 JSON Schema 출력 형식을 통한 구조화 출력을 지원한다. 전체 예제 파이프라인은 원래 문자 체계로 문서를 전사한 뒤 설정 가능한 스키마에 따라 주요 필드를 JSON으로 추출한다. 이때 날짜는 ISO 8601의 YYYY-MM-DD로 정규화하고, 데바나가리 숫자 २८८는 서양식 숫자 288로 바꾸며, 이름은 영어로 음역한다. 이어 짧은 영문 요약을 작성하고, 같은 문서에 대해 라틴 문자로 적은 힌디어와 영어가 섞인 Hinglish로 다중 턴 후속 질문에 답한다. 원문은 이러한 흐름을 별도 OCR 또는 번역 서비스 없이 구현할 수 있는 잠재적 해결책으로 제시한다.

7. 샘플 추출 결과와 실제 활용 전 검증

가상의 힌디어 전기요금 청구서에서 추출한 JSON 예시는 원문 이름과 영문 음역, 소비자 번호, 청구 기간, 납부 기한, 사용량 및 납부 금액을 함께 담는다. 구체적으로 청구 기간은 2026-09-01부터 2026-09-30까지, 납부 기한은 2026-10-20, 사용량은 288kWh이며, 납부액 2217.20과 기한 후 납부액 2261.54가 구분된다. 저장소에는 KYC 양식 예제도 포함되며, 다른 문서 유형에서는 모델이 유용한 필드를 직접 고르는 스키마 없는 개방형 모드를 사용할 수 있다. 제공되는 샘플 문서는 모두 합성 자료로, 이름과 주소는 가상이고 신원 식별 번호는 마스킹되어 있다. 원문은 자동 추출 결과를 중요한 결정에 사용하기 전에 해당 용도에서 신뢰할 수 있는지 검증해야 한다고 강조한다. 특히 중요한 업무에서는 후처리 검증 로직이나 사람의 검토 단계를 추가하는 방안을 고려하도록 권고한다.

8. 프롬프트·서비스 티어·캐싱을 통한 최적화

안정적인 추출을 위해서는 예제 문서를 기준으로 시스템 프롬프트와 스키마를 조정해야 하며, Amazon Bedrock Advanced Prompt Optimization은 참조 예제에 따라 프롬프트 템플릿을 최적화하는 완전관리형 선택지로 소개된다. 서비스 티어는 요청별 가격과 성능을 조정하는 수단으로, 지연에 덜 민감한 작업은 flex를 선택해 기본 standard 가격 대비 50% 할인을 받을 수 있다. 지연이 중요한 경우에는 priority를 선택해 더 높은 가격으로 높은 대기열 우선순위를 요청할 수 있다. 입력에 길고 자주 바뀌지 않는 내용이 있다면 프롬프트 캐싱을 활용할 수 있으며, 시스템 프롬프트와 도구 설명 같은 정적 내용은 현재 이미지나 질문 같은 동적 부분보다 앞에 배치하도록 안내한다. 기본 암시적 캐싱 모드에서는 별도 사용자 조작 없이 반복되는 프롬프트 접두부의 캐싱과 재사용을 시도하며, 캐시 적중에는 할인 가격이 적용된다. 명시적 모드에서는 캐싱할 내용의 경계점을 지정해 성능을 개선하는 방식도 소개되지만, 제공된 원문은 이 설명의 마지막 문장 중간에서 끝난다.

🧾 핵심 주장 / 시사점

• 인도 내 데이터 위치 요구를 충족하려면 호출 출발 리전과 추론 목적지를 구분해야 한다. Mumbai에서 요청하더라도 실제 처리 범위는 선택한 추론 프로필과 관련 접근 권한을 함께 봐야 한다.
• 문서 전사·구조화 추출·요약·후속 대화를 연결할 수 있다는 점이 활용 범위를 넓히지만, JSON 형식을 강제하는 기능만으로 추출 내용의 정확성까지 확인되는 것은 아니다.
• 가격과 응답속도를 조정하는 수단은 이미지 세부 수준, 서비스 티어, 캐싱으로 나뉜다. Ultrahuman의 성과는 활용 사례를 보여주지만 다른 업무에서도 같은 개선 폭을 얻는다고 일반화할 근거는 제시되지 않는다.

✅ 액션 아이템

• 인도 내 추론이 필요한 업무에 in.moonshotai.kimi-k3를 적용하고, 호출 출발 리전과 Mumbai·Hyderabad의 접근 권한을 확인.
• 힌디어 문서의 JSON 필드 추출과 Hinglish 후속 질의응답을 용도별로 검증하고, 중요한 결정에 쓰이는 결과에는 후처리 검증 또는 사람의 검토 적용을 검토.
• 이미지 detail, flex·priority 티어, 프롬프트 캐싱의 비용·응답속도 영향을 비교하고, Ultrahuman이 보고한 개선 수치와 해당 업무의 결과를 구분해 평가.

❓ 열린 질문

• 대상 업무의 데이터 위치 요구에 비춰 global.moonshotai.kimi-k3와 in.moonshotai.kimi-k3 중 어떤 추론 프로필이 적합한가?
• 힌디어 문서의 JSON 필드 추출과 Hinglish 후속 질의응답은 중요한 결정에 활용하기 전에 어떤 신뢰성 기준을 충족해야 하는가?
• 대상 업무에서는 이미지 detail, flex·priority 티어, 프롬프트 캐싱을 어떻게 조합해야 필요한 정확도와 응답속도를 유지하며 비용을 줄일 수 있는가?