Introducing Kimi K3.1 Pro on Amazon Bedrock

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Amazon Bedrock에 출시된 Moonshot AI의 Kimi K3.1 Pro Highspeed는 100만 토큰 컨텍스트와 높은 출력 속도를 제공하며, 기존 API 연동과 Flex 요금제·명시적 프롬프트 캐싱을 통해 에이전트 및 코딩 작업의 속도와 비용을 조정할 수 있다.

📌 핵심 요약

• Kimi K3.1 Pro Highspeed는 Kimi K3와 동일한 3T급 오픈 웨이트 아키텍처와 100만 토큰 컨텍스트를 유지하면서 후학습 연산량을 늘린 모델이다. Moonshot AI는 장기 에이전트 작업, 사실 오류 감소, 전문 업무와 코딩 개선을 목표로 했으며, Kimi K3.1 Pro 대비 2~3배의 출력 속도를 제공한다고 보고한다.
• Amazon Bedrock의 기존 Kimi K3와 같은 엔드포인트·API·기능을 사용하며, 도구 호출·구조화 출력·추론 조절·이미지 입력·스트리밍을 지원한다. 데이터는 AWS 데이터 경계 안에서 처리되고 Moonshot AI에 공유되거나 모델 학습에 사용되지 않으며, 추론 요청에는 항상 제로 데이터 보존과 AWS 운영자의 접근 차단이 적용된다.
• Chat Completions·Responses·Converse·Invoke API로 접근할 수 있으며 AWS는 Chat Completions를 권장한다. global.moonshotai.kimi-k3.1은 지원되는 상용 AWS 리전으로 요청을 라우팅하고 지리적 프로필보다 토큰당 비용이 낮으며, us.moonshotai.kimi-k3.1과 in.moonshotai.kimi-k3.1은 각각 미국과 인도 리전 안에서 처리한다.
• Flex는 응답 시간이 길어질 수 있는 대신 Standard 가격의 절반이며, 요청별로 Priority·Standard·Flex를 혼용할 수 있지만 온디맨드 할당량은 공유된다. 명시적 프롬프트 캐싱은 Chat Completions·Responses·Invoke에서 지원되고 Converse에서는 지원되지 않으며, 최소 256토큰의 안정적 콘텐츠 뒤에 경계를 지정하고 캐시는 최소 30분 유지된다. 캐시 쓰기는 일반 입력보다 비싸고 읽기는 할인되며 입력 토큰의 분당 할당량에서 제외된다.
• Kimi K3.1 Pro Highspeed는 항상 답변 전에 추론하며, 추론 수준은 low·high·max이고 기본값은 max다. 단순한 작업에서 추론 수준을 낮추면 지연과 출력 토큰을 줄일 수 있다. OpenCode는 Amazon Bedrock의 OpenAI 호환 제공자를 통해 연결할 수 있으며, 글은 연속적인 모델 호출이 필요한 코딩 작업에서 높은 출력 속도가 편집·테스트·수정 반복 시간을 줄인다고 설명한다.

🧩 주요 포인트

1. 기존 Kimi K3 연동을 모델 ID 변경으로 재사용할 수 있어 도입 부담이 작으며, 추론 프로필 선택은 데이터 레지던시 요구와 토큰 비용을 함께 좌우한다.
2. Flex의 가격·응답 시간 교환관계와 명시적 프롬프트 캐싱의 쓰기·읽기 비용 차이를 고려하면, 지연 허용 범위와 반복 컨텍스트 재사용 정도가 비용 최적화의 기준이 된다.
3. OpenCode처럼 모델 호출이 순차적으로 이어지는 작업에서는 출력 속도 향상 효과가 여러 단계에 걸쳐 누적될 수 있으며, low·high·max 설정도 작업별 속도와 추론량을 조절하는 수단이 된다.

🧠 상세 정리

1. 모델 출시와 후학습의 초점

Moonshot AI의 Kimi K3.1 시리즈에 속하는 Kimi K3.1 Pro Highspeed가 Amazon Bedrock에 출시됐다. 이 모델은 Kimi K3를 후학습한 버전으로, 기존과 동일한 3T급 오픈 웨이트 아키텍처와 100만 토큰 컨텍스트 윈도를 유지하면서 후학습에 투입한 연산량을 크게 늘렸다. Moonshot AI에 따르면 추가 학습은 장기적인 에이전트 작업 수행과 사실 오류 감소를 겨냥하며, 금융 모델링과 사무 문서 작성 같은 전문 업무도 개선한다. 게임 엔진, 3D 장면, 컴퓨터 지원 설계인 CAD 스크립트 관련 코딩 역시 개선 대상으로 제시된다. Highspeed 버전은 출력 토큰 생성률을 높인 모델이며, Moonshot AI는 Kimi K3.1 Pro보다 2~3배 빠르다고 보고하지만 글에는 이를 검증하는 별도의 측정 결과가 제시되지 않는다.

2. 기존 연동 재사용과 데이터 보호

Kimi K3.1 Pro Highspeed는 Amazon Bedrock의 Kimi K3와 동일한 엔드포인트, API, 기능을 사용하므로 기존 사용자는 코드에서 모델 ID를 바꿔 시험할 수 있다. 지원 기능에는 도구 호출, 구조화 출력, 추론 수준 조절, 이미지 입력, 스트리밍이 포함돼 에이전트와 다양한 애플리케이션에 활용할 수 있다. 글은 기존 보안 체계를 변경하지 않고 모델을 도입할 수 있다고 설명하며, 사용자 데이터가 AWS 데이터 경계 안에서 처리된다고 명시한다. 데이터는 Moonshot AI에 공유되지 않고 모델 학습에도 사용되지 않으며, 추론 요청에는 제로 데이터 보존이 항상 활성화된다. 또한 제로 운영자 접근 정책에 따라 AWS 운영자는 추론 중 사용자의 프롬프트와 모델의 응답을 볼 수 없다고 설명한다.

3. 시작 방법과 추론 프로필 선택

코드를 작성하지 않고 시험하려면 Amazon Bedrock 콘솔에서 Test, Playground 순서로 이동한 뒤 Kimi K3.1을 선택하면 된다. 코드에서는 bedrock-runtime 엔드포인트를 사용하며, global.moonshotai.kimi-k3.1 프로필은 지원되는 상용 AWS 리전 중 하나로 요청을 라우팅하고 지리적 프로필보다 토큰당 비용이 낮아 대부분의 워크로드에 권장된다. 데이터 레지던시 요구가 있다면 미국 리전 안에서 처리하는 us.moonshotai.kimi-k3.1 또는 인도 리전 안에서 처리하는 in.moonshotai.kimi-k3.1을 사용할 수 있다. 예제 실행에는 Amazon Bedrock 접근 권한이 있는 AWS 계정과 Python 3.11 이상, OpenAI SDK, aws-bedrock-token-generator, boto3가 필요하다. IAM 자격 증명에는 해당 추론 프로필에 대한 bedrock:InvokeModel과 bedrock:InvokeModelWithResponseStream 권한이 필요하며, 베어러 토큰으로 인증할 때는 bedrock:CallWithBearerToken도 추가해야 한다.

4. API 호출과 추론량 조절

모델은 OpenAI 호환 Chat Completions와 Responses API, Amazon Bedrock의 Converse와 Invoke API를 지원하며 글은 Chat Completions 사용을 권장한다. OpenAI SDK를 이미 사용하는 애플리케이션은 Amazon Bedrock 엔드포인트와 모델 이름을 지정하면 되며, 예제는 AWS 자격 증명에서 단기 베어러 토큰을 생성해 코드에 장기 키를 저장하지 않는 방식을 보여준다. 모델은 항상 답변 전에 추론하고, Chat Completions의 reasoning_effort는 low, high, max를 지원하며 값을 생략하면 max가 적용된다. 단순한 작업에서는 이 값을 낮추는 것이 지연과 출력 토큰을 줄이는 가장 직접적인 방법이라고 설명한다. Responses에서는 같은 설정을 reasoning.effort로 전달하고, Converse의 응답에는 답변 앞에 추론 블록이 포함될 수 있으므로 예제에서는 콘텐츠 중 텍스트 블록을 선택해 출력한다.

5. Flex의 비용 절감과 응답 시간 교환관계

Flex는 Kimi K3.1 Pro Highspeed를 Standard 가격의 절반에 제공하지만, 응답 시간이 더 길어질 수 있다는 조건이 따른다. 글은 모델 평가, 콘텐츠 요약, 에이전트 워크플로의 백그라운드 작업처럼 응답 시간보다 비용 효율이 중요한 작업에 적합하다고 설명한다. 서비스 등급은 요청마다 선택하므로 하나의 애플리케이션에서 지연에 민감한 요청은 Priority, 일상적인 요청은 Standard, 비용에 민감한 작업은 Flex로 처리할 수 있지만 세 등급은 온디맨드 할당량을 공유한다. Chat Completions에서는 service_tier를 flex로 설정하고, Converse에서는 serviceTier의 type을 flex로 지정한다. Amazon CloudWatch의 ServiceTier와 ResolvedServiceTier 차원으로 등급별 처리 트래픽을 확인할 수 있으며, 글은 소량의 트래픽부터 Flex에 배정해 지연과 비용을 비교한 뒤 비중을 늘릴 것을 권장한다.

6. 반복 컨텍스트를 위한 명시적 프롬프트 캐싱

에이전트와 코딩 도우미는 시스템 지침, 도구 정의, 저장소 규칙, 참고 문서처럼 큰 접두부를 매번 다시 보내는데, 모델은 반복되는 접두부를 자동으로 캐싱한다. 명시적 프롬프트 캐싱을 사용하면 안정적인 접두부의 끝을 직접 표시해 캐시 적중률을 높이고, 이후 요청에서 해당 내용을 다시 처리하는 대신 재사용해 지연과 입력 비용을 줄일 수 있다. 이 기능은 Chat Completions, Responses, Invoke에서 지원되지만 Converse에서는 지원되지 않으며, prompt_cache_breakpoint는 최소 256토큰의 안정적인 콘텐츠 뒤에 놓여야 하고 캐시 내용은 최소 30분 유지된다. 캐시 쓰기는 일반 입력보다 높은 요율로 청구되는 반면 읽기는 할인되며, 읽은 토큰은 입력 토큰의 분당 할당량에 포함되지 않는다. 예제는 긴 시스템 프롬프트 뒤와 사용자 콘텐츠 뒤에 각각 경계를 두어 같은 문서에 대한 후속 질문에서 두 층을 재사용하고, 응답의 cached_tokens 값으로 캐시 읽기 여부를 확인하는 방식을 보여준다.

7. OpenCode 연결과 API 키 관리

OpenCode는 터미널에서 실행되는 오픈 소스 코딩 에이전트로, 특정 모델에 종속되지 않으며 OpenAI 호환 제공자와 Amazon Bedrock API 키를 통해 Kimi K3.1 Pro Highspeed에 연결할 수 있다. API 키는 baseURL에 지정한 AWS 리전의 Amazon Bedrock 콘솔에서 생성하며, 단기 키는 최대 12시간 유효하고 생성된 리전에서만 사용할 수 있다. 글은 프로덕션에는 단기 키를 권장하고 장기 키는 탐색 용도로 구분한다. 설정은 ~/.config/opencode/opencode.json에 추가하며, 예제는 amazon-bedrock-chat-completions 제공자와 해당 리전의 엔드포인트, global.moonshotai.kimi-k3.1 모델을 지정한다. 프로젝트 디렉터리에서 OpenCode를 시작한 뒤 /connect로 제공자를 선택하고 키를 입력하면 OpenCode가 이를 저장하므로 키마다 한 번 연결하면 되며, 세션 중 모델 전환에는 /models를 사용한다.

8. 코딩 반복 작업에서의 속도 의미와 제공 범위

OpenCode 설정의 capabilities 항목에 지원하는 추론 수준을 기재하면 low, high, max가 모델의 변형으로 표시돼 사용자가 선택할 수 있다. 글은 에이전트 코딩에서 출력 속도가 특히 중요하다고 설명하는데, 하나의 작업을 끝내기까지 파일 읽기, 변경 계획 수립, 코드 편집, 테스트 실행, 실패 수정에 걸쳐 여러 모델 호출이 순서대로 이어지기 때문이다. 각 호출은 앞선 호출이 끝나야 시작할 수 있고 상당한 시간이 추론과 코드 생성에 쓰이므로, 높은 출력 토큰 생성률은 단계별 대기 시간을 줄여 전체 편집·테스트·수정 반복을 앞당긴다는 논리다. 모델은 global.moonshotai.kimi-k3.1, us.moonshotai.kimi-k3.1, in.moonshotai.kimi-k3.1의 세 교차 리전 추론 프로필로 제공된다. 구체적인 지원 리전과 모델 정보는 모델 카드 및 리전별 가용성 문서, 요금은 Amazon Bedrock 가격 문서를 참조하도록 안내하며, 본문에는 전체 리전 목록이나 절대 요금이 제시되지 않는다.

🧾 핵심 주장 / 시사점

• Moonshot AI가 보고한 2~3배 속도는 Kimi K3.1 Pro와 비교한 출력 속도이므로, 전체 작업 완료 시간이 같은 비율로 단축된다는 의미로 확대 해석할 수는 없다.
• 데이터가 AWS 데이터 경계 안에서 처리된다는 보장과 특정 국가의 리전 안에서 처리된다는 조건은 구분된다. 추론 프로필 선택에서는 global의 비용 이점과 미국·인도 프로필의 처리 위치 제약을 함께 고려해야 한다.
• 추론 수준 조절, Flex, 명시적 프롬프트 캐싱은 각각 추론량, 서비스 응답 시간, 반복 입력 처리에 작용한다. 특히 캐싱은 쓰기 비용이 더 높으므로 반복 읽기의 할인 효과와 함께 판단해야 한다.

✅ 액션 아이템

• 데이터 레지던시 요구와 토큰 비용을 기준으로 global.moonshotai.kimi-k3.1, us.moonshotai.kimi-k3.1, in.moonshotai.kimi-k3.1의 적용 범위를 검토한다.
• 지연을 허용할 수 있는 작업에서 Flex와 Standard의 응답 시간·비용을 비교하고, 단순한 작업은 low·high·max 추론 수준에 따른 지연과 출력 토큰을 함께 평가한다.
• 반복 컨텍스트가 있는 Chat Completions·Responses·Invoke 작업에서 최소 256토큰과 최소 30분 유지 조건을 고려해 명시적 프롬프트 캐싱의 쓰기·읽기 비용 효과를 검토한다.

❓ 열린 질문

• Moonshot AI가 보고한 Kimi K3.1 Pro 대비 2~3배의 출력 속도는 실제 OpenCode 작업의 전체 완료 시간을 얼마나 단축하는가?
• Flex의 Standard 대비 절반 가격은 적용하려는 작업에서 허용 가능한 응답 시간과 양립하는가?
• 반복 컨텍스트의 재사용 정도가 명시적 프롬프트 캐싱의 높은 쓰기 비용을 상쇄할 만큼 할인된 읽기를 발생시키는가?