I tested every effort level on Kimi K3.1 Pro (3 Builds)

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Kimi K3.1 Pro의 Low·High·Max를 세 가지 제작 과제로 비교한 결과, Max는 출시 패키지에서 유리했지만 더 많은 추론 노력이 모든 과제의 완성도를 보장하지는 않았다.

📌 핵심 요점

1. 같은 실행 조건에서 한 번의 생성 결과를 비교했다. 동일한 프롬프트와 도구를 제공하고 메모리·스킬·플러그인 등을 제외했다. 다만 자체 비교 도구가 개발 중이어서 미리보기 오류와 측정 환경의 한계가 있다.
2. IKEA 조립 안내는 노력 수준을 높여도 세부 표현이 부족했다. Low는 8분 22초, High는 18분 37초, Max는 High보다 약 5분 더 걸렸다. High는 카메라와 분해도를, Max는 연결 나사 표현을 개선했지만 공구·부속품·제품 특징과 시점 제어에는 아쉬움이 남았다.
3. Puddle 출시 패키지는 Max의 추가 작업이 가치 있게 평가됐다. Low는 14분 26초·235만 토큰·1달러, High는 2.29달러였으며 Max는 917만 토큰을 사용했다. Max는 상담 예약과 관리 화면, 광고 모션을 보강했지만 모든 수준에서 수집된 리드 목록은 확인되지 않았다.
4. 소닉 재현에서는 실행 여부와 요구 충족이 달랐다. Low도 게임을 실행했지만 요청한 측면 시점을 유지하지 못했다. 후속 확인에서는 회전 물리 오류가 지적됐고, Max에는 방향키 입력 반전과 시점 문제가 나타났다.
5. 평가는 용도별로 나눠야 한다. 제작자는 랜딩 페이지의 UX·UI 접근을 높게 평가했지만 전반적인 시각적 결과에는 아쉬움을 표했다. 게임 재현 성능이나 Max 선호를 모델 전체의 우수성 또는 에이전트 성능 검증으로 확대하지 않았다.

🧩 배경과 문제 정의

• Kimi K3.1 Pro의 Low·High·Max 추론 노력 수준에 따라 제작 시간, 비용, 결과물의 완성도가 어떻게 달라지는지 비교한다.
• 테스트는 IKEA 가구 조립 안내, 중소기업용 제품 출시 패키지, 소닉 게임 재현이라는 세 가지 과제로 구성된다.
• 평가는 한 번의 프롬프트로 만든 결과물을 기준으로 한다. 시각적 완성도뿐 아니라 조립 세부 정보, 리드 관리 기능, 게임 시점처럼 요청한 기능의 충족 여부를 확인한다.
• 비교 도구는 개발 중이며 일부 미리보기 오류가 발생한다. 결과의 부족한 부분에는 프롬프트의 모호함이 영향을 줬을 가능성도 남겨 둔다.

🕒 시간순 섹션별 상세정리

1. 동일한 조건에서 노력 수준별 시간과 결과물을 비교한다

• 자체 벤치마크 도구 Clear Bunch는 하나의 프롬프트를 사용하고 메모리, 저장 세션, 스킬, 플러그인, MCP 서버, 훅, 에이전트 지침 등을 제외해 실행 조건을 맞춘다 [00:57]
• 각 수준에는 파일 읽기·쓰기, 인터넷 연결 셸, 웹 검색·가져오기라는 동일한 도구를 제공하며, 모든 수준을 동시에 시작하고 별도 폴더에서 실행한다 [01:10]

2. IKEA 설명서를 인터랙티브 3D 조립 수업으로 바꾼다

• 첫 과제는 페이지를 넘겨 읽는 IKEA 조립 설명서를 단계별로 관찰할 수 있는 시각적 수업으로 만드는 것이다. 기술과 디자인 선택은 모델에 맡기고, 인터랙티브한 3D 화면과 쉬운 사용성을 요구한다 [01:51]
• Low는 8분 22초, High는 18분 37초에 완료됐고 Max는 High보다 약 5분 더 걸렸다. 이번 실행에서는 노력 수준이 높을수록 시간과 비용이 증가했지만, 모든 모델에서 항상 같은 관계가 성립하는 것은 아니다 [02:26]

3. Low는 기본 조작을 제공하지만 조립 세부 정보가 부족하다

• Low 결과물은 별도 화면에서 정상적으로 열리며 드래그 조작, 진행 상황 저장, 다음 단계 이동 기능을 제공한다 [02:58]
• 단계별 안내에는 빠진 과정이 있는 듯하며, 나사 정보도 오른쪽에 일부 표시될 뿐 기대한 수준으로 상세하지 않다 [03:37]

4. High는 카메라와 분해도를 개선하지만 연결 부품을 놓친다

• High는 재생 중 카메라 각도가 바뀌어 조립 부위를 더 잘 보여 주지만, 나사와 공구의 세부 정보는 여전히 부족하다 [04:26]
• 부품을 펼쳐 보여 주는 분해도는 Low보다 낫고 받침 패드도 포함한다. 그러나 실제 연결에 필요한 여러 나사와 부속품을 충분히 표현하지 못한다 [04:54]

5. Max는 연결 나사를 추가하지만 제품 재현과 시점 제어가 아쉽다

• Max는 더 상세한 화면을 제공하고 프레임 조립 과정에서 연결 나사도 보여 준다 [05:43]
• 카메라가 조립 부위에 맞춰 원하는 방식으로 이동하지 않으며, 목재의 틈 같은 실제 제품의 특징도 제대로 재현하지 못한다 [06:16]

6. 동일 프롬프트의 Opus 결과는 조립 안내의 세밀함을 보여 준다

• 비교 대상으로 제시된 Opus 55 결과물은 완성할 제품을 애니메이션으로 보여 주고, 설명서 형태와 사실적인 표현 사이를 전환할 수 있다 [07:06]
• 같은 프롬프트를 사용했는데도 필요한 공구, 작은 나사와 부속품의 위치, 부품 이동과 회전 방식까지 표현한다. 이 세부 수준이 앞선 Kimi 결과물을 평가하는 기준이 된다 [07:36]

7. Puddle 출시 과제는 조사부터 리드 확보와 광고 제작까지 요구한다

• 두 번째 과제의 제품 Puddle은 새로운 에이전트 프레임워크를 배우기 어려운 바쁜 실무자를 위한 플러그앤플레이 AI 에이전트 하네스다. 기업이 자체 브랜드로 도입해 내부에서 사용할 수 있는 형태를 지향한다 [09:09]
• 요구 범위는 랜딩 페이지, 작동하는 백엔드를 갖춘 리드 퍼널, 시장 진입 전략, 광고 제작이다. Meta 광고 라이브러리에서 유사 서비스를 조사하고 훅·제안·접근 방식·증거·행동 유도를 분석하도록 한다 [09:48]

8. Low는 저렴하게 출시 페이지를 만들지만 리드 관리 경로가 불명확하다

• Low는 14분 26초, 100만이 아닌 235만 토큰을 사용해 1달러에 완료됐다. High는 Low의 두 배에 조금 못 미치는 시간과 거의 세 배의 토큰을 사용했고 API 비용은 2.29달러였으며, Max는 High보다 약 10분 더 걸리고 917만 토큰을 사용했다 [10:41]
• Low 랜딩 페이지는 매끄러운 기초를 갖추고 사전 신청과 플레이북 다운로드 기능을 제공하지만, 그대로 공개할 수준으로 평가되지는 않는다 [11:24]

9. Low는 광고 조사와 PDF까지 제공하지만 가독성과 모션 품질이 낮다

• 광고 조사에는 Lindy와 Relevance AI 등의 사례, 원문 링크, 재사용할 수 있는 네 가지 프롬프트가 포함된다. 다만 기본 배율에서도 글자가 지나치게 작아 읽기 어렵다 [13:17]
• 크리에이티브 스튜디오의 모션 그래픽은 기본적인 수준이며 오디오도 추가해야 한다. 한 번의 요청으로 얻은 출발점으로는 쓸 만하지만 화면 구성과 모션 품질에는 상당한 수정이 필요하다 [14:20]

10. High는 첫 화면의 설득력과 시각적 완성도를 높인다

• 도구의 버그로 미리보기 환경에서 확인한 High 결과물은 Low보다 나은 웹사이트와 애니메이션 목업을 제공한다. 모션 그래픽도 개선됐지만 원하는 품질에는 아직 미치지 못한다 [16:01]
• 첫 화면은 훅, 제품 맥락, 움직이는 시각 자료를 함께 배치해 관심을 끈다. 화이트라벨 메시지와 흐름도 등 전반적인 디자인 방향도 긍정적이지만 일부 배치와 타임라인 가시성은 보완이 필요하다 [16:31]

11. High는 전략 문서를 갖추지만 광고 제작과 리드 조회 요구를 충족하지 못한다

• 출시 플레이북과 광고 조사 내용은 개별 페이지로 구성되며, 광고의 제안·접근 방식·증거를 정리한다. 90일 전략에는 무료 출시 키트, 워크플로 적합성 상담, 파일럿 라이선스와 관리 서비스로 이어지는 제안 단계가 포함된다 [18:36]
• 전체 전략 다운로드는 Markdown 파일로 연결된다. 모션 크리에이티브 영역에는 기대한 광고 결과물 대신 테스트 구성과 복사해 사용할 프롬프트가 있어, 요청을 다르게 해석했을 가능성이 있다 [19:42]

12. Max는 상담 예약과 관리 화면, 광고 모션을 보강한다

• Max는 기존 사이트의 격자 디자인을 반영하지만 로고는 아쉽고, 디자인의 창의성은 High가 더 낫다는 평가를 받는다. 기본 구조와 비교표는 활용 가능한 출발점이다 [21:18]
• 신청 과정에는 다른 수준에서 보지 못한 시간대 선택과 상담 요청용 캘린더가 포함되고, 출시 계획 PDF도 제공된다 [23:04]

13. 공통적인 리드 조회 누락에도 이 사업 과제에서는 Max를 선택한다

• Max의 90일 전략은 초기 2주와 이후 단계별 실행 항목, 각 단계에서 부담이 적은 다음 행동을 정리한다. 그러나 모든 노력 수준에서 작은 글자가 반복되며, Max에서도 수집된 리드 목록은 확인되지 않는다 [24:29]
• 이번 실행에서는 Low가 가장 저렴하고 빠르며 Max가 가장 비싸고 오래 걸린다. 사업 아이디어를 구체화하는 이 용도에서는 약 23분의 차이보다 결과물의 가치가 크다고 판단해 Max를 선택한다 [25:23]

14. 소닉 재현은 물리와 속도감을 유지하면서 3D 시점 전환을 요구한다

• 마지막 과제는 소닉의 요소, 물리, 관성, 플레이 방식과 캐릭터를 최대한 재현한 3D 브라우저 게임이다. 고정된 측면 시점에서 확장해 1인칭 또는 어깨 너머 3인칭 시점으로 코스를 달릴 수 있는 전환 기능을 요구한다 [26:57]
• 개인 용도로 사용할 전제에서 원작을 최대한 참고하고, 브라우저에서 원활하게 실행되도록 기술과 디자인을 선택하게 한다 [27:42]

15. Low 소닉은 실행되지만 측면 시점을 없애고 맵 밖 이동을 초기화한다

• 새로고침 후 Low 게임이 실행되며, 낮은 노력 수준과 비용을 고려하면 인상적인 결과로 평가된다. 다만 원했던 측면 시점과 단축키 전환 대신 측면 시점 자체가 사라졌고, 프롬프트 표현이 원인일 가능성도 인정된다 [28:29]
• 그래픽에는 개선 여지가 있지만 더 비싼 결과물보다 나은 경우도 있다는 평가다. 맵 바깥으로 이동하면 추락하는 대신 위치가 초기화된다 [29:04]

16. 회전 물리와 Max의 조작·시점 구현에서 드러난 오류

• 회전이 특정 고정점을 중심으로 도는 형태로 구현돼 의도한 원운동과 어긋났으며, 해당 물리 구현은 실패로 평가된다. 초기 작동 문제에는 프롬프트가 영향을 주었을 가능성도 남아 있다. [30:23]
• Max에서는 오른쪽 방향키를 눌러도 왼쪽으로 움직이는 입력 반전이 나타났고, 1인칭에서도 문제가 이어졌다. 삭제를 요청하지 않은 측면 시점도 사라져, 프롬프트 자체나 모델의 해석에 문제가 있었을 가능성이 제기된다. [31:18]

17. 게임 복제 성능을 모델의 종합 평가로 확대하기 어려운 이유

• 게임을 잘 복제하는 능력은 게임 복제나 시각·3D 중심 작업의 강점일 수 있지만, 모든 용도에서 뛰어나거나 시장 최고의 모델이라는 근거가 되지는 않는다. [32:15]
• 시각적 결과물은 썸네일과 클릭을 유도하기 쉬워 평가가 편향될 수 있다는 비판이 나온다. 모델 평가는 실용적이고 창의적인 활용 사례에 더 초점을 맞춰야 한다는 입장이다. [32:46]

18. 시각화의 아쉬움과 랜딩 페이지의 강점, 용도별 검증의 필요성

• Kimi K3.1 Pro의 시각적 결과는 전반적으로 강한 인상을 주지 못했다. IKEA 설명서를 3D 보조 자료로 바꾸는 작업은 지시를 비교적 잘 따랐지만 기대에 못 미쳤으며, Opus 55의 한 번의 생성 결과가 비교 기준을 높였을 가능성도 인정한다. 반면 리드 마그넷 랜딩 페이지의 UX·UI 접근은 높은 평가를 받는다. [34:14]
• 에이전트 관점에서는 개인적으로 10번 중 9번 Max를 선택하겠다는 선호를 밝히지만, 이번 실험에서 모델을 에이전트의 두뇌로 직접 검증하지는 않았다. 에이전트 활용은 향후 시험 과제로 남기며, 모델을 비교적 빠르고 저렴하며 효율적이라고 평가하고 각자의 용도로 시험할 것을 권한다. [34:40]

🧾 결론

• 이번 실행에서는 Low가 빠르고 저렴했으며, 높은 노력 수준은 시간과 비용을 늘렸다. 품질 개선의 크기는 과제마다 달랐다.
• 출시 아이디어를 구체화하는 용도에서는 Max가 선택됐지만, 디자인의 창의성은 High가 더 낫다는 평가도 있었다.
• 결과물의 첫인상과 별개로 조립 부품, 리드 조회, 게임 조작처럼 요청한 기능을 직접 확인해야 한다.

📈 투자·시사 포인트

• AI 도구의 경제성은 생성 비용과 함께 결과물을 실제로 쓰기까지 필요한 수정량을 고려해 판단필요가 있다. 이번 자료는 수정 시간을 정량적으로 측정하지 않았다.
• 사업용 제작에서는 예약 과정과 광고 소재 같은 추가 기능이 대기 시간 증가를 감수할 이유가 될 수 있다. 제작자는 해당 출시 과제에서 약 23분의 차이보다 결과물의 가치를 높게 봤다.
• 시각적으로 눈에 띄는 데모가 실무 성능을 대표하지는 않는다. 도입 판단에는 자신의 업무에서 필요한 기능과 실제 작동 여부를 확인하는 과정이 중요하다.

⚠️ 불확실하거나 확인이 필요한 부분

• 비교 도구가 개발 중이고 미리보기 오류도 발생했다. 한 번의 프롬프트로 얻은 결과만으로 노력 수준별 성능의 일관성이나 재현성을 판단하기 어렵다.
• 프롬프트의 모호함이 광고 결과물 해석, 게임 시점과 물리 구현에 영향을 줬을 가능성이 있다. 더 구체적인 지시가 얼마나 개선하는지는 확인되지 않았다.
• 리드 조회 기능은 평가 과정에서 찾지 못한 것이다. 백엔드 자체가 전혀 구현되지 않았다고 단정하려면 코드와 저장 경로를 추가로 확인해야 한다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 자신의 대표 업무를 정하고 동일한 프롬프트·도구 조건에서 Low·High·Max의 시간, 비용, 요구 기능 충족 여부를 비교한다.
• 생성 전에 필수 기능을 확인 목록으로 작성한다. 조립 안내는 부품과 공구, 출시 페이지는 리드 저장·조회, 게임은 조작과 시점 전환을 포함한다.
• 출시 페이지의 신청부터 저장·조회까지 전 과정을 실제로 실행하고, 작은 글자와 다운로드 자료, 광고 모션의 수정 범위를 점검한다.
• 모호했던 요구를 구체화해 다시 실행하고, 반복 결과에서도 높은 노력 수준의 추가 가치가 유지되는지 확인한다.

❓ 열린 질문

• 같은 과제를 여러 번 실행해도 Max의 출시 패키지 우위와 Low의 비용 이점이 유지될까?
• 리드 조회 화면과 측면 시점 유지 조건을 명시하면 공통 누락과 해석 오류가 얼마나 줄어들까?
• 생성 이후 수정 시간까지 포함하면 과제별로 어떤 노력 수준이 가장 경제적일까?