EP 111. 벤치마크 1등이 탈락했다? 독파모 4파전 결과 살펴보기

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

공개 벤치마크 1위 모티프의 탈락은 독파모가 모델 점수만이 아니라 비공개 평가, 한국어 활용성, 서비스 적용력, 생태계 기여도를 함께 본 종합 선발이었음을 보여준다.

📌 핵심 요점

1. 모티프는 공개 AAII에서 국내 후보 중 가장 높은 성적을 기록했지만, 비공개 벤치마크에서는 SK텔레콤 모델이 1위를 차지했다. 평가 데이터의 분포와 한국 문화·지역 지식 같은 현지화 항목에 따라 순위가 역전될 수 있다는 의미다.
2. 독파모의 평가는 기반 모델의 지능만 겨루는 경연이 아니었다. 한국어 활용성, 사용자 서비스 도달 가능성, 국산 하드웨어 호환성, 컨소시엄 구성, 정책 기여도까지 포함됐기 때문에 공개 벤치마크 순위와 최종 선발 결과가 달라질 수 있었다.
3. 실사용 비교에서는 모델 자체 성능과 서비스 프레임워크의 효과가 분리되지 않았다. 모티프는 메타인지와 글의 일관성에서 강점을 보였고, 솔라는 검색·후속학습·서비스 최적화를 바탕으로 실제 업무 완성도에서 상대적으로 좋은 모습을 보였다.
4. 약 30명 규모의 모티프 팀이 제한된 자원으로 높은 수준의 대형 기반 모델을 개발한 것은 핵심 학습 레시피와 소수 정예 인력의 중요성을 보여준다. 정부 과제 탈락이 곧 기술 경쟁력이나 시장 가능성의 상실을 뜻하지는 않는다.
5. 독파모의 장기 가치는 단일 우승팀보다 훈련 경험, 인재, 오픈웨이트 모델, 서비스 및 하드웨어 생태계가 한국 산업 전반으로 확산되는 데 있다. 지속적인 모델 출시와 글로벌 경쟁이 이어져야 공공 투자가 실제 산업 역량으로 전환된다.

🧩 배경과 문제 정의

• 글로벌 프런티어 모델 경쟁이 거세지면서 한국도 독자적인 기반 모델과 AI 생태계를 확보하기 위한 ‘독파모’ 프로젝트를 추진했다.
• 4개 후보 중 공개 벤치마크 성적이 가장 높은 모티프가 탈락하고 나머지 3개 팀이 다음 단계에 진출하면서, 벤치마크와 실제 모델 품질의 관계가 논쟁의 중심에 섰다.
• 평가 대상은 기반 모델의 지능뿐 아니라 한국어 활용성, 서비스 적용, 국산 하드웨어 연계, 컨소시엄 구성까지 포함하므로 무엇을 ‘좋은 모델’로 볼 것인지가 중요하다.
• 공개 채팅 서비스와 API를 이용한 실사용에서는 모델 자체 성능과 프레임워크·후처리·도구 연동이 결합된 서비스 성능을 구분해야 한다.

🕒 시간순 섹션별 상세정리

1. 프런티어 경쟁과 독파모 프로젝트의 출발

• 프런티어 모델만이 생존할 수 있다는 위기감 속에서 한국도 독립 기반 모델을 확보하고 기술 종속에 따른 불이익을 줄이기 위해 독파모 프로젝트를 시작했다. [00:32]
• 4개 후보 중 3개만 다음 단계로 진출하면서 평가 결과를 둘러싼 논쟁이 커졌고, 벤치마크가 모델 품질을 얼마나 정확히 반영하는지가 핵심 쟁점이 됐다. [00:49]

2. 글로벌 순위에서 본 한국 모델의 위치

• 여러 벤치마크를 하나의 수치로 합산한 AAII에서는 미국·중국의 프런티어 모델 아래에 한국의 모티프가 처음 등장하고, 솔라·A.X K2·K-엑사원도 비슷한 순위권에 자리한다. [02:16]
• 한국 후보들은 미스트랄과 코히어의 Command A보다 높은 구간까지 진입해 글로벌 경쟁력을 보여주지만, 최상위 프런티어 모델과는 여전히 격차가 있다. [03:22]

3. 벤치마크 1위 모티프의 탈락

• 최종 4개 팀 가운데 모티프가 탈락하고 업스테이지·SK텔레콤·LG AI연구원이 다음 평가 단계에 진출했다. [04:03]
• 모티프는 공개 벤치마크에서 2위보다 약 10점 높았으며, 이는 프런티어 모델 한 세대에 가까운 차이인데도 탈락해 평가 기준에 대한 의문이 커졌다. [04:15]

4. 모델 규모와 학습 자원의 차이

• 후보 모델의 전체 규모는 약 200B~750B였지만 가장 큰 모델의 점수가 오히려 낮았고, 컨텍스트 길이도 솔라만 1M이며 나머지는 대부분 256K 수준이었다. [06:28]
• 각 팀은 트랜스포머 구조를 변형했으며 사전학습에는 대체로 약 10조 토큰을 사용해, 한국처럼 컴퓨팅 자원이 제한된 환경에서도 상당한 학습 규모를 확보했다. [07:18]

5. 정부 GPU 지원과 실제 훈련 비용

• 정부는 팀별로 B200 GPU 약 500~700장을 제공했으며, 지원을 받으면 가중치 공개 의무가 생기는 구조가 GPU 지원 기업과의 이해관계를 복잡하게 만들었다. [09:42]
• SK텔레콤은 초기 지원 대상에서 제외돼 자체 비용으로 모델을 학습한 것으로 알려졌지만, 3개 팀 체제로 전환된 뒤에는 정부 GPU 지원을 받을 가능성이 커졌다. [10:05]

6. 소수 정예 팀과 기반 모델 개발

• 약 30명 규모의 모티프 팀이 대형 기반 모델을 완성하면서, 막대한 GPU 자본과 달리 핵심 인력은 소수 정예로 구성할 수 있다는 가능성을 보여줬다. [12:24]
• 기반 모델 개발은 소수 인력이 핵심 학습 비법을 보유하는 ‘레시피’ 산업에 가깝고, 프런티어 연구소가 핵심 인재 한 명에게 막대한 보상을 제시하는 현상도 이 구조와 연결된다. [13:04]

7. 공개·비공개 벤치마크의 순위 역전

• 전체 평가에서 벤치마크는 40점을 차지했으며, 공개 문제 학습과 유출을 막기 위해 AAII 외에 별도의 비공개 자체 벤치마크가 사용됐다. [13:39]
• 공개 AAII에서는 모티프가 1위였지만 비공개 벤치마크에서는 SK텔레콤 모델이 1위를 차지해, 평가 데이터의 분포와 측정 능력이 크게 달랐을 가능성이 있다. [14:15]

8. 모델 성능을 넘어선 생태계 평가

• 업스테이지의 포털 연계와 퓨리오사AI NPU 협력처럼, 사용자 서비스 도달 가능성과 국산 하드웨어 호환성이 모델의 토큰 성능과 함께 평가됐다. [15:42]
• 모티프에는 모델 자체에 관한 평가가 집중된 반면 다른 팀에는 상용 서비스와 국제 협력 같은 요소가 반영돼, 기반 모델 사업에서 응용 생태계까지 평가하는 것이 적절한지를 둘러싼 논쟁이 생겼다. [16:50]

9. 컨소시엄과 국민 평가의 영향

• 대기업 중심 팀은 서비스·인프라 기업이 참여하는 강한 컨소시엄을 확보했지만, 후발 스타트업인 모티프는 정책·생태계 항목에서 상대적으로 불리했을 가능성이 있다. [19:00]
• 일반 국민 평가는 성별과 연령 등 인구통계적 다양성을 반영해 구성됐으며 모델별 점수 차이는 있었지만, 공식 발표상 최종 선정 결과를 바꾸지는 않았다. [19:43]

10. 제한된 실사용 환경과 에이전트 적합성

• 200B~700B 모델을 직접 배포하려면 대규모 GPU 비용이 필요해, 모티프는 자체 채팅 서비스, 솔라는 상용 Solar Pro 4, LG는 FriendliAI API를 통해 서로 다른 조건에서 시험했다. [21:56]
• LG 모델에는 웹 탐색과 파이썬 실행 도구를 연결해 경량 에이전트 방식으로 시험할 수 있었지만, A.X K2는 공개된 사용 경로가 없어 비교에서 빠졌다. [22:54]

11. 프레임워크가 바꾼 모델의 실제 체감

• 순수 모델 평가는 프레임워크 없이 진행되지만 실제 서비스는 번역·토큰 제어·검색·도구 호출로 약점을 보완하므로, 기반 모델의 인지 능력과 완성된 채팅 서비스의 품질을 분리해 판단해야 한다. [24:10]
• 모티프는 직접 서빙할 때 영어가 섞인다는 평가와 달리 자체 채팅 서비스에서는 자연스러운 한국어를 출력해, 프레임워크가 모델의 언어 문제를 효과적으로 교정했을 가능성이 있다. [24:47]

12. 추론·코딩·창작에서 드러난 성능 격차

• 황당한 질문과 허위 전제를 판별하는 테스트에서는 모티프가 정답과 메타인지를 가장 잘 보여줬지만, IMO 수학 문제와 게임 코딩에서는 모든 후보가 기대보다 크게 부진했다. [26:00]
• 프런티어 모델에 익숙한 사용자는 한 단계 낮은 모델이 당연해 보이는 작업을 수행하지 못할 때 큰 격차를 체감했으며, 실무 완성도에서는 솔라가 다른 후보보다 상대적으로 나았다. [26:43]

13. 지능과 업무 수행력의 분리

• 약 2시간의 비엄밀한 비교에서 모티프는 모르는 것을 인정하고 잘못된 질문을 감지하며 글의 일관성을 유지해 높은 지능을 보였지만, 상황에 맞게 업무를 완수하는 능력은 부족했다. [28:16]
• 솔라는 장기간 다듬은 서비스 프레임워크와 SFT·후속학습 덕분에 실제 작업 수행력이 높았을 가능성이 있으며, 좋은 기반 모델과 좋은 사용자 경험이 반드시 같은 순서로 나타나지는 않았다. [28:52]

14. 파운데이션 모델의 가치는 현재 성능만으로 결정되지 않는다

• 독파모의 대상은 완성형 서비스가 아니라 파운데이션 모델이므로, 당장 작업을 잘하는지보다 높은 규모와 지능을 바탕으로 다양한 목적에 맞게 조정될 잠재력이 중요하다. [30:03]
• Motif 3의 한영 혼용 문제는 파인튜닝으로 개선할 수 있으며, 약 30명의 정예 인력이 짧은 기간에 높은 품질을 구현했다는 점이 기반 모델로서의 경쟁력을 뒷받침한다. [30:41]

15. 공공 평가에서는 돌출된 강점보다 전체 균형이 우선한다

• 모델 품질에 대한 체감은 최전선 모델을 자주 사용한 전문가와 일반 사용자 사이에서 크게 달라질 수 있어, 제한된 질문 분포만으로 객관적 우열을 확정하기 어렵다. [31:26]
• 산업계는 결정적인 성능 하나를 극대화하지만 공공 부문은 최대한 많은 이해관계자의 만족과 타협을 추구하므로, 특출난 장점이 종합 점수 안에서 희석될 수 있다. [32:08]

16. 주권 AI의 성공 기준은 국민과 산업의 실질적 활용이다

• 한국은 자국 정부 AI와 생태계를 적극적으로 구축하고 있지만, 우수한 모델 개발과 최전선 추격만으로 사업의 목적과 성공을 모두 정의하기는 어렵다. [34:40]
• 모델 지능뿐 아니라 포털이나 전 국민 대상 서비스에서 실제로 활용되고 국민과 산업에 기여하는지도 독파모의 핵심 평가 대상이 된다. [35:21]

17. 국가 주도 경쟁 방식에 대한 회의가 가능성 확신으로 바뀌었다

• 초기에는 국가가 세금과 주도권을 투입해도 독자 모델을 만들기 어렵다는 회의가 컸지만, 중국에서 우수한 모델이 연이어 등장하면서 한국도 가능하다는 판단이 강해졌다. [36:20]
• 모델 개발 비법이 절대적인 해자가 아니라면 한국도 성과를 낼 수 있으며, 팀 간 경쟁 후 탈락 팀의 자원을 집중하는 구조도 민간 경쟁 방식과 유사하게 작동한다. [36:37]

18. 파운데이션 모델은 독점 기술에서 범용재로 이동한다

• 미국 모델을 그대로 사용하면 된다는 초기 시각과 달리, 약 1년 사이 외부 환경과 산업 인식이 바뀌면서 계산 자원과 고품질 데이터가 있으면 일정 수준 이상의 모델을 만들 수 있다는 가능성이 확인됐다. [38:08]
• 모델 공급자가 늘어나면서 OpenAI와 Anthropic의 우위도 흔들리고 있으며, 파운데이션 모델은 소수 기업의 독점품에서 누구나 생산할 수 있는 범용재로 이동하고 있다. [38:54]

19. 주권 모델 투자는 국가 생존과 기술 추격의 문제다

• AI는 기술 발전 속도와 영향력이 매우 커서 확보하지 못하면 국가 체제와 생존이 위협받을 수 있는 전략 자산에 가까워졌고, 중국도 국가 단위로 대규모 자원을 투입하고 있다. [39:43]
• 한국이 미국과 중국에 이어 유럽보다 빠르게 자원을 집중하고 추격한 경험은 자체 역량과 산업 기반을 축적했다는 점에서 의미가 크다. [40:07]

20. 공공 투자는 인재와 산업 전체의 부를 늘린다

• 미국과 중국 사이에서 개발 비법이 인적 네트워크를 통해 이동했듯, 독파모 참여 엔지니어도 창업과 이직을 통해 지식을 퍼뜨릴 수 있으므로 재정 투자는 개별 기업보다 사회 전체의 역량을 키운다. [41:16]
• 한국 민간기업은 초기에는 독자적으로 대규모 모델 사업을 감당하기 어려웠지만, 삼성전자와 SK하이닉스의 자원 여력이 커진 현재는 축적된 인재 기반이 민간 주도 모델 개발로 이어질 수 있다. [42:00]

21. 최전선 추격보다 모두가 쓸 수 있는 모델의 보급이 중요하다

• 미국과 중국이 10T·20T 규모의 최전선으로 이동하더라도 한국이 1T·2T 규모에서 Opus급 성능을 확보하면, 고급 모델을 저렴하게 대중화할 수 있다. [42:57]
• 포르쉐가 아니라 누구나 이용할 수 있는 아반떼 같은 모델이 보급되면 국민 전체가 AI 성능 향상의 혜택을 누릴 수 있다. [43:20]

22. 모델 경쟁은 일회성 선발이 아니라 지속적인 출시 체계가 필요하다

• 글로벌 경쟁 속도를 따라가려면 평가 기간에만 모델을 공개할 것이 아니라 한두 달마다 새 모델을 출시하고, 모델과 프레임워크를 동시에 발전시켜야 한다. [44:36]
• Upstage·SKT·LG는 기존 조직 자원을 활용할 수 있고 Motif는 글로벌 펀드 투자를 확보했으므로, 정부 평가 결과와 실제 사업 성공의 순위는 달라질 수 있다. [45:12]

23. 독파모는 한국 AI 생태계의 경쟁 속도를 끌어올린다

• Motif 같은 팀과 모델의 탄생은 국가 프로젝트가 실제 창업팀과 기술 성과를 만들어낼 수 있다는 증거이며, 프로젝트 이후에도 팀의 성장 가능성이 남는다. [46:11]
• 한국의 출시 속도는 미국·중국보다 느리고 평가 일정에 맞춰 간헐적으로 모델을 내놓는 수준이지만, 독파모는 같은 경쟁 궤도로 진입하는 과정을 가속할 수 있다. [46:31]

24. 정부 지원 종료 뒤에는 글로벌 공개 경쟁이 시작된다

• 정부 사업 1위는 막대한 GPU 지원을 제공하지만 사업이 끝나면 국적과 무관하게 성능으로 선택받아야 하며, 한국 모델이라는 이유만으로 기업 고객을 확보할 수 없다. [48:31]
• 온프레미스 코딩 시스템의 기반 모델을 고르는 기업은 오픈웨이트 중에서도 최전선 모델을 선택하므로, 국내 팀도 처음부터 글로벌 모델과 직접 경쟁해야 한다. [49:02]

25. AI 시장의 급격한 순위 변화는 탈락의 의미를 약화한다

• 경연 우승자가 반드시 가장 크게 성장하는 것은 아니며, AI 산업은 약 2주마다 상승세와 하락세가 뒤바뀔 정도로 경쟁 구도가 빠르게 변한다. [49:43]
• Motif에는 정부 과제 탈락보다 시장 속도에 맞춰 제품을 출시하고 자유롭게 사업 기회를 잡는 편이 더 유리할 수 있다. [50:00]

26. OpenAI의 2주 중단은 차기 모델만 대상으로 한다

• Sam Altman의 2주 중단 발언은 Astra 출시가 아니라 그다음 모델의 개발 일정에 해당하며, Astra급 모델은 8월 말이나 9월 초 무렵 예정대로 나올 가능성이 있다. [50:53]
• 중단 기간이 불과 2주라는 점과 AI CEO들의 전략적 발언 관행을 고려하면, 기술적 방향 전환보다 Anthropic의 휴식 발표에 대응한 마케팅 성격이 강할 수 있다. [51:29]

27. Anthropic 논쟁은 암 치료와 단백질 설계로 확장됐다

• All-In 팟캐스트의 Gavin 비판이 Sholto Douglas와의 논쟁으로 번지고 Dario Amodei의 장문 글로 이어지면서, Anthropic의 주장과 전망을 둘러싼 논쟁이 널리 확산됐다. [51:43]
• 암 치료 가능성이 주요 쟁점으로 떠올랐고, Anthropic의 단백질 설계 연구와 Moderna의 mRNA 백신을 활용한 암 진행 억제 시도가 연결 사례로 다뤄졌다. [52:13]

28. Sutton의 에이전트는 경험으로 새로운 능력을 만든다

• OAK Lab은 학습 데이터 분포 안의 지식을 재조합하는 데 머물지 않고, 거대한 환경에서 자율적으로 학습하며 경험을 통해 새로운 능력과 아이디어를 획득하는 에이전트를 목표로 한다. [53:11]
• 2022년 Alberta Plan부터 이어진 지속 학습 구상은 모델이 장기간 환경과 상호작용하면서 지식을 갱신하는 구조를 핵심 과제로 삼는다. [53:49]

29. 지속적 역전파는 기억 보존과 가소성을 함께 노린다

• 지속적 역전파는 모델이 전체 학습 과정에서 보존할 지식과 다시 갱신할 지식을 스스로 구분하고, 활용도가 낮은 파라미터 공간에는 무작위 값을 넣어 재학습 여지를 만든다. [54:53]
• 이 구조는 뇌의 가소성과 유사한 갱신 메커니즘을 만들며, 5~10년 안에 약 1T 규모 모델이 경험을 통해 계속 학습하는 상태를 목표로 한다. [55:17]

30. 자율 학습과 정보 구조화 도구가 인간의 인지를 확장한다

• 인간과 다람쥐는 책으로 근육 제어법을 배우지 않고 환경과 상호작용하며 능력을 획득하므로, AI도 외부 세계에서 스스로 새로운 능력을 개발해야 한다. [56:39]
• 자막을 HTML로 변환하고 화자·용어·도표를 추가한 뒤 멀티모달 검토와 시각 개선을 반복하면, 요약으로 정보를 버리지 않고 원문 전체를 확장해 읽을 수 있다. [57:31]

31. 시각적 구조화와 대규모 실험의 안목 문제

• 복잡한 관계를 시각적으로 배치하면 전체 연결 구조를 한눈에 파악할 수 있고, SVG와 시맨틱 줌을 활용하면 화면을 축소해도 핵심 정보를 유지하며 빠르게 위치를 잡을 수 있다. [1:00:03]
• 중소 규모 구현은 여러 가설을 병렬로 시험할 수 있지만 사전학습은 비용 때문에 몇 차례만 실행할 수 있으므로, 성공적인 방향을 고르는 안목이 필요하고 현재 LLM에는 그 능력이 부족하다. [1:01:15]

32. 국소 최적화의 한계와 모델 능력의 상승

• 측정 가능한 지표를 조금씩 개선하는 hill climbing은 현재 모델의 강점이지만, 탐색 공간이 좁으면 local minimum에 빠지고 전체 관점에서 놓친 문제를 스스로 발견하지 못한다. [1:02:03]
• 이전 모델이 처리하지 못했던 특정 topology의 polygon·quad mesh 흐름을 새 모델에서는 많은 시행착오 끝에 구현했으며, 결과가 상용 소프트웨어 수준에 가까워지면서 실제 활용 가능성이 커졌다. [1:03:00]

33. 디자인을 검증 가능한 문제로 바꾸는 대리 지표

• 디자인의 미적 품질은 직접 검증하기 어렵지만 행간·글자 크기·문단 간격·텍스트 흐름처럼 측정 가능한 대리 지표를 만들면 non-verifiable 문제를 verifiable 문제에 가깝게 바꿀 수 있다. [1:04:00]
• TeX의 Knuth-Plass 알고리즘은 동적 계획법으로 줄바꿈과 정렬을 최적화하지만, 이미지가 포함된 레이아웃은 NP 문제가 되며 다항 시간 안에 최적해를 구하기 어렵다. [1:05:20]

34. 자동 조판의 가능성과 매개변수형 한글 글꼴

• 기존 조판 알고리즘과 라이브러리를 활용한 실험은 전문 디자이너의 미세 조정에는 못 미쳐도, 읽기에 충분한 수준의 레이아웃을 자동으로 만드는 데 성공했다. [1:06:03]
• 한글 자형 생성 과정을 함수화하고 METAFONT처럼 펜촉의 이동 경로에서 윤곽선을 만드는 방식은 조합형 한글을 구현했지만, 완성된 글꼴의 미적 품질은 실사용 수준에 이르지 못했다. [1:07:16]

35. 글꼴 평가 지표와 실용성 사이의 격차

• 초성·중성·종성의 위치와 간격은 서로 의존하므로 한 요소를 조정하면 다른 글자가 변형되고, 사람이 감각적으로 처리하는 관계 전체를 측정 가능한 값으로 변환해야 한다. [1:08:01]
• Noto KR 같은 기준 글꼴과의 유사도를 목표로 삼아 가설 수립·실험·측정·조정을 반복해도, 외형상 완성된 문자 세트와 실제로 쓸 수 있는 글꼴 사이에는 큰 품질 격차가 남는다. [1:09:00]

36. 저렴해진 제작과 여전히 어려운 품질 판단

• 과거에는 글꼴 회사의 팀이 장기간 수행해야 했던 매개변수형 한글 글꼴 제작을 이제는 한 사람이 모델을 지휘하며 추진할 수 있을 만큼 구현 비용이 낮아졌다. [1:10:07]
• 자체 글꼴은 유치원 문서와 디자인 작업에 활용하려는 실용적 목적이 있지만, 좋은 디자인을 판별하는 안목과 DP·backprop 같은 기술 개념을 함께 갖춰야 모델에 정확한 작업 방향을 줄 수 있다. [1:11:24]

37. 판단까지 자동화하려는 루프와 RSI의 상한

• 디자인 감각을 갖춘 기반 모델이 새로운 요소까지 정확히 평가할 수 있다면 제작과 평가를 하나의 loop에 넣을 수 있지만, 현재는 한 번의 실험이 30분 이상 걸리고 사람이 진행 방향을 판단해야 한다. [1:12:10]
• 명확한 평가가 가능한 영역에서는 반복 개선이 작동하지만 취향이 개입하는 영역에서는 현재 지능의 한계 안에서만 최적화되며, 새로운 추상화와 평가 체계를 스스로 만드는 단계까지 나아가지 못한다. [1:13:19]

38. 인간의 전문성, 모델의 확장성과 저전력 지능

• 디자인 경험이 부족한 사람은 LLM보다 낮은 결과를 낼 수 있지만, 모델을 더 밀어붙이려면 인간도 좋은 결과를 판별할 전문성을 갖춰야 하므로 인간 학습과 모델 확장은 양자택일 관계가 아니다. [1:14:43]
• Sutton의 구상은 현재 약 2,000와트가 필요한 1T 규모 모델을 5~10년 안에 20와트로 구동하는 것이며, 인간 두뇌에 가까운 저전력 지능이 실현되면 현재 AI 산업 구조에도 큰 충격이 생길 수 있다. [1:16:03]

39. 장기 혁신과 현재 인프라의 공존

• 5~10년 뒤의 새로운 아키텍처만 믿고 Transformer 기반 인프라 투자를 중단하면 가까운 1~2년의 성장을 놓칠 수 있으며, 장기 가능성과 단기 투자 판단을 분리해야 한다. [1:17:01]
• 목표와 평가 지표를 명확하게 구조화하면 시스템이 스스로 답을 탐색하고 반복 진화할 수 있고, 오래 지속되는 auto research loop의 설계는 공학을 넘어 철학과 경영의 문제가 된다. [1:18:18]

40. 디자인 스타일 추출과 직무의 이동

• 선호하는 책의 조판을 스캔하고 멀티모달 모델로 SVG를 pixel-perfect 수준까지 맞춘 뒤 반복 평가하면, 특정 디자이너의 판단 원리와 스타일을 rubric 형태로 추출할 수 있다. [1:19:02]
• 기존 사례 사이를 보간하는 자동화는 새로운 조판 체계를 발명하지 못해도 생산성을 크게 높이며, 그 충격은 조판 디자이너의 업무가 어디로 이동할지라는 문제를 만든다. [1:19:42]

41. 영상 편집 프록시와 동형적인 최적화 구조

• 인간 편집자의 결과를 반복 입력하고 평가 지표를 조정하면 언어로 표현하기 어려운 편집 감각도 스타일로 추출할 수 있으며, 다음 작업에서 원본 편집자와 유사한 proxy가 작동한다. [1:20:13]
• 글꼴 제작·영상 편집·회사 경영은 산출물을 model처럼 다루고 objective와 evaluation으로 점진적으로 최적화한다는 점에서 같은 구조를 가지며, 인간은 목표와 결과 평가를 담당한다. [1:21:19]

42. 넓은 탐색 공간과 다중 에이전트 시스템

• 탐색 공간이 충분히 넓으면 기존 지점 사이의 interpolation도 인간에게는 novelty나 extrapolation처럼 보일 수 있어, 모델이 기존 영역 안에 있는지 밖으로 나갔는지 명확히 구분하기 어렵다. [1:22:07]
• 프런티어 모델의 성능이 높아지면서 단일 에이전트 협업은 다중 에이전트 중첩 구조로 바뀌었고, 인간의 작업 기록을 읽어 판단과 평가까지 대신하는 시스템 구축이 핵심 과제가 됐다. [1:22:39]

43. 컨트롤 플레인과 반복 평가가 만드는 학습

• control plane은 약속된 평가 기준을 충족하지 못한 sub-agent의 결과를 거부하고 다시 실행시켜, 인간이 직접 검토하기 전에 일정한 품질 보증 루틴을 통과하도록 강제한다. [1:23:38]
• 반복 실행 과정에서 생긴 코드·문서·실험 결과의 네트워크는 예상하지 못한 발견을 만들고, 알고리즘 이름이나 개념만 알아도 관련 논문과 코드베이스를 즉시 연결해 인간의 도구 범위를 확장한다. [1:24:18]

44. 웹 인터페이스와 클라우드 에이전트로 이동하는 작업 환경

• 3D 모델을 제외한 실험 대부분은 Claude Code나 Codex CLI가 아닌 ChatGPT Work·Claude Cowork 같은 웹 인터페이스와 내장 컨테이너에서 수행됐으며, 로컬 개발 환경 없이도 복잡한 작업이 가능해졌다. [1:26:06]
• 실시간 시각 확인이 필요한 UI·영상 편집 외에는 상시 가동 장비의 Operator Agent에 텍스트로 지시하고, 사람이 없어도 같은 업무를 끝내는 구조를 만드는 것이 최종 목표다. [1:28:08]

🧾 결론

• 벤치마크는 모델 지능을 가늠하는 유효한 신호지만, 공공 프로젝트의 종합 선발 점수와 동일하지는 않다.
• 좋은 기반 모델과 좋은 사용자 경험은 서로 다른 최적화 결과이며, 모델·후속학습·프레임워크·도구 연동을 구분해 평가해야 한다.
• 모티프의 탈락은 공개 점수만으로 설명하기 어렵지만, 독파모가 주권 AI 생태계와 국민 활용까지 평가했다는 프로젝트 목적에서는 이해할 수 있는 결과다.
• 최종적인 승패는 정부 평가보다 이후의 출시 속도, 글로벌 고객 확보, 온프레미스 수요 대응, 실제 서비스 채택에서 결정될 가능성이 크다.

📈 투자·시사 포인트

• 공개 벤치마크 순위만으로 국내 AI 기업의 경쟁력을 판단하기보다 비공개 평가 대응력, 한국어 품질, 서빙 비용, 도구 호출, 후속학습 역량을 함께 살펴봐야 한다.
• 모티프처럼 소수 정예 팀이 제한된 연산 자원으로 높은 성능을 구현한 사례는 자본 규모뿐 아니라 핵심 연구 인력과 학습 레시피가 기업 가치의 중요한 변수임을 시사한다.
• 업스테이지·SK텔레콤·LG AI연구원은 기존 서비스와 인프라를 활용할 수 있고, 모티프는 오픈웨이트·온프레미스 시장에서 빠르게 움직일 여지가 있어 서로 다른 사업 경로를 비교필요가 있다.
• 정부 GPU 지원은 개별 모델 개발을 넘어 숙련된 엔지니어와 실무 지식의 확산을 촉진할 수 있지만, 장기 성과는 지원 종료 후 글로벌 시장에서 선택받는지로 검증해야 한다.

⚠️ 불확실하거나 확인이 필요한 부분

• 비공개 벤치마크의 문제 구성과 세부 점수가 공개되지 않아 공개 AAII와 순위가 역전된 정확한 원인을 확정할 수 없다.
• 후보별 실사용 시험은 자체 채팅 서비스, Solar Pro 4, FriendliAI API처럼 서로 다른 프레임워크와 도구 조건에서 진행돼 순수 모델 성능을 엄밀하게 비교한 실험이 아니다.
• GPU 사용 시간, 전체 훈련 비용, 한국어 데이터의 정제·합성·선별 방식이 충분히 공개되지 않아 연산 효율과 데이터 품질을 정밀하게 검증하기 어렵다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 후보 모델을 비교할 때 공개 벤치마크, 비공개·현지화 평가, 순수 모델 테스트, 서비스 통합 테스트를 별도 항목으로 나눠 기록한다.
• 기업·기관 도입 검토에서는 한국어 품질뿐 아니라 온프레미스 서빙, 도구 호출, 검색, 서브에이전트 실행, 국산 하드웨어 호환성을 실제 업무로 시험한다.
• 모티프·업스테이지·SK텔레콤·LG AI연구원의 후속 모델 출시 주기와 오픈웨이트 공개 범위, API 가격, 기업 고객 확보 사례를 지속적으로 추적한다.
• 공공 AI 사업을 평가할 때 단기 순위 외에도 인재 이동, 창업, 학습 레시피 확산, 모델 가격 하락 등 생태계 전체의 파급 효과를 함께 점검한다.

❓ 열린 질문

• 파운데이션 모델 선발에서 현재의 서비스 완성도와 향후 파인튜닝 잠재력에는 각각 어느 정도의 가중치를 부여해야 하는가?
• 공개 벤치마크와 비공개 현지화 평가가 충돌할 때 어떤 평가가 실제 국민·산업 활용성을 더 정확하게 예측하는가?
• 정부 지원이 끝난 뒤 국내 모델이 글로벌 오픈웨이트 및 온프레미스 시장에서 가격·성능·출시 속도로 경쟁할 수 있는가?