Reinforcement Learning Heats Up, White House Orders Muscular AI Policy, and more...

🖼️ 인포그래픽

Reinforcement Learning Heats Up, White House Orders Muscular AI Policy, and more... 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

DeepSeek-R1의 공개는 중국 생성 AI의 추격, 오픈 웨이트 모델의 공급망 중요성, 기반 모델 가격 하락, 그리고 강화학습 기반 추론 모델·컴퓨터 사용 에이전트의 부상을 동시에 부각시켰다.

📌 핵심 요약

Andrew Ng는 DeepSeek-R1이 OpenAI o1과 견줄 만한 벤치마크 성능을 보이고 MIT 라이선스의 오픈 웨이트 모델로 공개되면서, 중국이 생성 AI에서 미국과의 격차를 빠르게 좁히고 있다는 사실을 많은 사람이 새삼 인식하게 됐다고 설명한다.
그는 오픈 소스와 오픈 웨이트 모델이 AI 공급망의 핵심이 되고 있으며, 미국이 과장된 위험론을 앞세워 이를 억누르면 중국이 이 영역을 장악하고 기업들이 중국의 가치가 더 반영된 모델을 쓰게 될 수 있다고 경고한다.
오픈 웨이트 모델은 기반 모델 계층을 상품화하고 있다. DeepSeek-R1의 출력 토큰 가격은 OpenAI o1보다 훨씬 낮게 제시되었고, 이는 기반 모델 API 판매 사업의 어려움과 그 위에 애플리케이션을 만드는 사업 기회의 확대를 동시에 보여준다.
DeepSeek 사례는 모델 규모 확대만이 AI 발전의 유일한 경로가 아니라는 점도 강조한다. 미국의 AI 칩 수출 통제 속에서 DeepSeek 팀은 H100보다 성능이 낮은 H800 GPU 환경에 맞춘 최적화를 통해 600만 달러 미만의 컴퓨팅 비용으로 모델을 훈련했다고 설명된다.
뉴스 섹션은 강화학습이 대규모 언어모델의 고급 추론 능력을 키우는 핵심 방법으로 부상하고 있음을 다룬다. DeepSeek-R1, DeepSeek-R1-Zero, Kimi k1.5, OpenAI o1은 모두 추론 과정 또는 chain of thought를 개선하기 위해 강화학습을 활용한 사례로 제시된다.

🧩 주요 포인트

Andrew Ng는 DeepSeek-R1이 OpenAI o1과 견줄 만한 벤치마크 성능을 보이고 MIT 라이선스의 오픈 웨이트 모델로 공개되면서, 중국이 생성 AI에서 미국과의 격차를 빠르게 좁히고 있다는 사실을 많은 사람이 새삼 인식하게 됐다고 설명한다.
그는 오픈 소스와 오픈 웨이트 모델이 AI 공급망의 핵심이 되고 있으며, 미국이 과장된 위험론을 앞세워 이를 억누르면 중국이 이 영역을 장악하고 기업들이 중국의 가치가 더 반영된 모델을 쓰게 될 수 있다고 경고한다.
오픈 웨이트 모델은 기반 모델 계층을 상품화하고 있다. DeepSeek-R1의 출력 토큰 가격은 OpenAI o1보다 훨씬 낮게 제시되었고, 이는 기반 모델 API 판매 사업의 어려움과 그 위에 애플리케이션을 만드는 사업 기회의 확대를 동시에 보여준다.
DeepSeek 사례는 모델 규모 확대만이 AI 발전의 유일한 경로가 아니라는 점도 강조한다. 미국의 AI 칩 수출 통제 속에서 DeepSeek 팀은 H100보다 성능이 낮은 H800 GPU 환경에 맞춘 최적화를 통해 600만 달러 미만의 컴퓨팅 비용으로 모델을 훈련했다고 설명된다.
뉴스 섹션은 강화학습이 대규모 언어모델의 고급 추론 능력을 키우는 핵심 방법으로 부상하고 있음을 다룬다. DeepSeek-R1, DeepSeek-R1-Zero, Kimi k1.5, OpenAI o1은 모두 추론 과정 또는 chain of thought를 개선하기 위해 강화학습을 활용한 사례로 제시된다.

🧠 상세 정리

1. DeepSeek-R1이 드러낸 세 가지 큰 변화

본문의 첫 흐름은 DeepSeek-R1 공개가 단일 모델 출시 이상의 의미를 가졌다는 데서 출발한다. 저자는 이번 사건이 이미 눈앞에서 진행되던 세 가지 추세를 선명하게 만들었다고 본다. 첫째, 중국이 생성 AI에서 미국을 따라잡고 있으며 이는 AI 공급망에 영향을 미친다. 둘째, 오픈 웨이트 모델이 기반 모델 계층을 상품화해 응용 개발자에게 더 많은 기회를 만든다. 셋째, AI 발전이 반드시 더 큰 모델과 더 많은 연산 자원에만 의존하는 것은 아니며, 알고리즘 혁신이 훈련 비용을 빠르게 낮추고 있다는 점이다.

2. DeepSeek-R1 공개와 시장·업계의 반응

DeepSeek는 중국 기반 회사로, 약 일주일 전 DeepSeek-R1을 공개했다. 이 모델은 벤치마크에서 OpenAI의 o1과 비교될 만한 성능을 보였고, 허용적인 MIT 라이선스의 오픈 웨이트 모델로 배포되었다. 저자는 다보스에서 비기술 분야 비즈니스 리더들로부터 이 모델에 대한 질문을 많이 받았다고 말한다. 이어 월요일에는 이른바 ‘DeepSeek selloff’가 발생해 Nvidia와 여러 미국 기술 기업의 주가가 급락했고, 작성 시점에는 일부 회복된 상태라고 설명한다. 이는 기술적 사건이 투자자와 비기술 경영진의 인식에도 직접 영향을 준 사례로 제시된다.

3. 중국 생성 AI의 빠른 추격과 공급망 문제

저자는 ChatGPT가 2022년 11월 출시됐을 때만 해도 미국이 생성 AI에서 중국보다 크게 앞서 있었다고 본다. 그러나 인식은 천천히 바뀌기 때문에 최근까지도 미국과 중국의 지인들 가운데 중국이 뒤처져 있다고 생각하는 사람들이 있었다고 말한다. 실제로는 지난 2년 동안 격차가 빠르게 줄었고, Qwen, Kimi, InternVL, DeepSeek 같은 중국 모델들이 이를 보여준다고 설명한다. 특히 비디오 생성 같은 영역에서는 중국이 앞서 보이는 순간도 있었다고 덧붙인다. 이 맥락에서 DeepSeek-R1의 공개는 중국 AI 생태계의 실력을 더 넓은 대중에게 확인시킨 계기로 읽힌다.

4. 오픈 웨이트 모델과 미국의 오픈소스 정책 논쟁

저자는 DeepSeek-R1이 오픈 웨이트 모델로 공개되고 기술 보고서가 많은 세부 정보를 공유한 점을 긍정적으로 평가한다. 반대로 미국의 일부 기업들이 인간 멸종 같은 가상의 AI 위험을 부각하며 오픈소스를 억누르는 규제를 추진해 왔다고 비판한다. 그의 핵심 주장은 오픈소스와 오픈 웨이트 모델이 이제 AI 공급망의 중요한 일부가 되었다는 것이다. 많은 기업이 이러한 모델을 사용할 것이며, 미국이 계속 오픈소스를 막는다면 중국이 이 공급망 부문을 지배하게 될 수 있다고 경고한다. 그 결과 기업들은 미국보다 중국의 가치가 더 많이 반영된 모델을 쓰게 될 가능성이 있다고 본다.

5. 기반 모델 계층의 상품화와 애플리케이션 기회

본문은 LLM 토큰 가격이 빠르게 하락하고 있으며 오픈 웨이트 모델이 이러한 추세와 개발자 선택권 확대에 기여했다고 설명한다. 구체적으로 OpenAI o1의 출력 토큰 가격은 100만 토큰당 60달러인 반면, DeepSeek R1은 2.19달러로 제시된다. 이 약 30배 차이는 가격 하락 흐름을 많은 사람에게 분명하게 보여준 사례다. 저자는 기반 모델을 훈련하고 API 접근을 판매하는 사업은 훈련 비용 회수라는 어려운 문제를 안고 있다고 말한다. 반면 이미 다른 회사들이 수십억 달러를 들여 훈련한 모델을 저렴하게 이용해 고객 지원 챗봇, 이메일 요약기, AI 의사, 법률 문서 보조 도구 같은 응용 서비스를 만드는 데는 큰 사업 기회가 있다고 본다.

6. 스케일링 중심 서사의 한계와 DeepSeek의 최적화

저자는 AI 발전에서 모델을 더 크게 키우는 스케일링이 많은 주목과 투자를 받아왔음을 인정한다. 자신도 초기에 모델 스케일업을 지지한 사람이라고 밝히지만, 더 많은 자본을 투입하면 예측 가능하게 성능이 향상된다는 서사가 지나치게 강조됐다고 본다. DeepSeek 사례는 더 섬세한 관점이 필요함을 보여준다. 미국의 AI 칩 수출 통제 때문에 DeepSeek 팀은 H100이 아니라 성능이 낮은 H800 GPU에서 작동하도록 여러 최적화를 고안해야 했다. 그 결과 연구 비용을 제외한 컴퓨팅 비용 기준으로 600만 달러 미만에 모델을 훈련했다는 설명이 나온다. 이는 연산 자원의 절대량뿐 아니라 알고리즘과 시스템 최적화도 발전의 중요한 경로임을 강조한다.

7. 연산 수요와 지능 수요에 대한 신중한 낙관

DeepSeek의 비용 절감이 실제로 연산 자원 수요를 줄일지는 아직 확정되지 않았다고 저자는 말한다. 어떤 재화의 단위 가격이 낮아지면 오히려 그 재화를 더 많이 구매하게 되어 총지출이 늘어날 수도 있기 때문이다. 그는 장기적으로 지능과 컴퓨팅에 대한 수요에는 사실상 천장이 없다고 본다. 따라서 지능이 더 저렴해지더라도 인류가 더 많은 지능을 사용하게 될 것이라는 낙관적 전망을 유지한다. 또한 DeepSeek의 진전이 소셜미디어에서 사람마다 다른 의미를 투사하는 로르샤흐 테스트처럼 해석됐다고 평가한다. 그는 이 모델이 아직 정리되지 않은 지정학적 함의를 갖는 동시에, AI 애플리케이션 개발자들에게는 새로운 가능성을 여는 사건이라고 본다.

8. 강화학습이 대규모 언어모델 추론의 핵심 경로로 부상

뉴스 섹션은 강화학습이 고급 추론 능력을 갖춘 대규모 언어모델을 만드는 경로로 떠오르고 있다고 설명한다. DeepSeek-R1과 그 변형인 DeepSeek-R1-Zero, Kimi k1.5는 생성된 추론 과정을 강화학습으로 개선한 최근 고성능 모델로 소개된다. OpenAI의 o1도 지난해 이 접근을 선도한 사례로 언급된다. 강화학습은 모델의 출력이 정답과 얼마나 일치하는지를 직접 알려주는 지도학습과 달리, 특정 행동이나 목표 달성에 대해 보상 또는 처벌을 주는 방식이다. 이 방법은 원래 게임 플레이나 로봇 제어 모델 훈련에 널리 쓰였지만, 이제는 수학·코딩·과학 문제처럼 정답이 있는 복잡한 과제에서 언어모델의 추론 절차를 개선하는 데 중요한 역할을 하고 있다.

9. Chain of Thought 개선 방식과 모델별 차이

강화학습은 대규모 언어모델이 정답으로 이어지는 추론 단계의 시퀀스를 생성하도록 장려하는 방식으로 사용된다. 일반적인 LLM 훈련이 다음 토큰을 생성하고 토큰 단위 피드백을 받는 데 가깝다면, 여기서의 강화학습은 프롬프트와 응답 사이에 계획, 검토, 접근법 성찰 같은 중간 토큰을 많이 생성하더라도 정확한 결론에 도달하는 추론 흐름 자체를 보상한다. DeepSeek 팀은 사전훈련 이후 강화학습만으로도 DeepSeek-R1-Zero가 답을 재확인하는 전략을 배울 수 있음을 발견했지만, 여러 언어를 섞어 출력하는 기묘한 행동도 나타났다. 이를 해결하기 위해 DeepSeek-R1에서는 강화학습 전에 소수의 긴 chain of thought 예제로 지도 미세조정을 수행했다. Kimi k1.5도 긴 추론 예제로 미세조정한 뒤 강화학습을 적용했고, 이후 응답 길이를 줄이도록 추가 강화학습을 사용해 AIME 2024와 MATH-500에서 평균 출력 토큰 수를 낮췄다.

10. 컴퓨터 사용 에이전트와 Operator의 등장

마지막 주요 흐름은 OpenAI가 공개한 Operator를 통해 컴퓨터 사용 에이전트가 소비자 시장에 진입하고 있다는 내용이다. Operator는 ChatGPT 안의 브라우저 유사 환경에서 물건 구매, 티켓 예약, 양식 작성 같은 온라인 작업을 수행하는 연구 미리보기 기능으로 소개된다. 이 기능은 월 200달러의 ChatGPT Pro 구독자에게 데스크톱에서 제공되며, 향후 더 넓은 제공과 API 접근, 여러 캘린더를 조율하는 회의 일정 잡기 같은 다단계 작업 개선이 예고되어 있다. Operator는 Computer-Using Agent라는 새 모델을 사용하며, 사용자의 텍스트 명령을 버튼, 메뉴, 텍스트 필드 같은 웹 요소와의 상호작용으로 바꾼다. OpenAI는 구조와 훈련법을 자세히 공개하지 않았지만, 실제·시뮬레이션 브라우저 상황에서 강화학습으로 훈련했다고 밝혔다.

🧾 핵심 주장 / 시사점

DeepSeek-R1의 의미는 단순히 ‘저렴한 강력 모델’에 그치지 않고, 오픈 웨이트 모델이 국가 간 AI 경쟁과 기업의 기술 선택을 좌우하는 공급망 요소가 되었음을 보여준다는 데 있다.
기반 모델 가격이 빠르게 낮아질수록 경쟁의 중심은 모델 자체를 훈련해 API로 파는 영역에서, 저렴해진 모델을 활용해 실제 문제를 푸는 애플리케이션 구축 쪽으로 더 이동할 가능성이 크다.
강화학습은 한때 언어모델 분야에서 주로 정렬과 선호 반영에 쓰였지만, 이제는 긴 추론 과정, 답 검증, 응답 길이 최적화까지 다루며 고급 추론 모델 개발의 중요한 축으로 재부상하고 있다.