YouTubeYahoo Finance·2026년 11월 18일·0

Mustafa Suleyman: AI Is Starting to Improve Itself, and That''s Dangerous

Quick Summary

Mustafa Suleyman: AI Is Starting to Improve Itself, and That's Dangerous를 중심으로, 술레이만이 든 자기개선의 사례는 마이크로소프트 개발팀의 일상 업무다. 모델이 버그를 확인하고 학습 데이터를 만들며 평가를 설계한다를 핵심 판단 포인트로 압축 정리한다.

영상 보기

클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.

원본 열기

🖼️ 인포그래픽

Mustafa Suleyman: AI Is Starting to Improve Itself, and That''s Dangerous 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

Mustafa Suleyman: AI Is Starting to Improve Itself, and That''s Dangerous의 핵심 내용을 4단계로 요약한 인포그래픽
Mustafa Suleyman: AI Is Starting to Improve Itself, and That''s Dangerous 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 결론

Mustafa Suleyman: AI Is Starting to Improve Itself, and That's Dangerous를 중심으로, 술레이만이 든 자기개선의 사례는 마이크로소프트 개발팀의 일상 업무다. 모델이 버그를 확인하고 학습 데이터를 만들며 평가를 설계한다를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

  1. 술레이만이 든 자기개선의 사례는 마이크로소프트 개발팀의 일상 업무다. 모델이 버그를 확인하고 학습 데이터를 만들며 평가를 설계한다. 그는 최근 3개월 동안 모델이 개발 과정에 관여하는 정도가 크게 달라졌다고 봤다.
  2. 마이크로소프트는 범용 모델을 개발하면서 코딩·보안 등 용도별 모델의 비용도 낮추고 있다. 술레이만은 새 모델군이 비교 모델 성능의 98%를 비용의 40%로 제공하며, 보안 모델은 별도 비교에서 동급 성능을 비용의 2%로 낸다고 설명했다.
  3. 비용 절감이 중요한 이유는 에이전트의 가동 시간에 있다. 술레이만은 기업이 계속 켜 둘 수 있는 업무 지원·보안 에이전트를 원한다고 말했다. 고객이 자체 데이터와 접근 권한을 관리하는 MAI 가중치 라이선스의 운영 범위는 Azure 안이다.
  4. 술레이만은 모델 공급자가 배포 전 안전성을 검증하고 필요하면 출시를 늦출 책임이 있다고 말했다. 자사에서 위험 때문에 실제로 제동을 건 사례가 있느냐는 질문에는 아직 없다고 답했다.
  5. 그는 기업과 정부의 결정권을 인간이 유지해야 한다고 봤다. 이를 뒷받침할 장치로 이사회 감독, 개발 과정에 내장된 평가, 감사, 연구소 간 안전 정보 공유를 꼽았다.

🧩 배경과 문제 정의

진행자는 마이크로소프트가 새 AI 모델 6종을 발표했다는 소식으로 인터뷰를 열었다. 외부 모델을 자사 플랫폼에서 제공해 온 회사가 왜 직접 범용 모델을 만드는지가 출발점이었다. 술레이만의 답은 기업 고객의 토큰 비용에서 시작해, 모델이 다음 모델의 개발에 참여할 때 누가 안전성을 판단하고 배포를 멈출 수 있는가로 이어졌다.

🕒 시간순 섹션별 상세정리

1. 자체 모델을 만드는 이유

  • 술레이만은 개발자와 기업의 정보·재무 책임자가 토큰 비용 상승을 호소한다며, 새 모델군이 반복 업무에서 비교 모델 성능의 98%를 비용의 40%로 제공한다고 설명했다. [01:19]
  • GitHub Copilot에 배포 중이며 Foundry 등으로 공급을 넓힐 예정이라고 말했다. 자체 범용 모델이 새해에 업계 최고 수준에 도달하는 것은 향후 목표로 제시했다. [01:50]

2. 보안 에이전트와 연산 자원

  • 술레이만은 보안 모델이 비교 모델 비용의 2%로 동급 성능을 낸다고 주장했다. 그가 제시한 용도는 기업 시스템을 계속 점검하고 보안 문제의 수정을 돕는 에이전트다. [02:13]
  • 현재 학습·추론용 연산 자원은 충분하며, OpenAI와 계약을 재협상해 자체 최첨단 모델을 개발할 여지가 생겼다고 말했다. OpenAI와의 협력과 Foundry를 통한 외부 모델 공급도 강조했다. [03:17]

3. 계속 켜 두는 AI의 비용

  • 마이크로소프트는 수요 계획을 분기마다 수정하고 있다고 술레이만은 말했다. 그는 뒤에서 업무를 모니터링하고 정보를 정리하는 에이전트의 채택이 이듬해 더 빨라질 것으로 내다봤다. [04:16]
  • 파트너들이 원하는 것은 필요할 때마다 호출하는 기능을 넘어 계속 업무를 지원하는 에이전트이며, 운영비가 내려가면 맡길 수 있는 일도 달라진다고 설명했다. [04:53]

4. Azure 안에서의 고객 통제권

  • 중국의 공개 가중치 모델과 어떻게 경쟁할지 묻자, 술레이만은 고객의 모델 선택권과 자체 데이터 통제를 강조했다. MAI 가중치 라이선스를 이용하면 기업이 자체 Azure 환경에서 모델 접근 권한과 사용 방식을 정할 수 있다고 설명했다. [06:04]
  • 그는 해당 가중치를 공개할 계획은 없으며 강력한 모델에는 보호 장치가 필요하다고 말했다. 실무에서는 업무에 맞춰 작은 모델과 큰 모델을 고르는 판단도 중요하다고 봤다. [07:15]

5. AI가 다음 모델의 개발에 참여할 때

  • 재귀적 자기개선에 대한 질문에 술레이만은 개발팀이 모델을 써서 버그를 확인하고 학습 데이터와 평가를 만든다고 답했다. 그는 모델이 자체 개선 과정에 점점 깊이 관여하는 점을 위험한 능력으로 평가했다. [07:50]
  • 최근 3개월을 전환점으로 꼽으며, 실제 서비스에 투입하기 전에 안전성을 입증하고 단계적으로 나아가야 한다고 말했다. [08:12]

6. 출시를 늦출 책임과 감독 장치

  • 술레이만은 모델의 행동을 통제하고 보안 결함을 해결하는 것이 공급자의 책임이라고 말했다. 필요할 때 속도를 늦추고 연구소끼리 안전 관행과 새로 발견한 문제를 공유해야 한다고 제안했다. [09:05]
  • 자사에서 실제로 제동을 건 사례는 아직 없다고 답했다. 다만 보안 모델이 사람들이 오랫동안 발견하지 못한 문제를 찾아냈다며 엄격한 평가와 배포 관리가 필요하다고 말했다. [09:43]
  • 상장사의 책임을 묻는 질문에는 이사회의 적극적인 감독, 개발 과정에 내장된 평가, 감사와 내부 통제가 필요하다고 답했다. [10:41]

7. AI의 의식과 인간의 결정권

  • 술레이만은 앤트로픽이 AI의 의식 가능성을 고려해 그 복지를 논의한다고 설명했다. 자신은 AI가 고통을 경험할 수 있다는 견해에 동의하지 않으며, 그런 전제가 시스템 통제를 어렵게 할 수 있다고 봤다. [12:01]
  • 빌 걸리는 녹화 발언에서 일부 인사가 장차 AI에 결정권을 넘기려 한다는 견해를 밝혔다. 술레이만은 기업과 정부의 통제권을 인간이 유지해야 하며, 피해를 막을 수 있다는 확신이 없으면 개발을 늦추거나 멈춰야 한다고 답했다. [13:45]

8. 엔비디아와 공개 모델을 둘러싼 논쟁

  • 진행자가 엔비디아 경영진 관련 사안을 묻자 술레이만은 사실관계가 분명해질 때까지 판단을 유보했다. GPU 배분에서 마이크로소프트가 유리해질 것이라는 해석에도 동의하지 않았다. [15:11]
  • 진행자는 허깅페이스 사건 대응에서 오픈소스의 기여를 강조했고, 술레이만은 여러 방어 수단이 함께 작용했다고 봤다. 그는 강력한 모델이 널리 배포될수록 위험을 통제하기 어려워질 수 있다고 말했다. [16:05]
  • 술레이만은 공개형과 비공개형 모델이 공존할 것으로 전망했다. 모델이 따라야 할 가치와 행동 기준, 규제는 국제적으로 논의해야 하며 감독 대상의 수도 통제 가능성에 영향을 준다는 견해로 답변을 마무리했다. [16:47]

🧾 결론

  • 현재 자기개선의 근거로 제시된 것은 사람이 이끄는 개발 과정에서 AI가 맡은 구체적인 일들이다. 모델이 사람의 개입 없이 다음 세대를 거듭 개선할 수 있는지는 인터뷰에서 확인되지 않았다.
  • 술레이만의 배포 원칙에 따르면 출시를 늦추거나 멈추는 결정까지 개발사의 책임에 속한다. 이 원칙을 평가하려면 실제로 누가 어떤 근거로 출시를 보류할 수 있는지 살펴야 한다.
  • 인터뷰 말미의 공개 모델 논쟁은 통제 권한의 범위로 이어졌다. 술레이만은 공개형과 비공개형 모델이 공존할 것으로 보면서, 어떤 행동을 허용하고 어떻게 감독할지는 국제적으로 논의해야 한다고 말했다.

📈 투자·시사 포인트

  • 상시형 에이전트의 경제성을 판단하려면 토큰 단가와 하루 가동량을 함께 봐야 한다. 영상 속 가격 차이가 실제 구매 결정에 얼마나 중요한지는 같은 품질의 작업을 한 달간 처리하는 비용으로 비교할 수 있다.
  • 마이크로소프트에는 모델 개발사와 유통 플랫폼이라는 두 역할이 있다. 자체 모델의 성능을 추적하는 한편, 고객이 다른 회사 모델을 골라도 Foundry를 계속 쓰는 이유가 있는지 살펴볼 만하다.
  • 술레이만은 현재 연산 자원이 병목은 아니지만 수요 계획을 분기마다 수정한다고 말했다. 에이전트 이용량이 늘어나는 속도와 이를 감당할 연산 용량을 함께 봐야 향후 공급 여력을 판단할 수 있다.
  • MAI 가중치 라이선스는 기업에 자체 데이터와 접근 권한을 관리할 수단을 제공한다. 도입 가치를 평가할 때는 이 이점과 Azure 안에서 운영해야 한다는 조건을 함께 따져야 한다.

⚠️ 불확실하거나 확인이 필요한 부분

  • 성능 98%·비용 40%와 보안 모델 비용 2%는 술레이만이 제시한 서로 다른 비교다. 진행자는 뒤에 성능을 96%로 되짚었다. 평가 과제, 비용 산식, 두 성능 수치의 관계는 영상에서 확인되지 않는다.
  • 술레이만은 최근 3개월을 자기개선의 전환점으로 평가했다. 다만 어떤 개선을 모델이 독자적으로 제안·검증했는지, 그 결과 다음 모델의 성능이 얼마나 올랐는지는 제시하지 않았다.
  • 허깅페이스 보안 사건에서 오픈소스가 어떤 역할을 했는지를 두고 진행자와 술레이만의 해석이 갈렸다. 인터뷰에는 기여도를 가릴 사건 기록이 제시되지 않았다.
  • 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
  • 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
  • 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

  • 모델 비교표에 비교 대상, 평가 과제, 품질 기준, 비용 단위를 기록하고 일반 모델군과 보안 모델의 수치를 별도 행에 둔다.
  • 상시형 에이전트 도입안은 예상 가동 시간과 처리량으로 월비용을 계산하고, MAI 라이선스의 Azure 운영 조건이 조직 요구에 맞는지 확인한다.
  • 자기개선 사례를 검토할 때 모델이 맡은 일, 사람이 승인한 일, 개선 효과를 검증한 주체를 구분해 기록한다.
  • 출시 심사에서 확인하는 안전성 자료, 출시 보류 권한을 가진 사람, 이사회나 감사 담당자가 결과를 검토하는 절차를 확인한다.

❓ 열린 질문

  • 개발용 AI가 평가까지 설계한다면, 그 평가가 놓친 문제를 누가 어떤 독립적인 절차로 발견할 수 있을까?
  • 개발사가 말하는 ‘안전성이 입증됐다’는 판단에는 어떤 기준이 필요하며, 연구소마다 출시 판단이 다르면 어떻게 조율할 수 있을까?
  • 강력한 모델의 배포 범위를 제한하면서도 소수 공급사의 통제 권한을 국제적으로 감독하려면 어떤 제도가 필요할까?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.