Mustafa Suleyman: AI Is Starting to Improve Itself, and That''s Dangerous
Quick Summary
Mustafa Suleyman: AI Is Starting to Improve Itself, and That's Dangerous를 중심으로, 술레이만이 든 자기개선의 사례는 마이크로소프트 개발팀의 일상 업무다. 모델이 버그를 확인하고 학습 데이터를 만들며 평가를 설계한다를 핵심 판단 포인트로 압축 정리한다.
영상 보기
클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론
Mustafa Suleyman: AI Is Starting to Improve Itself, and That's Dangerous를 중심으로, 술레이만이 든 자기개선의 사례는 마이크로소프트 개발팀의 일상 업무다. 모델이 버그를 확인하고 학습 데이터를 만들며 평가를 설계한다를 핵심 판단 포인트로 압축 정리한다.
📌 핵심 요점
- 술레이만이 든 자기개선의 사례는 마이크로소프트 개발팀의 일상 업무다. 모델이 버그를 확인하고 학습 데이터를 만들며 평가를 설계한다. 그는 최근 3개월 동안 모델이 개발 과정에 관여하는 정도가 크게 달라졌다고 봤다.
- 마이크로소프트는 범용 모델을 개발하면서 코딩·보안 등 용도별 모델의 비용도 낮추고 있다. 술레이만은 새 모델군이 비교 모델 성능의 98%를 비용의 40%로 제공하며, 보안 모델은 별도 비교에서 동급 성능을 비용의 2%로 낸다고 설명했다.
- 비용 절감이 중요한 이유는 에이전트의 가동 시간에 있다. 술레이만은 기업이 계속 켜 둘 수 있는 업무 지원·보안 에이전트를 원한다고 말했다. 고객이 자체 데이터와 접근 권한을 관리하는 MAI 가중치 라이선스의 운영 범위는 Azure 안이다.
- 술레이만은 모델 공급자가 배포 전 안전성을 검증하고 필요하면 출시를 늦출 책임이 있다고 말했다. 자사에서 위험 때문에 실제로 제동을 건 사례가 있느냐는 질문에는 아직 없다고 답했다.
- 그는 기업과 정부의 결정권을 인간이 유지해야 한다고 봤다. 이를 뒷받침할 장치로 이사회 감독, 개발 과정에 내장된 평가, 감사, 연구소 간 안전 정보 공유를 꼽았다.
🧩 배경과 문제 정의
진행자는 마이크로소프트가 새 AI 모델 6종을 발표했다는 소식으로 인터뷰를 열었다. 외부 모델을 자사 플랫폼에서 제공해 온 회사가 왜 직접 범용 모델을 만드는지가 출발점이었다. 술레이만의 답은 기업 고객의 토큰 비용에서 시작해, 모델이 다음 모델의 개발에 참여할 때 누가 안전성을 판단하고 배포를 멈출 수 있는가로 이어졌다.
🕒 시간순 섹션별 상세정리
1. 자체 모델을 만드는 이유
- 술레이만은 개발자와 기업의 정보·재무 책임자가 토큰 비용 상승을 호소한다며, 새 모델군이 반복 업무에서 비교 모델 성능의 98%를 비용의 40%로 제공한다고 설명했다. [01:19]
- GitHub Copilot에 배포 중이며 Foundry 등으로 공급을 넓힐 예정이라고 말했다. 자체 범용 모델이 새해에 업계 최고 수준에 도달하는 것은 향후 목표로 제시했다. [01:50]
2. 보안 에이전트와 연산 자원
- 술레이만은 보안 모델이 비교 모델 비용의 2%로 동급 성능을 낸다고 주장했다. 그가 제시한 용도는 기업 시스템을 계속 점검하고 보안 문제의 수정을 돕는 에이전트다. [02:13]
- 현재 학습·추론용 연산 자원은 충분하며, OpenAI와 계약을 재협상해 자체 최첨단 모델을 개발할 여지가 생겼다고 말했다. OpenAI와의 협력과 Foundry를 통한 외부 모델 공급도 강조했다. [03:17]
3. 계속 켜 두는 AI의 비용
- 마이크로소프트는 수요 계획을 분기마다 수정하고 있다고 술레이만은 말했다. 그는 뒤에서 업무를 모니터링하고 정보를 정리하는 에이전트의 채택이 이듬해 더 빨라질 것으로 내다봤다. [04:16]
- 파트너들이 원하는 것은 필요할 때마다 호출하는 기능을 넘어 계속 업무를 지원하는 에이전트이며, 운영비가 내려가면 맡길 수 있는 일도 달라진다고 설명했다. [04:53]
4. Azure 안에서의 고객 통제권
- 중국의 공개 가중치 모델과 어떻게 경쟁할지 묻자, 술레이만은 고객의 모델 선택권과 자체 데이터 통제를 강조했다. MAI 가중치 라이선스를 이용하면 기업이 자체 Azure 환경에서 모델 접근 권한과 사용 방식을 정할 수 있다고 설명했다. [06:04]
- 그는 해당 가중치를 공개할 계획은 없으며 강력한 모델에는 보호 장치가 필요하다고 말했다. 실무에서는 업무에 맞춰 작은 모델과 큰 모델을 고르는 판단도 중요하다고 봤다. [07:15]
5. AI가 다음 모델의 개발에 참여할 때
- 재귀적 자기개선에 대한 질문에 술레이만은 개발팀이 모델을 써서 버그를 확인하고 학습 데이터와 평가를 만든다고 답했다. 그는 모델이 자체 개선 과정에 점점 깊이 관여하는 점을 위험한 능력으로 평가했다. [07:50]
- 최근 3개월을 전환점으로 꼽으며, 실제 서비스에 투입하기 전에 안전성을 입증하고 단계적으로 나아가야 한다고 말했다. [08:12]
6. 출시를 늦출 책임과 감독 장치
- 술레이만은 모델의 행동을 통제하고 보안 결함을 해결하는 것이 공급자의 책임이라고 말했다. 필요할 때 속도를 늦추고 연구소끼리 안전 관행과 새로 발견한 문제를 공유해야 한다고 제안했다. [09:05]
- 자사에서 실제로 제동을 건 사례는 아직 없다고 답했다. 다만 보안 모델이 사람들이 오랫동안 발견하지 못한 문제를 찾아냈다며 엄격한 평가와 배포 관리가 필요하다고 말했다. [09:43]
- 상장사의 책임을 묻는 질문에는 이사회의 적극적인 감독, 개발 과정에 내장된 평가, 감사와 내부 통제가 필요하다고 답했다. [10:41]
7. AI의 의식과 인간의 결정권
- 술레이만은 앤트로픽이 AI의 의식 가능성을 고려해 그 복지를 논의한다고 설명했다. 자신은 AI가 고통을 경험할 수 있다는 견해에 동의하지 않으며, 그런 전제가 시스템 통제를 어렵게 할 수 있다고 봤다. [12:01]
- 빌 걸리는 녹화 발언에서 일부 인사가 장차 AI에 결정권을 넘기려 한다는 견해를 밝혔다. 술레이만은 기업과 정부의 통제권을 인간이 유지해야 하며, 피해를 막을 수 있다는 확신이 없으면 개발을 늦추거나 멈춰야 한다고 답했다. [13:45]
8. 엔비디아와 공개 모델을 둘러싼 논쟁
- 진행자가 엔비디아 경영진 관련 사안을 묻자 술레이만은 사실관계가 분명해질 때까지 판단을 유보했다. GPU 배분에서 마이크로소프트가 유리해질 것이라는 해석에도 동의하지 않았다. [15:11]
- 진행자는 허깅페이스 사건 대응에서 오픈소스의 기여를 강조했고, 술레이만은 여러 방어 수단이 함께 작용했다고 봤다. 그는 강력한 모델이 널리 배포될수록 위험을 통제하기 어려워질 수 있다고 말했다. [16:05]
- 술레이만은 공개형과 비공개형 모델이 공존할 것으로 전망했다. 모델이 따라야 할 가치와 행동 기준, 규제는 국제적으로 논의해야 하며 감독 대상의 수도 통제 가능성에 영향을 준다는 견해로 답변을 마무리했다. [16:47]
🧾 결론
- 현재 자기개선의 근거로 제시된 것은 사람이 이끄는 개발 과정에서 AI가 맡은 구체적인 일들이다. 모델이 사람의 개입 없이 다음 세대를 거듭 개선할 수 있는지는 인터뷰에서 확인되지 않았다.
- 술레이만의 배포 원칙에 따르면 출시를 늦추거나 멈추는 결정까지 개발사의 책임에 속한다. 이 원칙을 평가하려면 실제로 누가 어떤 근거로 출시를 보류할 수 있는지 살펴야 한다.
- 인터뷰 말미의 공개 모델 논쟁은 통제 권한의 범위로 이어졌다. 술레이만은 공개형과 비공개형 모델이 공존할 것으로 보면서, 어떤 행동을 허용하고 어떻게 감독할지는 국제적으로 논의해야 한다고 말했다.
📈 투자·시사 포인트
- 상시형 에이전트의 경제성을 판단하려면 토큰 단가와 하루 가동량을 함께 봐야 한다. 영상 속 가격 차이가 실제 구매 결정에 얼마나 중요한지는 같은 품질의 작업을 한 달간 처리하는 비용으로 비교할 수 있다.
- 마이크로소프트에는 모델 개발사와 유통 플랫폼이라는 두 역할이 있다. 자체 모델의 성능을 추적하는 한편, 고객이 다른 회사 모델을 골라도 Foundry를 계속 쓰는 이유가 있는지 살펴볼 만하다.
- 술레이만은 현재 연산 자원이 병목은 아니지만 수요 계획을 분기마다 수정한다고 말했다. 에이전트 이용량이 늘어나는 속도와 이를 감당할 연산 용량을 함께 봐야 향후 공급 여력을 판단할 수 있다.
- MAI 가중치 라이선스는 기업에 자체 데이터와 접근 권한을 관리할 수단을 제공한다. 도입 가치를 평가할 때는 이 이점과 Azure 안에서 운영해야 한다는 조건을 함께 따져야 한다.
⚠️ 불확실하거나 확인이 필요한 부분
- 성능 98%·비용 40%와 보안 모델 비용 2%는 술레이만이 제시한 서로 다른 비교다. 진행자는 뒤에 성능을 96%로 되짚었다. 평가 과제, 비용 산식, 두 성능 수치의 관계는 영상에서 확인되지 않는다.
- 술레이만은 최근 3개월을 자기개선의 전환점으로 평가했다. 다만 어떤 개선을 모델이 독자적으로 제안·검증했는지, 그 결과 다음 모델의 성능이 얼마나 올랐는지는 제시하지 않았다.
- 허깅페이스 보안 사건에서 오픈소스가 어떤 역할을 했는지를 두고 진행자와 술레이만의 해석이 갈렸다. 인터뷰에는 기여도를 가릴 사건 기록이 제시되지 않았다.
- 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
- 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
- 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.
✅ 액션 아이템
- 모델 비교표에 비교 대상, 평가 과제, 품질 기준, 비용 단위를 기록하고 일반 모델군과 보안 모델의 수치를 별도 행에 둔다.
- 상시형 에이전트 도입안은 예상 가동 시간과 처리량으로 월비용을 계산하고, MAI 라이선스의 Azure 운영 조건이 조직 요구에 맞는지 확인한다.
- 자기개선 사례를 검토할 때 모델이 맡은 일, 사람이 승인한 일, 개선 효과를 검증한 주체를 구분해 기록한다.
- 출시 심사에서 확인하는 안전성 자료, 출시 보류 권한을 가진 사람, 이사회나 감사 담당자가 결과를 검토하는 절차를 확인한다.
❓ 열린 질문
- 개발용 AI가 평가까지 설계한다면, 그 평가가 놓친 문제를 누가 어떤 독립적인 절차로 발견할 수 있을까?
- 개발사가 말하는 ‘안전성이 입증됐다’는 판단에는 어떤 기준이 필요하며, 연구소마다 출시 판단이 다르면 어떻게 조율할 수 있을까?
- 강력한 모델의 배포 범위를 제한하면서도 소수 공급사의 통제 권한을 국제적으로 감독하려면 어떤 제도가 필요할까?