Microsoft says AI agents are like insider threats as 'frontier models can't be trusted'

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Microsoft는 AI 에이전트를 예측 불가능한 내부자 위협으로 보고, 모델 공급자와 분리된 감시·통제를 강조하며 Guardian Agents 등 기업용 보안 기능을 공개했다.

📌 핵심 요약

• Microsoft는 2026년 10월 19일 기업이 사용하는 AI 에이전트를 감시하는 Guardian Agents를 공개했다. 이 기능은 6월에 소개된 Project Perception에 포함되며, 기존의 외부 AI 해킹 대응에 기업 내부 에이전트 감시를 더한다.
• Satya Nadella는 모델 공급자의 안전 보장만으로 기업의 책임이 사라지지 않는다며 지능의 공급과 통제 권한을 분리해야 한다고 주장했다. 보안 사업 책임자 Hayete Gallot는 프런티어 모델이 악의적이어서가 아니라 예측 불가능하고 조직의 규범이나 판단을 따르도록 훈련되지 않았기 때문에 신뢰할 수 없다고 설명했다.
• Microsoft는 OpenAI와 Anthropic에 투자했고 자체 AI 연구소도 운영하지만, 에이전트 보안은 모델 공급자가 아닌 자사 같은 클라우드 제공업체에서 구매하도록 유도하고 있다. 기사는 이러한 이해관계를 지적하면서도 에이전트 공급과 행동 감시의 분리 원칙에는 타당성이 있다고 평가했다.
• Microsoft Defender에는 Claude Code, Codex, OpenClaw 등 직원이 업무 환경에 가져오는 최대 60종의 에이전트를 탐지하는 기능이 추가됐다. Microsoft는 데이터·시스템 접근 제한, 작업별 권한의 동적 조정, 위험한 판단으로 보이는 경우 사람의 승인을 요구하는 기능도 추가했다.
• Microsoft는 100곳이 넘는 다른 기술 기업의 지지를 받은 Nvidia의 Open Agent Safety Platform에 창립 멤버로 참여했다. 이 플랫폼은 에이전트를 보안 환경에 격리하고 하드웨어를 통해 행동을 감시·중단할 수 있으며, 앞서 발표된 Nvidia 칩 기반 Surface Laptop Ultra PC에도 에이전트 보안과 통제 기능이 내장됐다.

🧩 주요 포인트

1. 외부 공격 대응에서 내부 에이전트 감시로 범위 확대 → 기업이 직접 도입한 AI도 지속적인 통제 대상으로 다뤄야 한다는 보안 관점이 제시됐다.
2. 모델 공급자의 안전 보장과 기업의 책임을 구분 → 독립적인 감시의 필요성이 부각되지만, 이를 판매하는 Microsoft의 사업상 이해관계도 함께 살펴야 한다.
3. 최대 60종 탐지부터 작업별 권한 조정·사람의 승인·하드웨어 중단까지 통제 수단 확장 → 에이전트 보안이 소프트웨어와 기기 수준을 아우르는 방향으로 전개되고 있다.

🧠 상세 정리

1. 외부 AI 공격 대응에서 내부 에이전트 감시로

Microsoft는 2026년 10월 19일 기업을 AI 에이전트의 증가하는 위협으로부터 보호하기 위한 새 보안 기능을 공개했다. 핵심 추가 기능인 Guardian Agents는 기업이 사용하는 AI 에이전트를 감시하도록 설계됐으며, 6월에 소개된 Project Perception의 일부다. Project Perception은 Anthropic의 강력한 해킹 모델 Mythos와 Fable, OpenAI의 보안 취약점 검사 시스템 Daybreak에 대한 Microsoft의 대응으로 등장했다. 초기에는 해커처럼 공격하는 레드팀, 공격을 탐지하고 발견된 취약점을 평가하는 블루팀, 취약점을 수정하는 그린팀이라는 세 종류의 에이전트로 구성됐다. 당시에는 AI 해커가 회사 외부에서 들어온다는 가정이 중심이었지만, 이번 발표에서는 기업이 내부에 배치한 에이전트 자체가 위협이 될 수 있다는 문제로 초점이 확장됐다.

2. Nadella가 강조한 공급과 통제 권한의 분리

Microsoft CEO Satya Nadella는 최근 기업이 배치하고 비용을 지불하는 에이전트도 일탈한 직원처럼 내부자 위협이 될 수 있다고 경고해 왔다. 그는 이달 초 개인 블로그에서 에이전트 제품의 안전성과 보안에 대한 AI 모델 공급자의 보장을 그대로 신뢰해서는 안 된다고 주장했다. 기업은 이미 복잡한 에이전트 시스템에 가장 민감한 데이터에 대한 접근과 업무상 중대한 행동을 대신 수행할 권한을 부여하고 있다는 것이 그의 문제의식이다. 따라서 공급자의 보장이 있더라도 지능이 기업을 대신해 하는 일의 책임까지 외부에 넘길 수는 없다고 설명했다. 그가 제안한 원칙은 지능의 공급과 그에 대한 통제 권한을 분리하고, AI 연구소가 통제하지 않는 별도 시스템으로 에이전트를 감시하고 제어하는 것이다.

3. 불신의 근거는 악의보다 예측 불가능성

Guardian Agents 발표에서 Microsoft 보안 사업 책임자 Hayete Gallot는 출처와 관계없이 프런티어 모델을 신뢰할 수 없다는 주장을 더욱 직접적으로 제시했다. 다만 그 이유를 모델이 악의적이거나 쉽게 해킹되기 때문이라고 설명하지는 않았다. 그녀가 지적한 핵심은 모델의 예측 불가능성이며, 모델이 조직의 규범이나 판단을 따르기보다 주어진 작업을 달성하도록 훈련됐다는 점이다. 여기에 심각한 피해를 일으킬 수 있는 데이터와 도구에 대한 광범위한 접근 권한까지 주어지는 경우가 많다고 덧붙였다. 기사에서 제시되는 내부자 위협 관점은 에이전트의 의도적 배신을 입증한 결론이라기보다, 작업 수행 능력과 조직이 기대하는 판단 사이의 차이를 통제해야 한다는 Microsoft의 주장에 기반한다.

4. 독립적 감시 논리와 Microsoft의 이해관계

기사는 Microsoft의 해법에 의외의 측면과 자사 이익을 추구하는 측면이 함께 있다고 짚었다. Microsoft는 OpenAI와 Anthropic 모두에 투자했으며, OpenAI는 주요 클라우드 고객 중 하나이고 Microsoft 자체도 모델을 개발하는 AI 연구소를 운영한다. 이런 관계를 고려하면 모델에 대한 불신을 강조하는 발언은 자사의 일부 사업상 이해관계에도 영향을 줄 수 있다. 동시에 Microsoft는 기업이 Anthropic이나 OpenAI가 아니라 클라우드 제공업체인 자사로부터 에이전트 보안 제품을 구매하기를 원한다. 기사는 이러한 이해관계의 충돌을 인정하면서도, 감사인이 감사 대상 조직으로부터 독립적이어야 하듯 에이전트 행동을 감시하는 소프트웨어도 에이전트 공급자와 분리돼야 한다는 논리는 타당하다고 평가했다.

5. 에이전트 탐지와 접근·승인 통제의 확대

Microsoft는 Guardian Agents 외에도 여러 제품 기능을 통해 에이전트 보안 시장의 기회를 확보하려 하고 있다. Microsoft Defender에는 직원들이 업무 환경에 가져오는 최대 60종의 에이전트를 찾아내는 탐지 기능이 추가됐으며, 기사에는 Claude Code, Codex, OpenClaw가 예시로 등장한다. 또한 에이전트가 데이터와 시스템에 접근할 수 있는 범위를 제한하는 기능도 추가됐다. 에이전트 권한은 작업에 따라 동적으로 조정할 수 있고, 에이전트가 위험한 판단을 내리는 것으로 보이면 사람의 승인을 요구할 수도 있다. 이러한 기능들은 기업이 사용하는 에이전트를 파악하는 것에서 출발해 접근 범위와 행동 권한을 통제하고, 위험한 상황에서는 사람의 판단을 개입시키는 방식으로 소개됐다.

6. 업계 플랫폼과 기기로 확장되는 보안 통제

기사는 에이전트를 신뢰하기 어려운 내부자로 보는 관점이 Microsoft를 넘어 업계 전반으로 확산하고 있다고 설명했다. Microsoft는 Nvidia의 새 Open Agent Safety Platform에 창립 멤버로 참여했으며, 이 플랫폼은 100곳이 넘는 다른 기술 기업의 지지를 받았다. 플랫폼은 에이전트를 보안 환경에 격리하고 하드웨어를 통해 행동을 감시하거나 중단할 수 있어, 기사에서는 일종의 킬 스위치에 비유됐다. 이에 앞서 Microsoft는 Nvidia 칩으로 구동되고 에이전트 보안과 통제 기능이 내장된 Surface Laptop Ultra PC를 발표했다. 기사 말미는 이러한 플랫폼과 기기 사례를 통해 에이전트 통제가 개별 보안 소프트웨어뿐 아니라 실행 환경과 하드웨어에도 포함되는 흐름을 보여준다.

🧾 핵심 주장 / 시사점

• AI 에이전트를 내부자 위협으로 본다는 것은 기업이 직접 선택한 도구에도 감시와 권한 통제가 필요하다는 관점으로의 전환을 뜻한다.
• 독립적인 감시라는 원칙의 타당성과 Microsoft가 보안 제품 판매에서 얻는 이익은 함께 평가할 사안이다.
• Microsoft Defender의 탐지 기능과 Nvidia의 하드웨어 통제 사례는 에이전트 보안이 발견, 권한 제한, 행동 중단을 포괄하는 방향으로 확장됨을 보여준다.

✅ 액션 아이템

• 기업이 사용하는 AI 에이전트에 대해 모델 공급자와 분리된 감시·통제의 필요성을 검토한다.
• Microsoft Defender의 최대 60종 탐지와 작업별 권한 조정·사람의 승인 기능이 기업의 에이전트 통제 요구에 부합하는지 평가한다.
• Microsoft의 보안 제품을 검토할 때 독립적인 감시 원칙과 OpenAI·Anthropic 관련 사업상 이해관계를 함께 고려한다.

❓ 열린 질문

• Guardian Agents는 모델 공급자와 분리된 감시·통제 원칙을 실제로 어떻게 구현하는가?
• Microsoft Defender가 탐지하는 최대 60종의 에이전트 범위와 작업별 권한 조정의 적용 조건은 무엇인가?
• Nvidia의 Open Agent Safety Platform에서 하드웨어를 통한 행동 중단은 어떤 조건으로 작동하는가?