Five AI safety sessions every founder should have on their Disrupt 2026 agenda

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

TechCrunch Disrupt 2026은 기업 AI 도입, 에이전트 보안, 자율 시스템 검증, 로봇 데이터 문제를 다루는 다섯 세션을 통해 실제 배포와 고객 신뢰에 필요한 조건을 조명할 예정이다.

📌 핵심 요약

• Anthropic의 응용 AI 책임자 Cat de Jong은 Claude를 핵심 업무에 도입하는 기업들과의 경험을 바탕으로, 측정 가능한 가치를 얻는 기업과 18개월이 지나도 파일럿에 머무는 기업의 차이를 다룰 예정이다.
• Okta의 Ric Smith와 NanoCo의 Gavriel Cohen은 행동을 수행하는 AI 에이전트의 접근 범위와 권한, 애플리케이션 수준 권한 모델의 약점, 인프라 수준 보안 및 아키텍처 선택을 논의할 예정이다.
• AWS의 Rudy Mitra, Luta Security의 Katie Moussouris, 사이버보안 전문가 Wendy Nather는 AI가 더 자율적인 역할을 맡을 때 기업에 필요한 보안·거버넌스·관측 가능성과 인프라를 살펴볼 예정이다.
• Shield AI의 Nathan Michael, General Motors의 Mikell Taylor, Waabi의 Raquel Urtasun은 물리적 피해가 발생할 수 있는 자율 시스템의 배포 안전성을 판단하기 위한 안전 문화, 테스트·검증, 규제 대응을 다룰 예정이다.
• Nvidia의 Les Karpas는 로봇의 대규모 학습 데이터 부족과 이를 줄이는 데 기여할 수 있는 데이터 파이프라인·시뮬레이션 환경·기반 모델을 논의할 예정이다. 다섯 세션은 2026년 10월 13~15일 샌프란시스코 Moscone West에서 열리는 TechCrunch Disrupt 2026의 일부다.

🧩 주요 포인트

1. Claude 도입 성과의 격차 → 기업 AI의 상용화에서는 실험을 실제 업무 가치로 연결하고 고객의 보안 요구를 충족하는 과정이 중요하다.
2. AI 에이전트의 실행 권한과 자율성 확대 → 애플리케이션 수준 권한 모델뿐 아니라 인프라, 거버넌스, 관측 가능성까지 검토 범위가 넓어진다.
3. 자율 시스템의 물리적 피해 가능성과 로봇의 학습 데이터 부족 → 테스트·검증과 데이터 확보 문제가 신뢰할 수 있는 실제 배포 및 확장의 핵심 과제로 연결된다.

🧠 상세 정리

1. 데모를 넘어 실제 배포로 이동하는 AI

기사는 회사 시스템에 접근하는 AI 에이전트, 직원을 태우는 자율주행차, 예측하기 어려운 물리적 환경에서 움직이는 로봇을 신뢰할 수 있는지 묻는 것으로 시작한다. AI가 데모를 넘어 기업과 차량, 로봇, 자율 에이전트에 적용되면서 안전과 보안이 제품의 일부가 됐다는 것이 글의 출발점이다. TechCrunch Disrupt 2026은 AI Stage와 Real World AI Stage의 다섯 세션에서 이러한 도입 과제를 다룰 예정이다. 이는 이미 검증된 해법이나 세션 결과를 보도한 글이 아니라, 창업자가 실제 배포와 신뢰 확보에 필요한 논점을 살펴보도록 안내하는 행사 소개다. 행사는 10월 13~15일 샌프란시스코 Moscone West에서 열리며, 여섯 산업별 무대와 라운드테이블·소그룹 세션 등을 통해 200개 이상의 세션이 진행될 예정이다. 참가자는 1만 명 이상, 연사는 250명 이상, 전시 스타트업은 300개 이상으로 예상되며, 기사에는 9월 25일 오후 11시 59분 PT까지 티켓 최대 200달러 할인과 두 번째 티켓 50% 할인도 안내돼 있다.

2. Claude 도입에서 갈리는 실험과 실제 가치

첫 번째 세션은 기업의 AI 도입 성과가 왜 서로 다른지에 초점을 맞춘다. 기사에 따르면 일부 기업은 AI에서 측정 가능한 가치를 얻지만, 다른 기업은 18개월이 지나도 파일럿을 계속하고 있다. Anthropic의 응용 AI 책임자 Cat de Jong은 Claude를 핵심 업무에 적용하는 기업들과 직접 일하며 도입이 성공하거나 정체되는 지점을 접하고 있다. 그는 AI Stage에서 기업이 AI 실험을 실제 운영으로 전환할 때 일어나는 일과 성과를 가르는 차이를 살펴볼 예정이다. 기업 고객에게 AI를 판매하려는 창업자에게 현장 경험을 제공한다는 취지이며, 기사 자체가 성공 요인이나 실패 원인을 구체적으로 확정해 제시하는 것은 아니다.

3. 에이전트 권한을 넘어 인프라 보안으로

두 번째 세션은 행동을 수행할 수 있는 AI 에이전트가 새로운 보안 문제를 만들 수 있다는 점에서 출발한다. 어떤 자원에 접근하도록 허용할지, 어떤 행동을 맡길지, 애플리케이션 수준 권한만으로 충분하지 않다면 어떻게 해야 할지가 주요 질문이다. Okta의 제품·기술 부문 사장 Ric Smith와 NanoCo의 공동창업자 겸 CEO Gavriel Cohen이 AI Stage에서 이 문제를 논의할 예정이다. 세션은 애플리케이션 수준 권한 모델의 약점과 에이전트형 AI를 배포할 때 고려할 아키텍처 선택을 포함해 인프라 수준의 보안을 다룬다. 기사는 에이전트 기능을 제품에 포함하려는 창업자에게 보안 역시 함께 고려해야 할 제품 과제라고 강조하지만, 특정 보안 설계가 충분하다고 결론짓지는 않는다.

4. 기업 AI의 도입 조건이 되는 보안과 거버넌스

세 번째 세션은 인상적인 데모만으로 기업의 핵심 시스템에 AI 제품을 도입할 수는 없다는 문제의식을 제시한다. 기업이 AI 도입을 검토하면 기능과 함께 보안, 거버넌스, 관측 가능성도 논의 대상이 된다는 설명이다. AWS의 보안 서비스 부문 부사장 Rudy Mitra, Luta Security의 CEO Katie Moussouris, 사이버보안 전문가 Wendy Nather가 AI Stage에서 관련 인프라를 살펴볼 예정이다. 특히 AI가 더 자율적인 역할을 맡을 때 기업에 어떤 기반이 필요한지가 논의의 중심이다. 기업용 AI를 만드는 창업자에게는 고객 조직의 보안 요구가 제품 도입을 좌우할 수 있음을 이해할 기회로 소개되며, 구체적인 기술 해법이나 도입 성과는 기사에 제시되지 않는다.

5. 물리적 결과를 수반하는 자율 시스템의 안전성

네 번째 세션은 AI의 오류가 화면 안에 머물지 않고 차량, 항공기, 산업 시스템과 중요한 임무에 영향을 줄 수 있다는 점을 다룬다. Shield AI의 CTO Nathan Michael, General Motors의 로봇 전략 책임자 Mikell Taylor, Waabi의 창업자 겸 CEO Raquel Urtasun이 Real World AI Stage에 참여할 예정이다. 이들은 방위 및 자율 시스템 분야의 관점에서 자율 시스템이 배포하기에 충분히 안전한지 어떻게 판단할 수 있는지 논의한다. 주요 주제는 안전 문화 조성, AI 테스트와 검증, 규제 장벽 대응, 물리적 실패의 결과가 따르는 상황에서 신뢰받는 기업을 만드는 방법이다. 기사는 테스트를 뒤늦게 고려해서는 안 된다고 강조하지만, 배포 안전성을 보장하는 단일 기준이나 무오류 가능성을 제시하지는 않는다.

6. 로봇의 데이터 부족과 신뢰 확보의 과제

다섯 번째 세션은 로봇이 언어 모델과 자율주행차의 발전을 가속한 수준의 방대한 학습 데이터에 접근하지 못한다는 문제를 제기한다. 기사는 이러한 데이터 격차를 물리적 AI의 규모 확대를 가로막는 가장 큰 장애물 중 하나로 설명한다. Nvidia Inception의 물리적 AI 글로벌 책임자 Les Karpas는 Real World AI 세션에서 데이터 파이프라인, 시뮬레이션 환경, 기반 모델이 이 격차를 줄이는 데 어떻게 기여할 수 있는지 살펴볼 예정이다. 논의는 더 유능하고 신뢰할 수 있는 로봇을 구축하고 테스트하며 배포하는 데 필요한 조건으로 이어지지만, 제시된 접근법이 문제를 이미 해결했다고 주장하지는 않는다. 기사는 더 똑똑한 모델이나 새로운 기능을 만드는 것과 함께, 고객이 실제로 배포할 만큼 신뢰하도록 만드는 일이 시장 진입의 가장 어려운 과제 중 하나일 수 있다는 메시지로 마무리한다.

🧾 핵심 주장 / 시사점

• 다섯 세션을 관통하는 주제는 AI의 기능 향상을 실제 사용과 고객 신뢰로 연결하는 조건이며, 안전과 보안은 제품 도입 과정의 핵심 요소로 제시된다.
• 기업 AI와 물리적 AI는 모두 신뢰 확보가 필요하지만, 전자는 권한·거버넌스·인프라를, 후자는 물리적 피해 가능성·테스트·데이터 부족을 중심으로 과제가 구체화된다.
• 이 글은 향후 세션의 의제와 연사를 소개하므로, 제시된 질문과 해결 가능성을 검증된 성과나 확정된 방법론으로 해석해서는 안 된다.

✅ 액션 아이템

• Claude 도입에서 파일럿을 실제 업무 가치로 전환하는 조건과 고객의 보안 요구 검토.
• AI 에이전트의 접근 범위·실행 권한과 애플리케이션 수준 권한 모델의 한계 점검.
• 자율 시스템의 테스트·검증 및 로봇의 학습 데이터 부족을 실제 배포 판단과 연결해 검토.

❓ 열린 질문

• Claude로 측정 가능한 가치를 얻는 기업과 18개월이 지나도 파일럿에 머무는 기업을 가르는 조건은 무엇인가?
• AI 에이전트에서 애플리케이션 수준 권한 모델이 충분하지 않을 때 인프라와 거버넌스는 어떤 역할을 해야 하는가?
• 로봇의 학습 데이터 부족을 줄이기 위해 데이터 파이프라인·시뮬레이션 환경·기반 모델은 각각 어떻게 기여할 수 있는가?