Early Anthropic hire, former METR COO have found a way to rein in rogue AI agents

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Anthropic 초기 직원과 전 METR COO가 설립한 AIUC는 AIUC-1 표준과 제3자 감사·인증을 통해 기업의 AI 에이전트 안전성 판단을 돕고자 하며, 시리즈 A 4,000만 달러를 유치했다.

📌 핵심 요약

• Anthropic 초기 직원 Rune Kvist와 전 METR COO Rajiv Dattani는 기업과 AI 모델·에이전트 개발사의 안전성 평가를 지원하는 Artificial Intelligence Underwriting Company(AIUC)를 설립했으며, Cursor·Lovable·Harvey·ElevenLabs를 고객으로 소개했다.
• AIUC는 Ribbit Capital이 주도하고 First Harmonic이 참여한 시리즈 A에서 4,000만 달러를 조달했다. 앞서 유치한 시드 투자 1,500만 달러를 합친 누적 투자액은 5,500만 달러다.
• Kvist는 AI가 똑똑해질수록 도입과 통제가 어려워지며, 은행·병원·정부·군의 도입 장벽은 모델의 지능 부족보다 시스템의 행동을 보장하기 어렵다는 데 있다고 주장했다.
• AIUC는 SOC 2를 참고해 AIUC-1 표준을 개발하고 약 250명의 보안·위험관리 책임자에게 매월 구매 시 요구사항을 듣는다. 이를 반영한 약 5,000개 테스트로 탈옥·환각·데이터 유출 상황에서 에이전트의 행동을 평가하고 약 100쪽의 보고서를 작성하며, AI가 테스트와 분석을 수행하고 사람이 최종 감사를 검증한다.
• METR의 유사 평가는 최근까지 주로 과제 수행 신뢰성에 초점을 맞췄고, Dario Amodei는 프런티어 연구소에 상주하는 제3자 평가자를 제안했다. AIUC는 고객사 상주 방식은 제안하지 않으며, 구매 전에 에이전트를 신뢰할 수 있는 영역과 우려 영역을 독립적으로 평가하는 데 초점을 둔다.

🧩 주요 포인트

1. 지능 향상과 행동 보장 사이의 간극 → 기업의 AI 에이전트 구매 판단에서 성능과 함께 통제 가능성이 핵심 쟁점으로 부상한다.
2. SOC 2를 참고한 AIUC-1과 구매자 요구 기반 테스트 → 추상적인 안전성 주장을 구체적인 평가 결과와 우려 영역으로 제시하려는 접근이다.
3. METR 및 상주형 제3자 평가 구상과의 비교 → 독립 검증이라는 방향은 공유하지만, 평가 초점과 고객사 관여 방식에는 차이가 있다.

🧠 상세 정리

1. AI 통제 우려에서 출발한 창업

기사는 Anthropic 연구원 Jacob Coxon이 이번 10년대 말까지 AI가 인류를 멸망시킬 수 있다는 우려로 퇴사한 다음 날, 기자가 Rune Kvist와 Rajiv Dattani를 만난 장면으로 시작한다. Kvist는 Anthropic 초기 직원이며, Dattani는 AI 안전성 연구기관 METR의 전 COO다. 두 사람은 Kvist가 Dattani의 자매와 결혼한 인척 관계이기도 하다. 이들은 Artificial Intelligence Underwriting Company(AIUC)를 설립해 기업과 AI 모델·에이전트 개발사에 안전성 평가를 제공하려 한다. 기업 내부에서 에이전트가 통제를 벗어나는 일을 예방할 수 있다는 기대를 제시하지만, 기사에 그 효과가 입증됐다는 결과는 나오지 않는다.

2. 고객 확보와 누적 5,500만 달러 투자

AIUC는 Cursor, Lovable, Harvey, ElevenLabs를 고객으로 소개했다. 회사는 화요일 Ribbit Capital이 주도하고 First Harmonic이 참여한 시리즈 A에서 4,000만 달러를 유치했다고 발표했다. 앞선 시드 라운드에서는 Nat Friedman의 펀드 NFDG와 Emergence, Terrain, Anthropic 공동창업자 Ben Mann 등이 참여해 1,500만 달러를 투자했다. 이에 따라 누적 투자액은 5,500만 달러가 됐다. 기사는 투자자들의 관심을 끈 요소로 익숙한 사이버보안 모델을 새로운 AI 위험에 적용하려는 시도를 꼽으며, 그 핵심을 AI 에이전트를 위한 제3자 감사·인증 체계로 설명한다.

3. 모델 지능보다 행동 보장이 문제라는 진단

Kvist는 AI의 지능이 점점 빠르게 높아지고 있지만, 똑똑해질수록 도입과 통제는 오히려 어려워진다고 주장한다. 그의 설명에 따르면 은행, 병원, 정부, 군이 AI 배치를 거부하는 이유는 더 이상 모델이 충분히 똑똑하지 않기 때문이 아니다. 이들 조직은 시스템이 어떤 행동을 하고 어떤 행동은 하지 않을지 고객에게 약속했지만, 현재 누구도 이를 보장할 수 없다는 것이다. 이러한 진단은 AI 도입의 문제를 성능에서 행동의 신뢰성과 통제 가능성으로 옮겨 놓는다. AIUC는 이 간극에 대응하기 위해 널리 채택된 사이버보안 표준 SOC 2를 참고한 AIUC-1 표준과 적합성을 검증하는 테스트 서비스를 개발했다.

4. 구매자의 요구를 약 5,000개 테스트로 구체화

AIUC는 표준을 만들기 위해 에이전트 구매자에 해당하는 보안·위험관리 책임자 약 250명으로 컨소시엄을 구성했다. Dattani에 따르면 회사는 이들과 매월 만나 에이전트를 구매할 때 무엇을 살펴보고, 어떤 질문을 하며, 어떤 문제가 해결되기를 바라는지 묻는다. 이 피드백은 탈옥, 환각, 데이터 유출 상황에서 에이전트가 어떻게 행동하는지 확인하는 약 5,000개 테스트에 반영된다. 평가 결과는 에이전트가 안전하고 신뢰할 만하게 작동하는 영역과 그렇지 않은 영역을 설명하는 약 100쪽의 보고서로 정리된다. AIUC는 테스트 실행에 AI 에이전트를, 데이터 분석에 AI를 사용하지만 최종 감사는 사람이 검증한다고 Kvist는 설명했다.

5. METR의 평가 경험과 업계의 제3자 검증 논의

Dattani는 2024년부터 2025년까지 METR의 COO를 맡았으며 현재도 이사회 구성원으로 남아 있다. METR도 프런티어 AI 연구소를 대상으로 유사한 테스트를 수행하지만, 최근까지는 에이전트가 과제를 안정적으로 완수하는지를 보는 성능 평가에 주로 집중했다. 기사는 METR가 OpenAI의 Hugging Face 사건 조사에 참여한 독립 연구기관 중 하나였다고 설명한다. 이어 Anthropic CEO Dario Amodei가 문제 행동 사례의 급증을 근거로 프런티어 개발 속도를 조절하자고 촉구한 사실을 소개한다. Amodei는 연구소에 상주하는 제3자 평가자가 안전성을 관찰하고 검증하도록 요구하는 방안을 제시하며 METR를 가능한 기관 중 하나로 언급했다.

6. 구매 전 신뢰 범위와 우려를 드러내는 평가

AIUC는 Amodei가 제시한 구상처럼 고객사 현장에 상주하는 방식을 제안하지는 않는다. 다만 기업에 AI 에이전트의 안전성에 관한 독립적인 평가를 제공한다는 큰 방향은 유사하다. Dattani는 평가의 역할을 에이전트가 통과한 영역과 신뢰할 수 있는 부분, 우려가 남는 부분을 알려주는 것으로 설명한다. 구매자는 이러한 내용을 인지한 상태에서 구매 여부를 결정해야 한다는 것이 그의 설명이다. 따라서 기사에서 제시되는 AIUC의 구체적인 가치는 모든 위험이 제거됐다고 보장하는 데까지 입증된 것이 아니라, 테스트에서 드러난 안전성과 한계를 기업의 도입 판단에 활용할 수 있도록 제시하는 데 있다.

🧾 핵심 주장 / 시사점

• AIUC의 접근은 AI 안전성을 구매 전에 확인할 수 있는 감사·인증 문제로 구체화하며, 기업이 약속한 시스템 행동과 실제 에이전트 행동 사이의 간극을 겨냥한다.
• 구매자 요구를 표준과 테스트에 반영하는 방식은 평가 항목을 기업의 도입 우려와 연결하지만, 기사에는 인증 이후 실제 사고가 얼마나 줄었는지에 관한 근거가 제시되지 않는다.
• AI로 테스트와 분석을 수행하고 사람이 최종 감사를 검증하는 구조에서는 자동화된 평가와 인간 검증이 함께 작동하며, 독립 평가 결과 역시 신뢰 가능한 영역과 우려 영역을 구분해 해석해야 한다.

✅ 액션 아이템

• AI 에이전트 구매 판단에서 성능과 함께 통제 가능성 및 시스템의 행동 보장 여부를 검토한다.
• AIUC-1 평가 결과를 활용해 탈옥·환각·데이터 유출 상황의 신뢰 가능한 영역과 우려 영역을 확인한다.
• AIUC와 METR 및 상주형 제3자 평가 구상의 평가 초점과 고객사 관여 방식 차이를 비교한다.

❓ 열린 질문

• AIUC-1의 약 5,000개 테스트는 기업이 요구하는 시스템의 행동 보장을 어느 범위까지 뒷받침할 수 있는가?
• AI가 수행한 테스트와 분석을 사람이 최종 검증할 때 어떤 기준으로 신뢰 가능한 영역과 우려 영역을 구분하는가?
• AIUC의 비상주 평가와 상주형 제3자 평가는 기업의 AI 에이전트 구매 판단에 각각 어떤 차이를 만드는가?