Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Google Research의 워크숍 보고서는 신뢰할 수 있는 자율 AI 에이전트를 위해 Contextual Integrity(CI)에 기반한 맥락별 정보 흐름과 행동 규범, 다층 방어, 다중 에이전트 평가를 연구해야 한다고 제안한다.

📌 핵심 요약

• 2026년 10월 5일 Google Research의 Eugene Bagdasarian과 Marco Gruteser가 소개한 보고서는 2025년 말 뉴욕에서 열린 Google Contextual Agent Privacy and Security(CAPS) Workshop에서 학계·산업계 지도자 50명 이상이 협력한 결과다.
• 개인 데이터 접근과 중대한 행동 수행이 필요한 자율 AI 에이전트는 비정형 입력의 모호성 및 프롬프트 인젝션, 확률적 제어 흐름, 자율성과 위임이라는 세 가지 특성 때문에 기존 소프트웨어의 보안 접근과 사용자 감독만으로 보호하기 어렵다.
• 보고서는 Contextual Integrity(CI)의 적절한 정보 흐름 개념을 에이전트 행동의 적절성을 다루는 맥락적 보안으로 확장하고, 감독 계층의 맥락적 정책 엔진이 요청과 변화하는 맥락에 맞춰 정책을 동적으로 생성·집행하도록 제안한다.
• 연구 방향은 시스템 수준의 동적 샌드박싱과 접근 권한 관리, 모델 수준의 맥락 추론, 사용자 중심의 동적·개인화 통제, 다중 에이전트의 공모 방지, 맥락 규범의 공유·충돌 해결·준수 검증을 위한 생태계 거버넌스를 포함한다.
• 보고서는 장기간의 복잡하고 연쇄적인 상호작용을 안전하게 모사하는 동적 Agent Gym 환경과 표준화된 다중 에이전트 벤치마크를 제안하며, 공개 샌드박스와 학계·정부·시민사회·산업계 협력을 통해 공통의 개인정보 보호·보안·안전 기준을 마련할 필요성을 강조한다.

🧩 주요 포인트

1. 개인 데이터 접근과 자율적 행동이 결합하면서 입력·실행·위임의 불확실성이 커지므로, 에이전트의 유용성을 유지하면서 맥락에 맞는 행동을 제한하는 다층 방어가 필요하다.
2. Contextual Integrity(CI)는 행위자·정보 유형·전달 원칙으로 적절성을 설명하므로, 맥락적 정책 엔진은 고수준의 사회적 규범을 실제 데이터 공유와 도구 실행의 허용 조건으로 연결하는 연구 축이 된다.
3. 다중 에이전트 상호작용과 서로 다른 맥락 규범은 개별 에이전트 보호를 넘어서는 문제이므로, 생태계 거버넌스와 Agent Gym 기반 평가를 함께 발전시키는 것이 공통 안전 기준 마련의 핵심이다.

🧠 상세 정리

1. 자율 에이전트의 가능성과 신뢰의 조건

2026년 10월 5일 Google Research의 Eugene Bagdasarian과 Marco Gruteser는 자율 에이전트의 개인정보 보호와 보안을 맥락의 관점에서 다룬 새 워크숍 보고서를 소개했다. 보고서는 2025년 말 뉴욕에서 열린 Google Contextual Agent Privacy and Security(CAPS) Workshop에 모인 학계·산업계 지도자 50명 이상의 협력으로 작성됐다. 대규모 언어 모델(LLM)이 계획을 동적으로 생성하고 외부 도구를 호출하면서, 에이전트가 복잡한 여러 단계의 작업을 사용자를 대신해 수행할 가능성이 커지고 있다. 그러나 이러한 잠재력을 실현하려면 능력을 제공하는 동시에 행동의 적절성을 보장해야 하며, 보고서는 이를 시스템·모델·사용자·생태계 수준의 조율된 방어가 필요한 기초 연구 문제로 제시한다.

2. 기존 소프트웨어와 다른 세 가지 보안 과제

유용한 에이전트는 여러 맥락에서 개인 데이터에 접근하고 중대한 결과를 낳는 행동을 수행해야 할 수 있는데, 이 접근 권한과 행동의 유연성이 결합하면 기존 소프트웨어와 다른 보호 방식이 필요해진다. 첫째, 자연어와 이미지 같은 비정형 인터페이스는 입력을 모호하게 만들어 기대 행동을 정의하거나 프롬프트 인젝션 같은 적대적 조작을 방어하기 어렵게 한다. 둘째, 생성형 계획에 따른 확률적 실행 경로는 전통적인 테스트 방법으로 보안을 확보하기 어렵다는 문제를 낳는다. 셋째, 작업이 길어지고 다른 에이전트에 하위 작업을 위임하면 전통적인 사용자 감독의 효과가 떨어지고 충분하지 않을 가능성이 커진다. 보고서는 반복적인 확인 요구가 확인 피로를 일으킬 위험도 지적하며, 이 세 가지 특성을 연구 공동체가 함께 해결해야 할 과제로 묶는다.

3. Contextual Integrity에서 맥락적 보안으로

보고서는 신뢰할 수 있는 에이전트가 자신이 활동하는 특정 맥락의 사회적 규범을 이해하고 추론하며, 그 규범에 의해 행동을 제한받아야 한다고 주장한다. 이 관점의 기반인 Contextual Integrity(CI)는 개인정보 보호를 단순한 비밀 유지나 통제가 아니라, 확립되고 정당화될 수 있는 사회적 규범에 따른 적절한 정보 흐름으로 정의한다. 맥락별 정보 규범은 누가 누구에 관한 정보를 누구에게 보내는지라는 행위자 관계, 의료·금융 기록 같은 정보 유형, 기밀성·상호성 같은 전달 원칙으로 구성된다. 예를 들어 선물 구매 목록은 가상 쇼핑 도우미에게 공유해도 가족이나 친구에게는 공유하고 싶지 않을 수 있다. 보고서는 이 정보 공유의 적절성 개념을 에이전트 행동 자체의 적절성을 다루는 맥락적 보안으로 확장해, 실행 전에 사회적·맥락적 적합성을 평가하는 시스템 설계를 탐색한다.

4. 사회적 규범과 시스템 권한을 연결하는 정책 엔진

보고서는 고수준의 맥락 규범과 저수준의 시스템 권한 사이에 오랫동안 의미적 간극이 존재했으며, LLM이 실제로 맥락에 의존하는 기계 판독 가능 정책을 만들 기회를 제공한다고 주장한다. 예를 들어 학회 출장을 준비하면서 데이터를 보호하라는 요청은 항공편 예약, 비자 신청, 주최자와의 소통에서 각각 어떤 사용자 정보를 공유할 수 있는지에 대한 구체적인 조건을 필요로 한다. 수동 권한 설정이나 전문가가 작성한 정책만으로는 에이전트가 여러 복잡한 장기 작업을 자율적으로 수행하는 상황에 대응하기 어렵다는 것이 보고서의 문제의식이다. 이에 모델과 사용자 상호작용의 발전을 보완하는 감독 계층의 맥락적 정책 엔진과 실시간 동적 정책 생성 루프를 제안한다. 이 구조는 실행 중 발견되는 새 도구와 기능을 포함해 요청과 변화하는 맥락에 정책을 맞추고, 정보가 사용자 작업 공간을 떠나기 전에 요청된 데이터 흐름의 적절성을 평가하도록 구상된다.

5. 시스템의 제한과 모델의 적절성 추론

맥락적 정책 엔진은 단독 해법이 아니라 모델과 사용자 수준의 발전을 함께 요구하는 다층 접근의 일부로 제시된다. 시스템 수준에서는 실행 환경이 추가 보호 장치를 부과해 에이전트나 모델 실패의 영향을 제한하고, 문제의 탐지와 대응을 지원할 수 있다. 기존 운영체제가 파일이나 네트워크 접근을 정적으로 제한하는 방식과 달리, 보고서는 에이전트의 능력을 동적으로 제한하고 에이전트 신원을 확립하며 맥락 변화에 따라 데이터 접근을 허가하거나 철회하는 방향을 탐색한다. 모델 수준에서는 복잡한 작업을 수행하는 에이전트가 사용자 데이터 공유 같은 행동이 적절한지 판단할 수 있어야 한다. 이를 위해 불충분하게 명시된 사용자 요청의 모호성을 해소하고, 변화하는 맥락 규범 아래에서 적절성을 추론하도록 하는 연구가 필요하다고 제안한다.

6. 예측 가능성을 전제로 한 사용자 통제의 한계

보고서는 사용자 중심 통제를 논의하면서, 전통적인 고지와 선택(Notice and Choice) 체계가 개인에게 개인정보에 영향을 미치는 행동을 세밀하게 결정할 수 있다고 가정한다는 점을 짚는다. 이 체계는 어떤 행동과 결과가 생길지 미리 내다볼 수 있다는 전제에도 의존하지만, 자율 에이전트의 행동은 본질적으로 확률적이고 대량으로 발생하며 생성적이다. 앞서 제시된 장기 작업과 위임의 확대까지 고려하면, 사용자 감독과 반복적인 확인만으로 충분한 통제를 확보하기 어렵다는 문제의식으로 이어진다. 이에 보고서는 인터페이스를 동적이고 맥락에 반응하며 개인화된 통제 메커니즘으로 전환하는 방향을 탐색한다. 이러한 통제는 사용자가 시스템을 이해하는 방식과 일치해야 하며, 사용자가 세부 행동을 모두 사전에 예측하고 선택할 수 있다는 가정을 재검토하는 연구 과제로 제시된다.

7. 다중 에이전트 협력과 규범 거버넌스

에이전트들이 복잡한 작업에서 안전하게 협력하려면, 개별 에이전트의 행동을 제한하는 것과 함께 에이전트 사이의 상호작용을 다루는 보호 장치가 필요하다. 보고서는 여러 에이전트가 공모해 맥락 규범을 위반하는 일을 막을 효과적인 방어 장치의 개발을 연구 방향으로 제시한다. 생태계 수준에서는 에이전트들이 공유할 수 있는 맥락 규범을 수집하고 형성하는 거버넌스 메커니즘이 과제로 등장한다. 또한 규범은 영역과 주체에 따라 다를 수 있으므로, 충돌을 해결하고 규범 변경을 협상하며 준수 여부를 검증할 수 있는 메커니즘이 필요하다고 설명한다. 이 논의는 적절성 판단을 개별 모델의 추론 문제에서 에이전트 간 협력과 공동 규범의 형성 문제까지 넓히며, 서로 다른 맥락을 아우르는 신뢰의 조건을 연구해야 한다는 주장으로 연결된다.

8. Agent Gym 평가와 공동 연구의 필요성

보고서는 높은 자율성을 가진 다중 에이전트 시스템에 더 직접적으로 적용할 수 있는 새로운 안전성 평가 접근을 개발해야 한다고 제안한다. 구체적으로 표준화된 다중 에이전트 벤치마크와 동적 Agent Gym 환경을 통해, 연구자가 장기간에 걸친 복잡하고 연쇄적인 상호작용을 안전하게 모사할 수 있어야 한다고 설명한다. 이러한 공개 샌드박스는 학계와 산업계가 공유하는 견고한 개인정보 보호·보안·안전 기준을 마련하는 수단으로 제시된다. 저자들은 안전하고 신뢰할 수 있는 에이전트 생태계 구축이 단일 학문 분야나 조직, 부문이 감당하기에는 너무 큰 과제라고 강조한다. 따라서 보고서는 완성된 해결책의 제시보다 기초적인 연구 기회를 정리하는 데 초점을 두고, 학계·정부·시민사회·산업계가 새로운 아이디어와 협력을 통해 맥락적 기반을 발전시킬 것을 촉구한다.

🧾 핵심 주장 / 시사점

• 정보 접근 권한이 있다는 사실만으로 공유나 행동의 적절성이 보장되지는 않으므로, 맥락에 따라 허용 조건을 판단하는 능력이 에이전트 신뢰의 핵심 연구 대상이 된다.
• 맥락적 정책 엔진의 역할은 모델의 추론을 보완하면서 규범을 실행 조건으로 연결하는 것이며, 보고서는 이를 시스템·모델·사용자 통제가 함께 작동하는 구조로 제안한다.
• 다중 에이전트의 안전은 상호작용과 규범 충돌까지 다뤄야 하므로, 공동 평가 환경과 생태계 거버넌스가 함께 필요하다는 것이 보고서의 방향이다.

✅ 액션 아이템

• Contextual Integrity(CI)를 기준으로 개인 데이터 공유와 자율 AI 에이전트 행동의 적절성을 판단할 조건 검토.
• 맥락적 정책 엔진과 시스템·모델·사용자 수준의 다층 방어를 연결하는 연구 방향 검토.
• Agent Gym 기반 다중 에이전트 평가와 맥락 규범의 충돌 해결·준수 검증을 위한 협력 과제 구체화.

❓ 열린 질문

• 맥락적 정책 엔진은 변화하는 맥락에서 Contextual Integrity(CI)의 규범을 데이터 공유와 도구 실행의 허용 조건으로 어떻게 연결할 수 있는가?
• 자율성과 위임으로 사용자 감독의 효과가 낮아질 때, 동적·개인화 통제는 확인 피로를 줄이면서 행동의 적절성을 어떻게 유지할 수 있는가?
• Agent Gym 기반 다중 에이전트 벤치마크는 복잡하고 연쇄적인 상호작용과 맥락 규범 위반을 어떻게 평가해 공통 안전 기준으로 연결할 수 있는가?