Toward provably private insights into AI use

🖼️ 인포그래픽

Toward provably private insights into AI use 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

구글은 LLM, 차등 개인정보보호, 신뢰 실행 환경을 결합한 confidential federated analytics 기반 PPI 시스템으로 온디바이스 생성형 AI 사용 양상을 개인 데이터 노출 없이 분석하는 방법을 소개했다.

📌 핵심 요약

구글은 생성형 AI 기능의 실제 사용 방식과 실패 양상을 이해하기 위해, 개인별 원자료를 사람이 보거나 임의 분석에 쓰지 못하도록 제한하면서 집계 통찰을 얻는 provably private insights, 즉 PPI를 제안했다.
PPI는 confidential federated analytics를 기반으로 하며, 사용자가 승인한 처리 단계만 TEE 안에서 암호화된 데이터를 복호화하고 분석할 수 있게 해 서버 측 처리를 공개 코드와 검증 가능한 실행 상태에 묶는다.
시스템은 Gemma 계열 오픈소스 LLM을 데이터 전문가처럼 사용해 전사문 같은 비정형 데이터를 주제나 범주로 구조화하고, 그 결과를 사용자 수준 차등 개인정보보호가 적용된 히스토그램으로 집계한다.
Pixel의 Recorder 앱 적용 사례에서는 Improve for everyone 설정을 켠 사용자의 일부 전사문을 TEE 호스팅 키 저장소와 AMD SEV-SNP 기반 환경 안에서 처리해, 원문 전사문은 보안 경계 밖으로 나가지 않고 비공개 합계만 공개되도록 했다.
구글은 관련 개인정보보호 보존 인사이트 구현과 confidential federated analytics 스택을 Google Parfait 및 GitHub에 공개해 외부 검증자가 코드, 워크플로 서명, 실행 증명을 확인할 수 있게 했으며, 향후 클러스터링·합성 데이터·더 풍부한 평가로 확장 가능성을 제시했다.

🧩 주요 포인트

구글은 생성형 AI 기능의 실제 사용 방식과 실패 양상을 이해하기 위해, 개인별 원자료를 사람이 보거나 임의 분석에 쓰지 못하도록 제한하면서 집계 통찰을 얻는 provably private insights, 즉 PPI를 제안했다.
PPI는 confidential federated analytics를 기반으로 하며, 사용자가 승인한 처리 단계만 TEE 안에서 암호화된 데이터를 복호화하고 분석할 수 있게 해 서버 측 처리를 공개 코드와 검증 가능한 실행 상태에 묶는다.
시스템은 Gemma 계열 오픈소스 LLM을 데이터 전문가처럼 사용해 전사문 같은 비정형 데이터를 주제나 범주로 구조화하고, 그 결과를 사용자 수준 차등 개인정보보호가 적용된 히스토그램으로 집계한다.
Pixel의 Recorder 앱 적용 사례에서는 Improve for everyone 설정을 켠 사용자의 일부 전사문을 TEE 호스팅 키 저장소와 AMD SEV-SNP 기반 환경 안에서 처리해, 원문 전사문은 보안 경계 밖으로 나가지 않고 비공개 합계만 공개되도록 했다.
구글은 관련 개인정보보호 보존 인사이트 구현과 confidential federated analytics 스택을 Google Parfait 및 GitHub에 공개해 외부 검증자가 코드, 워크플로 서명, 실행 증명을 확인할 수 있게 했으며, 향후 클러스터링·합성 데이터·더 풍부한 평가로 확장 가능성을 제시했다.

🧠 상세 정리

1. 문제의식: 실제 GenAI 사용을 이해하되 개인 데이터를 드러내지 않는 방법

글의 출발점은 생성형 AI가 요약, 전사, 개인화 경험처럼 비정형 데이터를 많이 다루게 되면서 개발자가 실제 사용 양상을 더 잘 이해해야 한다는 점이다. 사용자가 어떤 용도로 기능을 쓰는지, 어디에서 실패 모드가 나타나는지 알면 도구 개선에 도움이 되지만, 특히 온디바이스 데이터는 민감할 수 있어 기존 방식의 중앙 수집과 분석은 위험을 동반한다. 구글은 이 문제를 해결하기 위한 목표로 provably private insights, 즉 PPI를 제시한다. PPI의 핵심은 개별 데이터가 검사 가능하지 않고, 집계된 통찰도 익명성을 갖도록 보장하면서 동적인 사용 통찰을 생성하는 것이다.

2. PPI의 핵심 구성: LLM, 차등 개인정보보호, TEE의 결합

구글이 발표한 PPI 시스템은 대규모 언어모델, 차등 개인정보보호, 신뢰 실행 환경을 함께 사용해 비정형 생성형 AI 데이터를 분석한다. 여기서 LLM은 데이터 전문가 역할을 맡아 ‘어떤 주제가 논의되는가’ 또는 ‘사용자가 좌절감을 보이는가’ 같은 질문에 답하도록 설계된다. 하지만 LLM의 답이 그대로 노출되는 것이 아니라, 차등 개인정보보호가 적용된 집계 과정을 거쳐 사용자 전체의 기능 사용 양상을 보여준다. LLM 자체도 TEE 안에 위치하며, 서버 측 처리는 개인정보보호 보존 계산으로 제한되고 외부에서 검사 가능한 형태로 구성된다.

3. Confidential federated analytics가 제공하는 처리 경계

PPI는 Gboard에서 먼저 배포된 confidential federated analytics, 즉 CFA 기술을 기반으로 한다. CFA에서는 사용자 기기가 분석 대상으로 삼을 데이터를 먼저 결정하고, 해당 데이터와 서버가 복호화에 사용할 수 있는 승인된 처리 단계를 함께 암호화해 업로드한다. 복호화 키는 TEE 안에서 실행되는 키 관리 서비스가 관리하며, 이 서비스는 기기가 승인한 공개 처리 단계에 대해서만 키를 제공한다. 기기는 키 관리 서비스가 공개된 오픈소스 코드이며 Rekor 투명성 로그에 포함된 코드인지, 또 구글도 접근할 수 없는 올바른 TEE 설정에서 실행되는지 확인할 수 있다.

4. 구조화 요약과 차등 개인정보보호 집계의 실제 흐름

시스템의 분석 흐름은 먼저 비정형 원자료를 특정 질문에 대한 답으로 바꾸는 구조화 요약에서 시작된다. 예를 들어 오픈소스 Gemma 3 모델이 전사문을 관심 있는 주제 범주로 분류하고, 이렇게 얻은 범주 결과를 합산해 주제 히스토그램을 만든다. 이 히스토그램에는 차등 개인정보보호 노이즈가 추가되어 어떤 한 사용자가 전체 결과에 강하게 영향을 미치지 못하도록 보장한다. 글은 LLM 프롬프트가 자주 바뀔 수 있더라도 보장은 집계 알고리즘에 적용되므로, 단일 사용자를 겨냥한 질문이 들어가더라도 차등 개인정보보호 통계가 이를 드러내지 않는다고 설명한다.

5. 검증 가능성: 공개 코드, 재현 가능한 빌드, 실행 증명

구글은 개인정보보호와 관련된 시스템 구성 요소가 오픈소스이며 재현 가능한 빌드가 가능하다고 강조한다. 여기에는 비공개 집계 알고리즘, TEE 스택, LLM 자체가 포함되며, 데이터 분석에 사용되는 워크플로의 서명도 공개된다. TEE는 실행 중인 소프트웨어의 상태를 증명할 수 있으므로, 데이터 처리 파이프라인의 각 단계가 공개된 코드와 연결되어 있는지 외부 당사자가 확인할 수 있다. 글은 이 end-to-end 검증 가능성이 ‘provable’에 가까워지는 핵심이며, 다만 현세대 TEE의 알려진 약점이라는 전제도 함께 둔다.

6. Pixel Recorder 적용: 전사문 주제 분석을 비공개로 수행

구글은 Pixel의 Recorder 앱을 PPI 적용 사례로 설명한다. Recorder는 전사, 요약, 화자 라벨링 같은 AI 기능을 제공하지만, 개발자 입장에서는 사용자가 이를 ‘나에게 남기는 메모’, ‘알림’, ‘비즈니스 회의’ 등 어떤 맥락에서 활용하는지 이해할 필요가 있다. 단순 카운트 기반 분석만으로는 전사문 같은 비정형 데이터를 제대로 분류하기 어렵고, 전통적 방식처럼 중앙 서버에 전사문을 기록해 분류하는 방식은 목적 외 사용 위험을 만든다. PPI는 유사한 분석 가치를 제공하되, 데이터가 사전 승인된 처리 외에 쓰이지 않도록 제한하는 점을 차별점으로 삼는다.

7. Recorder 구현 세부: TEE 키 저장소, Gemma 3 4B, 사용자 수준 DP

Recorder에서는 Improve for everyone 설정을 켠 사용자의 일부 전사문이 중앙 TEE 호스팅 키 저장소가 관리하는 공개키로 암호화된다. 이 키 저장소는 Google의 Project Oak attestation stack과 AMD SEV-SNP CPU 환경을 통해 보호되며, 업로드된 데이터는 사전 승인되고 검증된 처리 단계에서만 복호화될 수 있다. AMD SEV-SNP TEE 안에서 실행되는 Gemma 3 4B 모델은 전사문을 주제로 분류하고, 그 결과는 차등 개인정보보호 방식으로 집계된다. 외부 검증자는 원시 전사문이 TEE 보안 환경 밖으로 나가지 않고, 요약된 출력 범주의 비공개 합계만 구글에 공개되는지 확인할 수 있다.

8. 기능 평가와 향후 방향: 자동 평가, 클러스터링, 합성 데이터

글은 PPI가 사용 주제 분포를 보는 데 그치지 않고 온디바이스 GenAI 기능의 성능 평가에도 활용될 수 있다고 설명한다. 예를 들어 Recorder가 생성한 요약의 정확성을 평가할 때 합성 데이터에만 의존하면 실제 사용을 충분히 반영하지 못할 수 있으므로, CFA 안에서 LLM 자동 평가자를 구조화 요약 구성 요소로 실행할 수 있다. 이 자동 평가자 역시 TEE 안에 머물며 온디바이스 모델 결과를 평가하므로, 실제 사용자 상호작용을 기반으로 모델을 조정하면서도 개인 정보를 보호할 수 있다. 구글은 향후 차등 개인정보보호 클러스터링, 합성 데이터 생성, 더 높은 처리량의 가속기를 활용한 풍부한 분석과 자동 평가로 확장할 수 있다고 제시한다.

🧾 핵심 주장 / 시사점

이 글의 핵심은 ‘민감한 원자료를 보지 않고도 제품 개선에 필요한 통계를 얻을 수 있는가’라는 질문에 대해, TEE의 실행 격리와 차등 개인정보보호의 집계 보장을 결합한 구체적 시스템 답안을 제시했다는 점이다.
PPI에서 LLM은 최종 통찰을 직접 공개하는 주체가 아니라 비정형 데이터를 구조화된 중간 범주로 바꾸는 제한된 처리 단계로 배치되며, 개인정보보호 보장의 중심은 공개 검증 가능한 실행 환경과 DP 집계에 있다.
Recorder 사례는 온디바이스 AI 기능의 품질 개선과 개인정보보호가 반드시 상충하지 않을 수 있음을 보여주지만, 글은 그 신뢰의 근거를 선언이 아니라 오픈소스 코드, 워크플로 서명, TEE attestation, 사용자 수준 DP 보장에 두고 있다.

✅ 액션 아이템

PPI의 핵심을 사용자 승인된 처리 단계에 한정해 TEE 내부에서만 복호화·분석되도록 confidential federated analytics 경계를 정리한다.
Gemma 오픈소스 LLM로 전사문을 주제별로 구조화하고 사용자 수준 차등 개인정보보호 히스토그램 집계를 통해 통찰을 추출한다.
Pixel Recorder Improve for everyone 사례를 기준으로 AMD SEV-SNP·TEE 호스팅 키 저장소에서 원문 전사문 유출 없이 비공개 합계만 노출되는지 점검한다.