New framework for auditing machine unlearning

🖼️ 인포그래픽

• 생성 예정

🖼️ 4컷 인포그래픽

• 생성 예정

💡 한 줄 요약

Google Research는 대규모·민감 데이터 시대의 머신 언러닝 검증을 위해, 기존 2-표본 테스트의 한계를 보완하는 정규화 f-발산 커널 테스트와 상대적 3-표본 감사 프레임워크를 제안했다.

📌 핵심 요약

• 머신 언러닝은 모델을 처음부터 재학습하지 않고 특정 학습 데이터를 잊게 하는 기술로, GDPR의 ‘잊힐 권리’, AI 안전성, 모델 품질 관리에서 중요해지고 있다.
• 기존 감사 방식인 2-표본 테스트는 모델 출력 분포를 비교해 언러닝 실패를 탐지하지만, 대규모 모델에서는 많은 샘플과 계산 비용이 필요하고 통계적 검정력이 약해지는 문제가 있다.
• 논문은 AISTATS 2026에서 정규화 f-발산 커널 테스트를 제안하며, 표본 수와 관계없이 거짓 양성을 제어하고 표본이 늘어날수록 거짓 음성 위험이 0에 수렴함을 이론적으로 보인다.
• 제안 프레임워크는 카이제곱·KL·하키스틱 발산 등 다양한 f-발산을 활용해 전역적 변화뿐 아니라 국소적 이상치와 프라이버시 침해처럼 미세한 분포 변화도 탐지하도록 설계됐다.
• 실험에서는 프라이버시 감사와 머신 언러닝 평가 모두에서 기존 기준선을 회복하거나 능가했으며, 특히 3-표본 상대 거리 테스트는 안전하게 재학습된 모델을 잘못 실패로 판정하는 기존 2-표본 방식의 결함을 줄였다.

🧩 주요 포인트

1. 머신 언러닝은 모델을 처음부터 재학습하지 않고 특정 학습 데이터를 잊게 하는 기술로, GDPR의 ‘잊힐 권리’, AI 안전성, 모델 품질 관리에서 중요해지고 있다.
2. 기존 감사 방식인 2-표본 테스트는 모델 출력 분포를 비교해 언러닝 실패를 탐지하지만, 대규모 모델에서는 많은 샘플과 계산 비용이 필요하고 통계적 검정력이 약해지는 문제가 있다.
3. 논문은 AISTATS 2026에서 정규화 f-발산 커널 테스트를 제안하며, 표본 수와 관계없이 거짓 양성을 제어하고 표본이 늘어날수록 거짓 음성 위험이 0에 수렴함을 이론적으로 보인다.
4. 제안 프레임워크는 카이제곱·KL·하키스틱 발산 등 다양한 f-발산을 활용해 전역적 변화뿐 아니라 국소적 이상치와 프라이버시 침해처럼 미세한 분포 변화도 탐지하도록 설계됐다.
5. 실험에서는 프라이버시 감사와 머신 언러닝 평가 모두에서 기존 기준선을 회복하거나 능가했으며, 특히 3-표본 상대 거리 테스트는 안전하게 재학습된 모델을 잘못 실패로 판정하는 기존 2-표본 방식의 결함을 줄였다.

🧠 상세 정리

1. 머신 언러닝 검증이 필수가 된 배경

머신 언러닝은 AI 시스템이 학습 데이터의 특정 부분을 잊도록 만드는 기술이며, 모델을 처음부터 다시 학습시키는 막대한 비용을 피하기 위한 대안으로 제시된다. 글은 이 기술이 GDPR의 ‘잊힐 권리’ 같은 규제 준수, AI 안전성, 모델 품질과 직접 연결된다고 설명한다. 특히 모델이 점점 더 방대하고 민감한 데이터를 처리하면서, 언러닝이 제대로 수행됐는지 확인하는 일은 더 이상 이론적 이상이 아니라 수학적으로 입증해야 하는 요구가 됐다. 문제는 감사자가 모델 내부 구조나 원래 학습 데이터에 접근하지 못하는 경우가 많다는 점이다. 따라서 실제 검증은 모델에 질의하고 그 출력 샘플을 분석하는 방식에 의존하게 된다.

2. 기존 2-표본 테스트의 역할과 비용 문제

기존 검증에서 널리 쓰이는 방법은 두 데이터 관측 집합이 서로 다른 기저 분포에서 왔는지를 판단하는 2-표본 테스트다. 언러닝 감사에서는 특정 기록을 본 적 없는 모델의 출력과, 해당 기록을 잊었다고 주장하는 모델의 출력을 비교할 수 있다. 두 출력이 정해진 기준 안에서 통계적으로 다르다면 언러닝이 실패한 것으로 해석된다. 그러나 모델의 규모와 복잡도가 커질수록 이 방식은 구현이 어려워지고 통계적 검정력도 떨어진다. 대규모 모델에 내재한 무작위 잡음과 실제 위반을 구분하려면 충분한 유의성을 확보하기 위해 매우 많은 샘플을 뽑아야 하며, 이 때문에 현실적인 감사 비용이 크게 증가한다.

3. 정규화 f-발산 커널 테스트의 제안

이 문제를 해결하기 위해 글은 AISTATS 2026에서 제시된 정규화 f-발산 커널 테스트를 소개한다. 이 프레임워크는 머신러닝 모델 감사를 더 민감하고 유연하며 정확하게 만들기 위해 설계됐다. 저자들은 제안한 테스트가 어떤 표본 수에서도 거짓 양성을 자연스럽게 제어하고, 사용 가능한 데이터 샘플 수가 늘어날수록 거짓 음성의 위험이 안정적으로 0에 수렴한다는 점을 이론적으로 증명했다고 설명한다. 핵심은 두 복잡한 데이터 집합 사이의 거리 또는 발산을 더 다양한 방식으로 측정하는 데 있다. 이를 통해 감사자는 단순한 평균 차이뿐 아니라 특정 상황에서만 드러나는 미세한 분포 변화까지 다룰 수 있다.

4. MMD와 표준 도구가 놓치는 국소적 변화

모델 안전성 평가는 흔히 두 복잡한 데이터 집합 사이의 거리나 발산을 측정하는 문제로 표현된다. 기존의 대표적 도구인 최대 평균 차이 MMD는 한 모델이 다른 모델보다 전반적으로 더 밝은 이미지를 생성하는 식의 전역적 변화 탐지에는 강하다. 그러나 특정 인물의 데이터가 추가됐을 때 아주 특정한 프롬프트에서만 특이한 이상 출력이 발생하고, 나머지 샘플에서는 분포가 거의 같다면 이런 국소적 변화는 놓칠 수 있다. 글은 또한 기존 테스트 프레임워크가 연구자에게 전역 또는 국소 변화에 맞는 통계량을 직접 고르게 하거나, 커널 대역폭과 정규화 파라미터 같은 복잡한 설정을 조정하게 만든다고 지적한다. 이러한 수동 선택은 실제 감사에서 오류 가능성을 키운다.

5. 언러닝 검증에서 2-표본 방식이 갖는 구조적 결함

글은 2-표본 테스트가 실무적으로 어렵다는 점뿐 아니라, 머신러닝 모델의 언러닝 검증 방식으로도 결함이 있다고 설명한다. 예를 들어 손상된 데이터를 제외하고 처음부터 다시 학습한 안전한 모델이라도, 학습 과정의 배치 크기 같은 차이 때문에 표준 모델과 다른 출력 분포를 만들 수 있다. 이 경우 테스트 대상이 실제로는 안전하더라도 2-표본 테스트는 분포 차이를 근거로 실패라고 판단하는 거짓 양성을 낼 수 있다. 더 나아가 최근 연구는 모델이 기존 설정을 조금 조정하는 방식만으로는 데이터를 완벽히 잊을 수 없으며, 원래 학습 과정을 모두 다시 추적하지 않는 한 삭제 대상 정보의 흔적이 남는다고 본다. 따라서 전통적 2-표본 테스트는 ‘잊을 집합’에 대한 의존성을 계속 찾아낼 수 있고, 엄격한 재학습 등가성 기준은 표준적인 국소 언러닝 알고리즘에 근본적으로 불리하다.

6. 상대적 3-표본 테스트와 다양한 f-발산

제안된 해결책은 언러닝된 모델이 안전하게 재학습된 모델에 더 가까운지, 아니면 원래의 손상된 모델에 더 가까운지를 측정하는 상대 거리 테스트다. 이 방식은 단순히 두 분포가 다른지 묻는 대신, 테스트 모델의 위치를 안전한 기준과 위험한 기준 사이에서 비교한다. 프레임워크는 f-발산을 활용해 감사자가 다양한 종류의 데이터 이동을 포착할 수 있도록 한다. 카이제곱과 KL 발산은 물리 모델의 이상치처럼 부드럽고 국소적인 차이를 식별하는 데 효과적이라고 설명된다. 하키스틱 발산은 프라이버시와 언러닝 정의를 직접 다루며, 통계적으로 구분 가능한 정도를 조절하는 파라미터를 통해 허용 가능한 안전 예산 아래의 사소한 차이는 무시하고 의미 있는 침해가 있을 때만 경고하도록 만든다.

7. 계산 가능성을 높이는 커널 정규화와 자동 적응

고차원 실제 데이터에서 이런 발산을 직접 계산하는 것은 매우 어렵고, 복잡한 최적화 문제를 동반한다. 글은 이를 해결하기 위해 커널 정규화 방법을 사용해 차이를 효율적으로 추정한다고 설명한다. 이 접근은 엄청난 계산 자원을 요구하지 않으면서도 복잡한 분포 차이를 다루기 위한 실용적 절충을 제공한다. 또한 제안된 적응형 테스트는 테스트의 신뢰성을 극대화하기 위해 가장 적절한 발산과 최적의 하이퍼파라미터 구성을 자동으로 선택한다. 그 결과 연구자가 표본을 나누거나 여러 설정을 수동으로 시험해야 하는 부담을 줄이고, 기존 방식에서 오류가 발생하기 쉬웠던 통계량 선택과 튜닝 과정을 크게 단순화한다.

8. 실험 범위와 프라이버시 감사 결과

저자들은 프레임워크가 일반적이라는 점을 보이기 위해 합성 2-표본 벤치마크인 perturbed uniforms와 물리 데이터셋의 Expo1D 이상치 탐지 과제에서 실험했다. 고에너지 물리 데이터를 사용한 이유는 이 분야가 표준모형 밖의 새로운 물리 현상을 찾기 위해 매우 정밀한 차이 탐지기를 필요로 하기 때문이라고 설명한다. 이후 연구의 중심은 차등 프라이버시 감사와 머신 언러닝 평가라는 실제 응용으로 이동한다. 프라이버시 감사에서는 한 레코드만 다른 두 시뮬레이션 데이터셋에서 여러 비공개 메커니즘의 출력을 샘플링하고, 진정한 프라이버시 보호가 있다면 두 결과가 구분 불가능해야 한다고 본다. 실험에서 하키스틱 발산 기반 테스트는 순수 차등 프라이버시의 수학적 기반과 잘 맞아 적은 샘플과 적은 하이퍼파라미터 튜닝으로 위반을 탐지했으며, SVT3 메커니즘 사례에서는 기존 DP-Auditorium이 유사한 탐지율에 수백만 샘플을 요구한 반면 몇천 개 샘플만으로 위반을 탐지했다.

9. 언러닝 평가 결과와 해석상의 한계

머신 언러닝 평가에서는 손상된 데이터 없이 처음부터 재학습한 골드 스탠더드 모델과 언러닝된 모델을 단순 비교하는 결함 있는 방식 대신, 세 표본을 사용하는 상대 테스트가 적용됐다. 실험 대상에는 Selective Synaptic Dampening, pruning, random label 기법 등 알려진 언러닝 알고리즘들이 포함됐다. 결과적으로 엄격한 표준 2-표본 언러닝 정의에 따르면 평가된 근사 언러닝 방법들은 모두 기준을 만족하지 못하는 것으로 나타났고, 2-표본 테스트는 안전하게 재학습된 모델까지 실패로 잘못 표시했다. 반면 제안된 3-표본 상대 테스트는 안전하게 재학습된 모델을 일관되게 안전하다고 식별했다. 근사 언러닝 알고리즘 중에서는 random label 기법만 평가를 통과했으며, finetuning, pruning, Selective Synaptic Dampening은 목표 데이터를 실제로 잊는 데 효과적이지 않은 것으로 관찰됐다. 다만 글은 이 실험의 주목적이 알고리즘 설계가 아니라 평가 방법 검증이며, 단순화된 구현을 사용했기 때문에 실제 프로덕션 환경에서 방법들의 순위를 매기려면 더 엄밀한 설정이 필요하다고 강조한다.

🧾 핵심 주장 / 시사점

• 언러닝 감사의 핵심은 ‘두 모델이 다른가’가 아니라 ‘테스트 모델이 안전한 기준과 위험한 기준 중 어느 쪽에 더 가까운가’로 바뀌어야 한다는 점이다.
• 분포 변화는 전역적 평균 차이, 국소적 이상치, 프라이버시 예산을 넘는 구분 가능성처럼 형태가 다양하므로, 하나의 통계량보다 여러 f-발산을 적응적으로 결합하는 접근이 더 안정적이다.
• 엄격한 2-표본 기준은 안전한 재학습 모델도 실패로 판정할 수 있어 언러닝 평가를 왜곡할 수 있으며, 상대적 3-표본 테스트는 이 결함을 줄이는 더 현실적인 감사 렌즈를 제공한다.

✅ 액션 아이템

• 2-표본 감사의 대규모 샘플 부담을 완화하려면 정규화 f-발산 커널 테스트를 병행 적용해 거짓 양성·거짓 음성 성능을 함께 점검한다.
• AISTATS 2026의 보장 조건을 기준으로 표본 수 불변 거짓 양성 통제와 표본 증가 시 거짓 음성 수렴을 분리 지표화한다.
• 카이제곱·KL·하키스틱 발산을 조합해 전역 분포 변화와 국소 이상치·프라이버시 침해 탐지 성능을 병렬 비교한다.

❓ 열린 질문

• 정규화 f-발산 커널 테스트가 기존 2-표본 대비 계산 부담을 줄인 채 대규모 모델에서 거짓 양성을 통제할 수 있는가?
• 샘플 수 증가에 따른 거짓 음성 수렴 특성이 비정규 분포 데이터나 도메인 편향 상황에서도 유지되는가?
• 3-표본 상대 거리 테스트가 안전하게 재학습된 모델의 오판정률을 실제 감사에서 얼마나 줄일 수 있는가?