Achieving 10,000x training data reduction with high-fidelity labels

🖼️ 인포그래픽

Achieving 10,000x training data reduction with high-fidelity labels 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Google Ads 연구진은 광고 안전성 분류에서 전문가 고품질 라벨과 능동학습 기반 큐레이션을 결합해 LLM 미세조정에 필요한 학습 데이터를 100,000건에서 500건 미만으로 줄이면서 인간 전문가와의 정렬도를 높였다고 설명한다.

📌 핵심 요약

광고 안전성 분류는 문맥과 문화적 이해가 필요한 영역이라 LLM 활용 가능성이 크지만, 정책 변화와 새로운 유해 광고 유형으로 인한 개념 변화 때문에 대규모 고품질 학습 데이터를 계속 마련하는 비용이 크다.
제안된 방식은 초기 zero-shot 또는 few-shot LLM이 대규모 광고를 예비 라벨링한 뒤, 라벨별 클러스터와 겹치는 영역을 찾아 모델이 혼동하는 사례를 전문가 검토 대상으로 선별하는 능동학습 큐레이션 절차다.
전문가 라벨은 평가용과 미세조정용으로 나뉘며, 모델–인간 정렬도가 전문가 내부 정렬도에 도달하거나 더 이상 개선되지 않을 때까지 반복적으로 다음 모델을 학습한다.
연구진은 정답이 명확히 존재한다고 보기 어려운 광고 안전성 문제의 특성상 precision·recall 대신 Cohen’s Kappa를 사용해 전문가 간 정렬도와 모델–전문가 정렬도를 평가했다.
실험에서는 특히 3.25B 파라미터 모델이 큐레이션된 수백 개의 전문가 라벨만으로 100K 크라우드소싱 라벨 baseline보다 55~65% 높은 정렬도를 보였고, 생산 환경의 더 큰 모델에서는 최대 네 자릿수 규모의 데이터 절감도 관찰됐다.

🧩 주요 포인트

광고 안전성 분류는 문맥과 문화적 이해가 필요한 영역이라 LLM 활용 가능성이 크지만, 정책 변화와 새로운 유해 광고 유형으로 인한 개념 변화 때문에 대규모 고품질 학습 데이터를 계속 마련하는 비용이 크다.
제안된 방식은 초기 zero-shot 또는 few-shot LLM이 대규모 광고를 예비 라벨링한 뒤, 라벨별 클러스터와 겹치는 영역을 찾아 모델이 혼동하는 사례를 전문가 검토 대상으로 선별하는 능동학습 큐레이션 절차다.
전문가 라벨은 평가용과 미세조정용으로 나뉘며, 모델–인간 정렬도가 전문가 내부 정렬도에 도달하거나 더 이상 개선되지 않을 때까지 반복적으로 다음 모델을 학습한다.
연구진은 정답이 명확히 존재한다고 보기 어려운 광고 안전성 문제의 특성상 precision·recall 대신 Cohen’s Kappa를 사용해 전문가 간 정렬도와 모델–전문가 정렬도를 평가했다.
실험에서는 특히 3.25B 파라미터 모델이 큐레이션된 수백 개의 전문가 라벨만으로 100K 크라우드소싱 라벨 baseline보다 55~65% 높은 정렬도를 보였고, 생산 환경의 더 큰 모델에서는 최대 네 자릿수 규모의 데이터 절감도 관찰됐다.

🧠 상세 정리

1. 광고 안전성 분류에서 LLM이 매력적인 이유와 데이터 병목

원문은 유해하거나 정책을 위반하는 광고 콘텐츠를 분류하는 문제가 LLM을 활용하기에 매력적인 영역이라고 설명한다. 이런 분류는 단순한 키워드 매칭보다 깊은 문맥 이해와 문화적 해석이 필요하며, 이 부분은 전통적 머신러닝 시스템보다 LLM이 상대적으로 강점을 보이는 영역으로 제시된다. 그러나 복잡한 작업에 LLM을 미세조정하려면 높은 충실도의 학습 데이터가 필요하고, 이를 필요한 품질과 규모로 큐레이션하는 일은 어렵고 비싸다. 특히 안전 정책이 바뀌거나 새로운 유형의 유해 광고가 등장하면 개념 변화가 발생해 기존 데이터만으로는 충분하지 않을 수 있으며, 최악의 경우 완전히 새로운 데이터셋으로 재학습해야 한다.

2. 능동학습 큐레이션으로 학습 데이터 요구량을 줄이는 접근

연구진은 이런 비용 문제를 줄이기 위해 LLM 미세조정에 필요한 학습 데이터량을 크게 줄이면서도 인간 전문가와의 정렬도를 높이는 확장 가능한 능동학습 큐레이션 절차를 제안한다. 이 절차는 수천억 개 규모의 예시가 있는 데이터셋에도 적용될 수 있도록 설계되어, 어떤 예시에 주석을 달면 가장 가치가 큰지를 반복적으로 찾아낸다. 실험에서는 필요한 학습 데이터 규모를 100,000건에서 500건 미만으로 줄이면서 모델과 인간 전문가의 정렬도를 최대 65% 높였다고 보고한다. 또한 생산 시스템에서 더 큰 모델을 사용한 경우에는 품질을 유지하거나 개선하면서 최대 네 자릿수 규모로 데이터 요구량을 줄인 사례도 언급된다.

3. 초기 LLM 라벨링과 불균형 데이터의 출발점

큐레이션 절차는 먼저 zero-shot 또는 few-shot 초기 모델인 LLM-0에서 시작한다. 연구진은 이 모델에 관심 있는 콘텐츠를 설명하는 프롬프트를 제공하며, 예를 들어 클릭베이트를 정의하고 해당 광고가 클릭베이트인지 묻는 방식으로 광고를 라벨링하게 한다. 이 초기 모델은 광고를 클릭베이트 또는 정상 광고로 분류해 큰 규모의 라벨 데이터셋을 생성하지만, 실제 프로덕션 트래픽에서는 클릭베이트 광고가 1% 미만인 경우가 많아 데이터가 매우 불균형하다. 또한 아직 미세조정되지 않은 LLM이기 때문에 true positive rate가 낮으며, 따라서 이 초기 결과를 그대로 학습 데이터로 쓰기보다는 가장 정보량이 큰 예시를 찾는 출발점으로 사용한다.

4. 클러스터 겹침과 결정 경계 주변 사례 선별

가장 유익한 예시를 찾기 위해 연구진은 클릭베이트로 라벨링된 예시와 정상으로 라벨링된 예시를 따로 클러스터링한다. 이렇게 하면 두 라벨 집합의 클러스터 일부가 서로 겹치는 영역이 나타나는데, 원문은 이를 클릭베이트와 정상 사례 사이에서 모델이 혼동할 가능성이 있는 지점으로 해석한다. 각 겹치는 클러스터 쌍에 대해 서로 다른 라벨을 갖고 있으면서 가장 가까이 놓인 예시 쌍을 찾아 인간 전문가에게 판단을 요청한다. 검토 예산을 지켜야 할 경우에는 탐색 공간의 더 넓은 영역을 대표하는 예시 쌍을 우선순위로 삼으며, 그 결과 결정 경계 부근의 혼동 사례를 포함하면서도 다양한 영역에서 추출된 큐레이션 세트가 만들어진다.

5. 전문가 라벨을 이용한 평가와 반복 미세조정

전문가가 제공한 라벨은 무작위로 두 세트로 나뉜다. 첫 번째 세트는 모델 평가에 사용되며, 여기서는 전문가들끼리 얼마나 일치하는지 측정하는 내부 정렬도와 현재 모델이 인간 전문가와 얼마나 일치하는지를 나타내는 모델–인간 정렬도가 핵심 지표가 된다. 두 번째 세트는 현재 모델을 미세조정하는 데 사용되어 다음 반복의 모델을 만든다. 이 과정은 모델–인간 정렬도가 전문가 내부 정렬도에 도달하거나, 더 이상 개선되지 않고 plateau에 이르렀다고 판단될 때까지 반복된다. 따라서 목표는 단순히 더 많은 데이터를 모으는 것이 아니라, 전문가 판단이 가장 큰 정보를 제공하는 예시를 반복적으로 선택해 학습 효율을 높이는 것이다.

6. 정답이 불명확한 문제에서 Cohen’s Kappa를 쓰는 이유

원문은 이 큐레이션 절차가 객관적인 ground truth의 존재를 가정하지 않는다고 강조한다. 광고 안전성 영역의 콘텐츠 moderation이나 fraud detection 같은 분류 문제는 본질적으로 애매할 수 있고, 정책 전문가들 사이에서도 해석과 숙의가 필요한 경우가 있다. 따라서 ground truth 라벨이 필요하다는 전제에 기대는 precision이나 recall 같은 표준 지표만으로는 적합하지 않다고 본다. 연구진은 대신 우연히 일치할 가능성을 넘어 두 독립 주석자가 얼마나 정렬되는지를 측정하는 Cohen’s Kappa를 사용한다. 이 값은 데이터셋 품질 지표이자 모델 성능 지표로 쓰이며, 1에 가까울수록 정렬도가 높고, 0은 우연 이상의 정렬이 없음을, 음수는 체계적 불일치를 뜻한다.

7. 실험 설계: 모델 크기, 과제 복잡도, baseline 비교

연구진은 어떤 모델과 과제가 큐레이션 절차에서 가장 큰 이익을 얻는지 확인하기 위해 두 가지 크기의 LLM과 두 가지 복잡도의 작업을 비교했다. baseline으로는 1.8B 파라미터의 Gemini Nano-1과 3.25B 파라미터의 Nano-2를 사용했고, 전문가 정렬도를 기준으로 낮은 복잡도와 높은 복잡도의 두 작업을 설정했다. baseline 모델은 각각 약 100K개의 크라우드소싱 라벨로 미세조정되었으며, 평균적으로 약 95%가 정상 라벨인 강한 클래스 불균형을 가진 데이터셋을 사용했다. 반면 curated 조건에서는 같은 모델들을 여러 라운드에 걸쳐 큐레이션된 예시로 평가하고 미세조정했으며, 낮은 복잡도 작업은 6회 반복, 높은 복잡도 작업은 5회 반복 후 개선이 plateau에 도달해 중단했다.

8. 결과와 한계: 데이터 절감은 라벨 품질에 달려 있다

결과에서 1.8B 파라미터 모델은 두 작업 모두에서 baseline과 curated 조건의 성능이 거의 비슷했다. 낮은 복잡도 작업에서는 각각 .24와 .25의 Kappa 정렬도를 보였고, 높은 복잡도 작업에서는 두 조건 모두 .13이었다. 반면 3.25B 파라미터 모델은 큐레이션 절차로 뚜렷한 품질 향상을 보였으며, 낮은 복잡도 작업에서는 .36에서 .56으로, 높은 복잡도 작업에서는 .23에서 .38로 상승했다. 이는 baseline의 100K 샘플과 비교해 250~450개의 학습 샘플만으로 55~65%의 정렬도 개선을 얻은 결과다. 다만 연구진은 이러한 이득이 좋은 큐레이션뿐 아니라 매우 높은 라벨 품질에 의존하며, 자체 사용 사례에서는 크라우드소싱 데이터를 안정적으로 능가하려면 전문가 라벨의 pairwise Cohen’s Kappa가 .8을 넘는 수준이어야 했다고 덧붙인다.

🧾 핵심 주장 / 시사점

핵심은 데이터를 많이 모으는 것이 아니라, 모델이 실제로 헷갈리는 결정 경계 주변의 사례를 전문가가 라벨링하도록 만드는 데 있다.
정답이 명확하지 않은 안전성 분류 문제에서는 모델 성능을 ground truth 적중률보다 인간 전문가와의 정렬도로 평가하는 접근이 더 적합할 수 있음을 보여준다.
수백 개 라벨만으로도 큰 개선을 얻을 수 있다는 결과는 고품질 전문가 라벨이 충분히 확보될 때 성립하며, 원문도 .8 이상의 높은 전문가 간 Kappa 품질을 중요한 조건으로 제시한다.

✅ 액션 아이템

광고 안전성 분류에 대해 zero-shot 또는 few-shot 예비 라벨링 후 라벨별 클러스터와 겹치는 영역의 혼동 사례를 전문가 검토 대상으로 우선 큐레이션한다.
전문가 라벨을 평가용과 미세조정용으로 분리하고, 모델·인간 정렬도가 전문가 내부 정렬도에 근접하거나 정체될 때까지 반복 학습을 진행한다.
precision·recall 대신 Cohen’s Kappa를 정량 지표로 채택해 모델-전문가 정렬도와 전문가 간 정렬도를 동일 기준에서 비교한다.