When Can LLMs Replace Humans in A/B Tests?

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

LLM은 충분한 인간 데이터로 비선형 보정하고 대리성·비교가능성을 가정할 때 A/B 테스트의 인간 효과를 근사할 수 있지만, 새로운 처리를 검증하는 실제 사용자 실험을 설계상 대체하지는 못한다.

📌 핵심 요약

• Upworthy의 수천 건 A/B 테스트에서 gpt-4o-mini의 원시 예측은 관측된 인간 처리 효과의 39%만 회수했으며, 처리 효과를 0에 가깝게 축소하는 체계적이고 방향성 있는 편향을 보였다.
• LLM 예측으로 인간 평균 처리 효과를 식별하려면 LLM이 인간 반응에 중요한 처리 정보를 모두 포착한다는 대리성과, 예측과 인간 결과의 관계가 과거 데이터와 새 실험에서 유지된다는 비교가능성이 모두 필요하다.
• 선형 OLS 보정은 인간 기준에서 3.8 표준오차만큼 벗어나 반증 검정을 통과하지 못했지만, 랜덤 포레스트와 그래디언트 부스티드 트리는 비선형 관계를 학습해 인간 효과와의 차이를 표본오차 범위로 줄였고 여러 LLM 출력을 평균하면 생성 무작위성에 따른 편향과 분산을 완화할 수 있었다.
• 대리성과 비교가능성은 과거 데이터에서 부분적으로 평가할 수 있을 뿐 새로운 처리에서는 입증할 수 없으며, 새 UI 패러다임·가격 모델·전례 없는 기능처럼 과거 실험과 멀어질수록 LLM을 인간 반응의 대리값으로 신뢰할 근거가 약해진다.
• LLM 기반 A/B 테스트는 과거 사용자 실험과 지속적인 인간 검증을 필요로 하며, 인간 결과를 대체하기보다 약한 아이디어를 사전 선별하거나 분산 감소용 공변량으로 활용할 때 실험 선택과 효율을 개선할 수 있다.

🧩 주요 포인트

1. 무작위 사용자 실험은 처리 효과를 설계로 식별하지만 LLM 실험은 대리성·비교가능성에 의존하므로, 조건이 깨지면 데이터 규모와 무관하게 인간이 아닌 LLM의 효과를 추정하게 된다.
2. Upworthy 결과는 단순한 원시 예측이나 OLS로는 부족하고 비선형 보정과 반복 출력 평균이 필요함을 보여주며, LLM 대리값의 유효성이 모델 선택과 측정오차 처리에 좌우됨을 뜻한다.
3. 과거 실험과 닮은 처리에서는 LLM의 보조적 활용 여지가 있지만 혁신성이 커질수록 가정의 검증 가능성이 낮아지므로, 가장 새로운 제품 결정을 위해서는 실제 사용자 실험이 필수적이다.

🧠 상세 정리

1. LLM 기반 A/B 테스트의 약속과 식별 문제

LLM으로 사용자를 대신해 실험하면 몇 주가 걸리던 결과를 몇 시간 안에 얻고 실제 트래픽 배분도 피할 수 있다는 것이 기본적인 약속이다. 그러나 이런 제안은 실험 결과가 관심 대상인 인간 처리 효과를 어떤 조건에서 식별하는지라는 통계적 질문을 생략하기 쉽다. 무작위 사용자 실험은 처리군과 대조군 배정을 통해 인과적 처리 효과를 설계상 식별하지만, 인간 반응을 LLM 생성 예측으로 바꾸는 순간 그 보장은 사라진다. 저자들은 생물통계학의 대리 평가변수 이론을 적용해 LLM 예측이 인간 행동의 유효한 대리값이 되기 위한 조건을 명시했다. 결론적으로 LLM 실험은 무작위화가 제공하던 설계상의 보장을 대신해 검증하기 어려운 가정에 의존한다.

2. Upworthy에서 드러난 원시 예측의 체계적 편향

연구진은 공개된 A/B 테스트 자료 가운데 가장 큰 규모인 Upworthy Research Archive를 이용해 LLM 기반 실험의 가능성을 평가했다. 이 자료에는 뉴스 헤드라인 변형들의 클릭률을 측정한 수천 건의 실험이 있으며, 연구진은 gpt-4o-mini에 처리군과 대조군 헤드라인별로 일반적인 사용자의 클릭률을 예측하게 했다. 원시 예측을 표준 실험 분석에 그대로 넣었을 때 회수된 인간 처리 효과는 실제 관측값의 39%에 불과해, 처리가 실제보다 절반 이하로 효과적인 것처럼 나타났다. 이 차이는 우연한 잡음이 아니라 처리 효과를 0 방향으로 약화하는 체계적이고 방향성 있는 편향이었다. 여러 기능과 제품 영역에서 이런 결과를 그대로 사용하면 사용자가 얻는 가치를 지속적으로 과소평가하고 잘못된 출시 결정을 내릴 수 있다.

3. 첫 번째 조건인 대리성

대리성은 LLM 출력이 처리가 인간 결과에 미치는 효과를 완전히 매개해야 한다는 조건이다. 처리 이전의 기본 특성을 나타내며 처리와 독립적인 공변량과 LLM 예측을 고려한 뒤에는, 사용자가 처리군인지 대조군인지에 관한 정보가 인간 행동을 추가로 설명하지 않아야 한다. 쉽게 말해 LLM이 인간 반응에 중요한 처리의 모든 측면을 포착해야 한다는 뜻이다. 이 조건이 성립하지 않으면 동일하거나 비슷한 LLM 예측을 받은 경우에도 처리 자체가 인간 행동에 별도의 영향을 줄 수 있어 LLM 결과만으로 인간 처리 효과를 식별할 수 없다. LLM 기반 A/B 테스트에서는 이 가정이 암묵적으로 사용되는 경우가 많지만 명시하거나 검증하는 일은 흔하지 않다.

4. 두 번째 조건인 비교가능성

비교가능성은 LLM 예측을 인간 결과로 연결하는 보정 함수가 과거 학습 데이터와 새로운 실험에서 동일하게 유지되어야 한다는 조건이다. 처리의 변화로 인해 LLM 예측이 인간 행동에 대응하는 방식이 달라지면 과거 데이터에서 학습한 보정 관계는 더 이상 유효하지 않다. 이 조건은 처리 이전 특성과 LLM 예측의 전체 분포가 인간 표본과 LLM 표본 사이에서 안정적이어야 한다는 형태로 확장될 수 있으며, 그 경우 평균뿐 아니라 처리 효과 분포의 다른 특성도 식별할 수 있다. 대리성과 비교가능성이 모두 성립하면 사용자 A/B 테스트 데이터로 LLM 출력을 보정해 인간 처리 효과를 회수할 수 있지만, 하나라도 실패하면 추정치는 편향된다. 이 문제는 예측 수를 무한히 늘려도 해결되지 않으며, 그 경우 회수되는 것은 인간에 대한 효과가 아니라 LLM에 대한 효과다.

5. 보정 방법과 생성 무작위성의 처리

Upworthy 자료에서 모든 보정 방법이 같은 성과를 내지는 않았다. OLS를 사용한 선형 보정은 학습에서 제외한 과거 실험을 대상으로 보정된 LLM 효과와 인간 효과의 차이를 확인하는 반증 검정을 통과하지 못했고, 인간 기준에서 3.8 표준오차만큼 벗어났다. 반면 랜덤 포레스트와 그래디언트 부스티드 트리는 LLM 예측과 인간 결과 사이의 비선형 관계를 학습해 보정된 효과를 인간 효과의 표본오차 범위 안으로 가져왔다. 또 하나의 문제는 토큰 생성의 무작위성을 조절하는 샘플링 온도 때문에 단일 LLM 예측에 측정오차가 포함된다는 점이며, 이를 무시하면 효과 추정치가 0 쪽으로 치우치고 분산도 커진다. 연구에서는 각 실험 단위에서 여러 출력을 생성해 평균함으로써 잡음을 줄이고 예측을 실제 신호에 더 가깝게 만드는 방법을 제시했다.

6. 새로운 처리에서 커지는 근본적 한계

대리성과 비교가능성은 과거 실험을 통해 부분적으로 평가할 수 있지만, 한 번도 시험하지 않은 새로운 처리에서 성립한다고 증명할 수는 없다. 새로운 처리가 과거에 검증한 처리와 멀어질수록 LLM 출력이 인간 반응을 대신할 수 있다는 근거도 약해진다. 다른 UI 패러다임, 새로운 가격 모델, 기존에 출시한 적 없는 유형의 기능처럼 진정으로 새로운 개입에서는 필요한 가정 자체가 검증 불가능하다. 따라서 LLM이 시간과 트래픽을 가장 많이 절약할 수 있을 것으로 기대되는 혁신적 실험이 오히려 LLM 대리값을 가장 신뢰하기 어려운 경우가 된다. 이런 이유로 실제 사용자 실험은 새로운 제품 혁신을 평가하는 과정에서 여전히 대체할 수 없는 역할을 한다.

7. Upworthy 사례의 유리한 조건과 일반화 제약

Upworthy는 LLM 대리값을 평가하기에 거의 이상적인 사례라는 점도 결과 해석에 중요하다. 결과는 클릭 여부라는 이진 값이고, 처리는 서로 언어적으로 유사한 텍스트 기반 헤드라인 변형이며, LLM은 매력적인 헤드라인과 관련된 방대한 텍스트로 학습되어 있다. 이처럼 제한된 조건에서도 원시 gpt-4o-mini 예측은 인간 효과의 39%만 회수했고 적절한 비선형 보정이 필요했다. 레이아웃, 알고리즘, 가격을 변경하는 처리에서는 LLM 기반 A/B 테스트에 필요한 대리성과 비교가능성을 정당화하기가 더 어렵다. 회사의 다양한 혁신 포트폴리오 전반에서 이 조건들이 일반적으로 성립해 LLM 실험을 대규모로 사용할 수 있다는 경험적 증거도 제시되지 않았다.

8. 인간 실험과 LLM의 적절한 역할

LLM 출력을 신뢰할 수 있게 보정하려면 피하려고 했던 실제 사용자 반응 데이터가 먼저 필요하다는 점이 이 접근법의 구조적 제약이다. Upworthy에는 단일 유형의 과거 실험이 수천 건 있지만 일반적인 제품 조직의 실험은 여러 화면과 제품 영역에 흩어져 있고 로깅 방식도 서로 다를 수 있어 동일한 보정 관계를 기대하기 어렵다. 또한 보정 함수는 특정 시점의 특정 모델에 맞춰지므로 제공자가 모델을 갱신하거나 교체하면 같은 이름의 모델에서도 기존 관계가 유지된다고 보장할 수 없으며, 새로운 보정에는 다시 사용자 실험이 필요하다. 다만 강한 과거 데이터가 있고 새 처리가 과거 사례와 비슷하다면 LLM 예측은 약한 아이디어를 실험 전에 거르거나 분산 감소용 공변량으로 사용해 실험 선택과 효율을 개선할 수 있다. 인간 결과를 LLM 결과로 대체하는 것은 설계에 의한 식별을 가정에 의한 식별로 바꾸는 별개의 선택이므로, 저자들은 인간 검증을 포기하지 말아야 한다고 결론짓는다.

🧾 핵심 주장 / 시사점

• LLM 예측량을 늘리는 것만으로는 대리성이나 비교가능성의 실패를 해결할 수 없으며, 구조적 가정이 틀리면 정밀해지는 대상 자체가 인간 효과와 다르다.
• 보정 성공 여부는 LLM의 일반적 성능만이 아니라 처리 유형, 과거 실험과의 유사성, 비선형 보정 방법, 생성 무작위성 처리에 함께 의존한다.
• LLM의 가장 타당한 실험 역할은 인간을 완전히 대체하는 것이 아니라 강한 과거 데이터가 있는 범위에서 후보 선별과 분산 감소를 지원하는 것이다.

✅ 액션 아이템

• Upworthy에서 인간 처리 효과의 39%만 회수한 결과를 근거로 원시 gpt-4o-mini 예측을 사용자 결과의 직접 대체값으로 사용하지 않음.
• LLM 기반 A/B 테스트는 대리성·비교가능성이 뒷받침되고 새로운 처리가 과거 사용자 실험과 유사한 범위에 한정해 보조적으로 적용.
• 랜덤 포레스트·그래디언트 부스티드 트리를 이용한 비선형 보정과 여러 LLM 출력의 평균을 적용하되 실제 사용자 실험을 통한 검증은 유지.

❓ 열린 질문

• 새로운 처리에서 LLM의 대리성과 비교가능성을 어느 범위까지 신뢰할 수 있는가?
• Upworthy에서 39%만 회수한 gpt-4o-mini의 체계적 축소 편향은 다른 A/B 테스트에서도 나타나는가?
• OLS와 랜덤 포레스트·그래디언트 부스티드 트리의 보정 성능 차이는 과거 실험과 유사한 새 처리에서도 유지되는가?