ArticleMårten Schultzberg, Principal Product Manager·2026년 11월 19일·0

When Can You Ship on Offline Evals Alone?

Quick Summary

Spotify Engineering은 오프라인 평가만으로도 온라인 지표를 악화시킬 출시 위험에 상한을 둘 수 있지만, 과거 실험에서 추정한 관계가 새 변경안에도 적용된다는 등 검증하기 어렵고 시간이 지나며 달라질 수 있는 가정이 필요하다고 설명한다.

When Can You Ship on Offline Evals Alone? 관련 대표 이미지

🖼️ 인포그래픽

When Can You Ship on Offline Evals Alone? 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

When Can You Ship on Offline Evals Alone?의 핵심 내용을 4단계로 요약한 인포그래픽
When Can You Ship on Offline Evals Alone? 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 요약

Spotify Engineering은 오프라인 평가만으로도 온라인 지표를 악화시킬 출시 위험에 상한을 둘 수 있지만, 과거 실험에서 추정한 관계가 새 변경안에도 적용된다는 등 검증하기 어렵고 시간이 지나며 달라질 수 있는 가정이 필요하다고 설명한다.

📌 핵심 요약

  • 오프라인 평가는 몇 시간이면 끝나지만 실제 사용자를 대상으로 한 A/B 테스트는 흔히 며칠에서 몇 주가 걸린다. 저자들이 제시한 출시 기준은 관측한 오프라인 평가 효과에서 실제 온라인 지표가 악화될 확률을 추정하는 것이다.
  • 단순화한 모형은 과거의 동질적인 실험에서 오프라인·온라인 효과를 쌍으로 관측했고, 새 변경안도 같은 관계를 따른다고 가정한다. 실제 효과의 분포, 측정오차의 성질, LLM 평가자의 편향에도 가정을 둔다.
  • 논문의 예시에서 오프라인·온라인 효과 간 상관계수의 제곱(R²)은 실제로 60%였지만, 양쪽의 측정오차를 무시한 추정치는 24%였다. 저자들은 모형의 가정 아래 메타분석 기법으로 이 오차를 보정할 수 있다고 설명한다.
  • 출시와 기각의 임계값은 오프라인 평가가 온라인 효과를 얼마나 잘 예측하는지에 따라 달라진다. 충분히 큰 양의 효과는 출시, 충분히 큰 음의 효과는 기각, 두 임계값 사이는 A/B 테스트로 이어진다.
  • 실험 유형을 합치면 각 유형 안에는 없는 상관관계가 나타날 수 있다. 또한 LLM 평가자의 편향이 실험군과 대조군에 다르게 작용하면 오프라인에서 관측한 효과의 부호까지 뒤집힐 수 있다.

🧩 주요 포인트

  1. 평가의 예측력과 측정 정밀도는 별개다. 측정오차는 관측된 R²을 낮출 수 있고, 실제 R²이 낮으면 평가를 정밀하게 해도 온라인 효과의 불확실성이 크게 남는다.
  2. 출시와 기각에는 각각 오류 비용이 있다. 해로운 변경안을 출시할 위험과 유익한 변경안을 기각할 위험을 고려해 임계값을 정하면, 판단이 모호한 구간에 A/B 테스트를 집중할 수 있다.
  3. 과거 실험을 새 변경안의 근거로 쓰려면 실험 유형별 관계와 LLM 평가자의 채점 방식을 살펴야 한다. 전체 자료의 높은 상관이나 두 버전의 점수 차이만으로는 예측의 타당성을 판단하기 어렵다.

🧠 상세 정리

1. 몇 시간짜리 평가로 출시를 결정하려는 이유

에이전트나 대규모 언어 모델(LLM)을 쓰는 제품에서 프롬프트나 기반 모델을 바꾸면, 팀은 그 변경으로 품질이 나아졌는지 판단해야 한다. 오프라인 평가는 실제 사용자에게 변경안을 노출하기 전에 고정된 예시 집합에서 응답을 얻고, 흔히 다른 LLM을 평가자로 써서 응답에 점수를 매긴다. A/B 테스트는 실제 사용자를 무작위로 나누어 새 버전과 기존 버전을 제공하고 두 집단의 행동을 비교한다. 몇 시간이면 끝나는 오프라인 평가로 며칠에서 몇 주가 걸리는 A/B 테스트를 건너뛸 수 있다면 다음 변경을 더 빨리 시도할 수 있다. Spotify Engineering은 이 시간 차이에서 출발해, A/B 테스트를 생략한 출시 결정이 온라인 지표에 대해 어떤 보장을 제공해야 하는지 묻는다.

2. 관측한 평가 결과에서 출시 위험을 읽는 법

저자들이 제한하려는 위험은 오프라인 평가를 근거로 출시한 변경안이 실제로는 관심 대상인 온라인 지표를 악화시킬 가능성이다. 이를 판단하려면 오프라인에서 특정 크기의 효과를 관측했을 때 실제 온라인 효과가 어떤 값들을 얼마나 자주 가질 수 있는지 알아야 한다. 통계적으로는 관측한 오프라인 효과가 주어졌을 때의 실제 온라인 효과의 조건부 분포이며, 이 분포에서 온라인 효과가 음수일 확률을 구할 수 있다. 이 관계를 배우는 출발점은 같은 변경안에서 얻은 오프라인 평가 효과와 온라인 실험 효과를 한 쌍으로 모으는 것이다. 다만 변경 유형마다 둘의 관계가 다를 수 있고 쌍을 이루는 두 값 모두 추정치이므로, 자료의 구성과 측정오차를 함께 고려해야 한다.

3. 과거 실험을 새 변경안에 적용하는 모형의 가정

저자들은 오프라인·온라인 효과를 함께 관측한 실험이 충분히 많고, 그 실험들이 두 효과의 관계를 공유하는 동질적인 집단이라고 가정한다. 앞으로 오프라인 평가만으로 판단할 변경안도 같은 부류에 속해야 한다는 조건을 교환가능성이라고 부른다. 모형은 각 변경안의 실제 오프라인 효과와 실제 온라인 효과가 함께 이변량 정규분포를 따른다고 가정한다. 측정오차에 대해서는 평균이 0이고 분산을 알고 있으며 서로 다른 변경안의 오차가 독립적이라고 둔다. LLM이 응답을 채점하며 만드는 오차도 응답이 실험군과 대조군 중 어디에서 나왔는지에 좌우되지 않아야 한다. 저자들은 이 조건들이 강한 단순화이며, 실제 제품에서 성립하는지 확인하기 어렵고 시간이 지나면서 달라질 수 있다고 짚는다.

4. 실제 R² 60%가 관측값에서는 24%로 보이는 이유

오프라인에서는 더 큰 평가 집합에서 어떤 예시를 뽑았는지와 LLM 평가자가 응답을 어떻게 채점했는지에 따라 추정 효과가 흔들린다. 온라인에서도 무작위로 배정된 사용자 표본으로 효과를 추정하므로 표본오차가 생긴다. 모형에서 실제 두 효과 간 상관계수의 제곱인 R²은 오프라인 효과가 온라인 효과의 변동을 얼마나 설명하는지 나타내는데, 양쪽 추정치에 섞인 잡음은 관측된 상관을 약하게 만든다. 논문이 든 예시에서는 실제 R²이 60%여도 측정오차를 무시하고 계산하면 24%에 그쳐, 유용할 수 있는 평가를 초기에 과소평가하게 된다. 저자들은 모형의 가정이 성립하면 고전적인 메타분석 기법으로 오차를 보정할 수 있다고 설명한다. 그렇게 추정한 실제 R² 자체가 낮다면 오프라인 효과를 아무리 정밀하게 측정해도 온라인 효과에는 상당한 불확실성이 남는다.

5. 출시·기각·A/B 테스트를 가르는 두 임계값

관측한 오프라인 효과에 따른 실제 온라인 효과의 분포를 추정하면, 온라인 지표를 해칠 변경안을 출시할 위험과 지표를 개선할 변경안을 기각할 위험을 각각 제한하는 기준을 세울 수 있다. 오프라인 평가가 온라인 효과를 완벽히 대리하는 경우에는 통상적인 유의수준으로 오프라인 효과를 검정해 온라인 효과에 대해서도 그에 상응하는 보장을 얻을 수 있다. 두 효과의 관계가 약해질수록 작은 양수나 음수만으로는 실제 온라인 효과의 방향을 자신하기 어려워져, 같은 수준의 보장을 얻으려면 더 강한 오프라인 증거가 필요하다. 이에 따라 관측 효과가 상한 임계값을 넘으면 출시하고 하한 임계값보다 낮으면 기각한다. 두 값 사이에 든 변경안은 A/B 테스트로 보내 실제 사용자에게 미치는 효과를 확인한다.

6. 실험을 합쳤을 때만 나타나는 상관관계

서로 다른 실험 프로그램의 결과를 한데 모으면 각 프로그램 안에서는 나타나지 않는 경향이 전체 자료에서 강하게 보일 수 있다. 저자들이 든 예시에서는 두 프로그램 각각에서 오프라인 효과로 온라인 효과를 예측할 수 없어도, 합친 자료에서는 둘 사이에 강한 관계가 있는 것처럼 보인다. 이런 심프슨의 역설과 유사한 현상이 발생하면 전체 자료에서 얻은 높은 상관을 근거로 개별 변경안의 출시 위험을 낮게 추정할 수 있다. 변경 유형별로 관계를 살펴보는 방법이 있지만, 각 실험의 측정오차 때문에 실제로 관계가 얼마나 다른지 판단하기도 어렵다. 저자들은 이를 과거 자료로 베이즈 사전분포를 유지하는 문제에 비유하며, 두 경우 모두 결정의 신뢰성이 품질을 평가하고 유지하기 어려운 과거 실험 자료에 달려 있다고 설명한다.

7. LLM 평가자의 편향이 버전 간 비교를 왜곡하는 경우

자유 서술형 응답을 채점하는 LLM 평가자에게 편향이 있어도, 그 편향이 실험군과 대조군에 공통으로 작용하면 두 점수의 차이를 구할 때 상쇄될 수 있다. 반대로 평가자가 어느 버전의 응답인지에 따라 다르게 채점하면 관측된 오프라인 효과와 온라인 효과 간 관계의 추정치가 모두 왜곡될 수 있고, 성능이 떨어진 버전이 개선된 것처럼 보일 수도 있다. 저자들은 LLM 평가자가 자신이 생성한 응답을 선호할 수 있다는 연구를 언급하면서, Chen 등(2025)은 겉으로 보이는 자기 선호의 일부가 실제 응답 품질 차이에서 비롯될 수 있다고 보고했다는 점도 함께 제시한다. 기반 LLM을 비교하거나 교체하는 일이 잦은 에이전트 시스템에서는 이 구분이 오프라인 점수 차이를 해석하고 출시 기준을 적용하는 데 중요하다.

🧾 핵심 주장 / 시사점

  • 관측된 상관이 낮을 때는 평가가 온라인 결과를 잘 예측하지 못하는 경우와 양쪽의 측정오차가 예측력을 가린 경우를 구분해야 한다.
  • 전체 자료에서 강한 상관이 나와도 새 변경안과 같은 유형 안에서 그 관계가 성립하는지에 따라 출시 판단의 신뢰성이 달라진다.
  • LLM 평가자의 점수로 두 버전을 비교할 때는 채점 편향이 두 버전에 공통으로 작용하는지, 어느 한 버전에 유리하게 작용하는지가 중요하다.

✅ 액션 아이템

  • 오프라인·온라인 효과의 측정오차를 반영해 R²을 추정하고, 실험 유형별로 같은 관계가 성립하는지 검토한다.
  • 온라인 지표를 악화시킬 출시 위험과 유익한 변경안을 기각할 위험에 맞춰 임계값을 정하고, 그 사이에 드는 변경안은 A/B 테스트로 판단한다.
  • LLM 평가자의 편향이 실험군과 대조군에 다르게 작용하는지 살펴 두 버전의 점수 차이를 해석한다.

❓ 열린 질문

  • 측정오차를 반영해 추정한 R²은 실험 유형별로도 비슷한가?
  • 온라인 지표를 악화시킬 출시 위험과 유익한 변경안을 기각할 위험을 각각 어느 수준으로 제한할 때 A/B 테스트가 필요한 구간은 어디인가?
  • 새 변경안에서도 LLM 평가자의 편향이 실험군과 대조군에 같은 방식으로 작용하는가?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.