Articleopenai.com·2026년 11월 12일·0

How Amplitude ships product improvements in 1–2 days with OpenAI

Quick Summary

Amplitude는 약 80%가 OpenAI 모델로 구동되는 제품 에이전트 Wave로 개선 기회 발굴부터 구현·성과 측정을 연결하며, 제품 개선 출시 기간을 약 한 달에서 1~2일로 줄일 수 있다고 추정한다.

How Amplitude ships product improvements in 1–2 days with OpenAI 관련 대표 이미지

🖼️ 인포그래픽

How Amplitude ships product improvements in 1–2 days with OpenAI 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

How Amplitude ships product improvements in 1–2 days with OpenAI의 핵심 내용을 4단계로 요약한 인포그래픽
How Amplitude ships product improvements in 1–2 days with OpenAI 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 요약

Amplitude는 약 80%가 OpenAI 모델로 구동되는 제품 에이전트 Wave로 개선 기회 발굴부터 구현·성과 측정을 연결하며, 제품 개선 출시 기간을 약 한 달에서 1~2일로 줄일 수 있다고 추정한다.

📌 핵심 요약

  • Wave는 Amplitude 데이터, 세션 리플레이, 고객 피드백, 코드를 분석해 개선 기회를 찾고, 기술 계획과 수용 기준을 Codex 등 코딩 에이전트에 전달한 뒤 성과를 측정한다. GPT‑6.1 Sol, GPT‑6 Luna, GPT‑Image‑2.5 Flare 등을 사용하며, Amplitude는 제품 개선 출시까지 걸리는 시간을 1~2일로 추정한다.
  • Amplitude 홈페이지의 세션 리플레이 100건에서 사용자 80명은 직접 질문을 입력했고 12명만 제안 카드를 선택했다. Wave가 제안한 카드 개인화를 구현해 A/B 테스트한 결과, 하루 후 카드로 전송된 메시지가 대조군 대비 160% 증가했다.
  • Opportunity Investigator 평가에서 GPT‑6.1 Sol은 5점 만점에 4.06점으로 대안 모델 3개의 3.62점·3.52점·2.94점을 앞섰다. 다섯 평가 기준 모두에서 선두였고 조사 시간 중앙값도 54분으로 가장 빨랐으며, 해당 평가의 모델 비용은 1.34달러로 제시됐다.
  • Data Science Agent 평가에서 GPT‑6.1 Sol은 100점 만점에 67.5점으로 비교 모델의 69.3점보다 낮았지만, 실행 요청당 평균 모델 비용은 1.28달러로 비교 모델의 2.63달러보다 약 51% 낮았다. 별도의 15개 개선 기회에 대한 와이어프레임 평가에서는 OpenAI 이미지 생성 모델이 80.3점으로 비교 모델의 63.9점을 앞섰다.
  • Wave 베타 고객 대부분은 버그 수정을 코딩 에이전트에 바로 보내고 신규 기능과 규모가 큰 시도에는 사람의 검토를 거친다. 고객이 실제 출시한 실험·플래그·가이드 중 4분의 1은 기회 발견 당일, 절반은 4일 미만, 3분의 2는 1주 이내에 출시됐다. 제시된 곡선은 개별 관측값이 아니라 제공된 이정표를 보간한 예시다.

🧩 주요 포인트

  1. 분석에서 구현·측정까지 이어지는 Wave의 흐름 → 발견한 개선 기회를 실제 제품 변경으로 연결하고 후속 개선에 활용.
  2. 조사·반복 점검·이미지 생성에 서로 다른 모델 배치 → 단일 종합 점수보다 작업별 품질·지연 시간·비용의 균형을 중시.
  3. ~2일은 Amplitude의 추정이고 고객 출시 통계는 실제 출시된 항목에 한정 → 속도 개선의 적용 범위와 관측 근거를 구분해 해석.

🧠 상세 정리

1. 제품 분석을 실제 개선으로 연결하는 Wave

Amplitude는 사용자가 제품을 실제로 어떻게 이용하는지 파악하도록 지원해 왔으며, 선제적으로 움직이는 제품 에이전트 Wave를 통해 그 통찰을 출시된 개선으로 연결하려 한다. 팀이 제품 영역과 개선할 목표·지표를 정하면, Wave는 Amplitude 데이터와 세션 리플레이, 고객 피드백, 코드를 모아 개선 기회를 식별하고 우선순위를 정한다. 이어 해결책을 개발하고 사람 및 코딩 에이전트와 구현을 조율하며, 출시 결과를 추적해 다음 개선에 반영한다. 구현 준비가 끝난 기회는 기술 계획과 수용 기준을 포함해 Codex 등 코딩 에이전트로 직접 전달할 수 있다. Amplitude는 이 방식으로 제품 개선 출시 기간을 약 한 달에서 1~2일로 줄일 수 있다고 추정하며, CEO Spenser Skates는 AI가 사람이 미처 맡길 생각을 하지 못한 유용한 작업까지 발견할 수 있다고 설명한다.

2. 작업 특성에 따른 OpenAI 모델 배치

Amplitude의 설명에 따르면 Wave는 약 80%가 OpenAI 모델로 구동되며, 작업별 요구에 맞춰 서로 다른 모델을 사용한다. GPT‑6.1 Sol은 개선 기회 관리와 코드·데이터의 심층 조사를 지원하고, GPT‑6 Luna는 코드 스캔이나 작은 평가 점검처럼 자주 반복되는 작업을 담당한다. GPT‑Image‑2.5 Flare는 세션 리플레이의 스크린샷을 시각적 참고 자료로 삼아 제품 목업을 생성한다. 심층 조사에는 강한 추론과 근거 있는 결론이 필요하지만, 수백 번 반복하는 작은 점검에는 속도와 낮은 비용이 중요하다는 구분이다. Amplitude는 작업마다 품질·지연 시간·비용을 평가해 모델을 배정하며, 전문 에이전트로 작업을 나눠 비용이 높은 추론을 필요한 곳에 집중한다.

3. 홈페이지 제안 카드 개인화 실험

Amplitude는 자사 홈페이지에서 AI 에이전트와의 대화 시작을 돕는 일반적인 제안 카드를 대상으로 Wave를 시험했다. 세션 리플레이 100건을 살펴본 결과 사용자 80명은 직접 질문을 입력했고, 제안 카드를 선택한 사람은 12명에 그쳐 카드가 자주 건너뛰어지고 있었다. Wave는 최근 차트와 대시보드, 사용자가 유입된 페이지를 활용한 카드 개인화를 제안하고, 변경 모습을 시각화한 뒤 기술 계획을 만들었다. 계획에는 자유 입력을 유지하고 개인화 맥락이 없을 때는 일반 제안을 표시하는 조건도 포함됐으며, 팀은 짧은 검토 후 코딩 에이전트에 구현을 맡겨 A/B 테스트했다. Amplitude가 공유한 실험 결과에서는 하루 후 홈페이지 제안 카드로 전송된 메시지가 대조군 대비 160% 증가했으며, Eric Carlson은 쉽게 지나치는 작은 개선도 예상 밖의 기능 채택 증가로 이어질 수 있다고 설명했다.

4. 심층 조사와 데이터 과학 평가의 성능·비용

Opportunity Investigator 평가에서는 발견 내용의 교차 확인, 거짓 양성 방지, 평가자 피드백 반영, 도구 실패 복구, 주장과 근거의 정합성을 살폈다. GPT‑6.1 Sol은 전체 5점 만점에 4.06점을 받아 대안 모델 3개의 3.62점·3.52점·2.94점을 앞섰고, 다섯 기준 모두에서 가장 높은 평가를 받았다. 조사 시간 중앙값도 54분으로 가장 빨랐으며, 원문은 해당 평가의 모델 비용을 1.34달러로 제시한다. 별도 Data Science Agent 평가에서는 GPT‑6.1 Sol이 100점 만점에 67.5점으로 다른 선도 모델의 69.3점보다 낮았지만, 실행 요청당 평균 모델 비용은 1.28달러로 비교 모델의 2.63달러보다 약 51% 낮았다. GPT‑6.1 Sol은 도구 계약 준수, 추정과 불확실성 처리, 근거에 기반한 응답에서도 더 높은 점수를 받아, 종합 점수와 비용 및 세부 역량을 함께 비교해야 하는 결과를 보였다.

5. 시각적 해결안과 팀이 조절하는 자동화

와이어프레임과 목업 생성 평가에서 OpenAI 이미지 생성 모델은 해결안 와이어프레임 기준 100점 만점에 80.3점을 받아 다른 이미지 생성 모델의 63.9점을 앞섰다. 평가는 15개 개선 기회를 대상으로 전달력, 제품 충실도, 지시 준수, 텍스트와 UI의 가독성, 시각적 일관성을 다뤘다. 여러 산업의 고객은 이미 베타 상태의 Wave로 세션·분석 데이터를 살펴보고, 제안된 수정안과 기술 계획, 수용 기준이 포함된 권고를 받아 제품 개선에 활용하고 있다. 권고 이후의 자동화 수준은 팀이 조절할 수 있으며, 대부분의 팀은 버그 수정을 코딩 에이전트에 바로 전달한다. 반면 신규 기능이나 규모가 큰 시도에는 사람의 검토를 두어, 변경의 성격에 따라 구현을 위임하는 방식을 달리한다.

6. 출시 속도의 관측 범위와 향후 지향점

고객이 실제 출시한 실험·플래그·가이드 중 4분의 1은 Wave가 기회를 발견한 당일에 공개됐고, 절반은 4일 미만, 3분의 2는 1주 이내에 출시됐다. 이 수치는 실제 출시된 항목에 관한 것으로, Wave가 발견한 모든 기회의 출시 비율이나 소요 시간을 보여주는 것은 아니다. 또한 원문은 관련 곡선이 제공된 이정표를 보간한 예시이며 개별 관측값을 나타내지 않는다고 명시한다. 따라서 이 관측 결과와 제품 개선에 1~2일이 걸릴 수 있다는 Amplitude의 추정은 근거의 성격을 구분해 읽어야 한다. Spenser Skates는 OpenAI 모델의 추론·코딩 능력이 향상될수록 팀이 더 많은 조사와 구현을 에이전트에 맡길 수 있을 것으로 전망하며, 스스로 개선하는 제품을 소프트웨어 개발 방식으로 정착시키는 것을 목표로 제시한다.

🧾 핵심 주장 / 시사점

  • Wave의 핵심 가치는 개선안 생성뿐 아니라 근거 수집, 구현 전달, 결과 측정을 연결해 다음 개선에 활용하는 데 있다.
  • Data Science Agent 결과는 GPT‑6.1 Sol이 종합 점수에서 소폭 낮더라도 비용과 일부 세부 역량에서 유리할 수 있음을 보여준다. 모델 선택은 작업별 요구에 따라 달라질 수 있다.
  • 제안 카드의 160% 증가는 하루 후의 특정 실험 결과이고, 고객 출시 속도는 실제 출시된 항목의 분포다. 두 결과를 모든 제품 개선의 일반적인 성과로 확대해 해석하기는 어렵다.

✅ 액션 아이템

  • Wave의 1~2일 추정과 실제 출시된 항목의 당일·4일 미만·1주 이내 분포를 구분해 적용 가능성 검토.
  • Data Science Agent의 GPT‑6.1 Sol 67.5점·1.28달러와 비교 모델 69.3점·2.63달러를 함께 고려해 품질·비용 절충 평가.
  • Wave 베타 고객의 버그 수정 직접 위임과 신규 기능·규모가 큰 시도의 사람 검토 사례를 바탕으로 자동화 수준 검토.

❓ 열린 질문

  • Wave의 제품 개선 기간 1~2일 추정은 어떤 제품 영역과 변경 규모까지 적용될 수 있는가?
  • Data Science Agent에서 GPT‑6.1 Sol의 67.5점과 약 51% 낮은 평균 모델 비용 중 모델 선택에 더 큰 영향을 주는 요소는 무엇인가?
  • 홈페이지 제안 카드의 메시지 전송 160% 증가가 하루 이후에도 유지되는가?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.