Claude and GPT Get Nerfed After Launch (They Admitted It)
Quick Summary
영상에 따르면 Anthropic과 OpenAI는 각각 Claude와 GPT의 출시 후 품질 저하 사례를 인정했지만, 두 회사가 모델 자체를 의도적으로 약화했다는 증거는 제시되지 않았다.
영상 보기
클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론
영상에 따르면 Anthropic과 OpenAI는 각각 Claude와 GPT의 출시 후 품질 저하 사례를 인정했지만, 두 회사가 모델 자체를 의도적으로 약화했다는 증거는 제시되지 않았다.
📌 핵심 요점
- Anthropic은 두 건의 사후 분석을 공개했다. 영상이 인용한 한 사례에서는 사용자가 먼저 Claude의 품질 저하를 알아챘고, 회사의 내부 평가는 그 변화를 잡아내지 못했다. GPT-5 출시 다음 날에는 샘 올트먼도 내부 장애로 응답 품질이 떨어졌다고 설명했다.
- 출시 발표의 코딩 점수와 사용자가 보는 점수는 추론 강도 설정부터 다를 수 있다. 영상이 소개한 Opus 5.5 사례에서 최대 강도의 점수는 57.8%, 기본값인 중간 강도의 점수는 52%였다. 이 격차는 설정이 다른 두 결과를 비교한 수치다.
- 독립 측정에서도 무엇을 평가했는지가 중요했다. Live Nerf는 같은 78개 문항으로 첫 50일간 하락을 감지하지 못했다. Margin Lab이 관측한 65%에서 약 50%로의 하락은 영상에 따르면 Claude Code 앱 업데이트에서 비롯됐다.
- 영상은 서비스 품질을 바꾸는 요인으로 추론 강도, 앱이 모델에 주는 지시, 실제 응답 모델을 정하는 라우팅, 앱·서버 오류를 꼽는다. 사용자는 어느 경우든 답의 품질이 떨어졌다고 느낄 수 있다.
- 출시 직후 수요가 몰리면 연산 자원에 부담이 생긴다. 기업이 비용을 줄이려고 의도적으로 품질을 낮춘다는 설명은 진행자의 추정이다. 출시 시연에서 맥락이 복잡한 실무로 용도가 바뀌는 점도 체감 차이를 설명할 수 있다.
🧩 배경과 문제 정의
출시 첫 주에는 눈에 띄는 시연이 퍼지고, 몇 주 뒤에는 같은 이름의 모델이 이전 작업을 자꾸 잊는다는 반응이 나온다. 두 경험을 비교할 때 어려운 점은 사용자가 앱의 최종 답만 본다는 데 있다. 영상은 회사의 사후 분석과 독립 평가를 통해 품질 저하가 관측된 사례를 살피고, 그 원인을 어디까지 확인할 수 있는지 따진다.
🕒 시간순 섹션별 상세정리
1. 출시 직후의 호평과 회사가 인정한 장애
- 진행자는 Opus 5.5의 코딩 점수 57.8%와 사용자가 흔히 접하는 조건의 52%를 제시하며, 출시 시연과 일상적 사용 경험이 왜 다른지 묻는다. [00:22]
- Anthropic의 사후 분석에는 사용자들이 보고한 품질 저하를 자체 평가가 포착하지 못했다는 대목이 있다. 영상은 GPT-5 출시 다음 날 샘 올트먼이 내부 장애를 언급한 사례도 보여준다. [01:28]
2. 모델 교체 가설과 독립 평가의 한계
- 진행자는 가중치의 정밀도를 낮추는 양자화가 모델 크기와 운영 비용을 줄일 수 있다고 보여준다. 출시 뒤 실제로 이런 교체가 이뤄졌다는 직접 증거는 찾지 못했다고 드러낸다. [03:13]
- Live Nerf는 78개 문항을 매일 평가해 첫 50일 동안 하락을 감지하지 못했다. 반면 Margin Lab은 약 15%포인트의 하락을 관측했고, 영상은 이를 Claude Code 앱 업데이트의 영향으로 보여준다. Live Nerf도 작은 변화가 측정을 벗어날 수 있다고 드러낸다. [03:51]
3. 추론 강도와 앱의 기본 지시가 바꾼 결과
- 영상에 따르면 Anthropic은 속도를 높이려고 Claude Code의 기본 추론 강도를 높음에서 중간으로 내렸다가 그 판단이 잘못됐다고 인정했다. Opus 5.5의 발표 점수와 기본 설정 점수를 읽을 때도 추론 강도를 확인해야 한다. [04:51]
- 추론 강도를 높이면 시간과 비용이 더 들 수 있다. 앱의 기본 지시도 별도의 변수다. 영상은 Anthropic이 추가한 지시 때문에 자체 시험에서 Claude의 작업 성능이 떨어진 사례를 든다. [05:35]
4. 실제 응답 모델과 앱·서버 오류
- 영상은 GPT-5 출시 장애를 라우팅 문제로 보여준다. Fable 5의 디버깅 평가에서는 12개 과제 중 9개가 다른 모델로 넘어갔다고 전해진다. 이 경우 전체 점수를 Fable 5 자체의 성적으로 해석하기 어렵다. [06:39]
- Claude가 대화 차례마다 작업 맥락을 잃게 만든 앱 오류와 OpenAI의 일부 트래픽에 영향을 준 서버 설정 오류도 보여준다. 두 사례 모두 사용자가 받는 답에 영향을 줬다. [06:58]
5. 연산 비용, 달라진 사용 방식, 변경 고지
- 진행자는 GPT-5 출시 후 24시간 동안 API 트래픽이 약 두 배가 됐다는 올트먼의 발언을 인용한다. 이런 수요 급증이 연산 비용을 아낄 유인이 된다고 보면서도, 의도적인 품질 하락은 입증할 수 없는 자신의 견해라고 드러낸다. [07:59]
- 사용을 거듭할수록 실패 경험이 기억에 남고, 출시 주간의 시연보다 실제 업무에 더 많은 맥락과 전문성이 필요해진다는 설명도 제시한다. [08:55]
- 진행자는 코네티컷주의 사용 한도 고지 사례를 소개하고, 유료 서비스의 품질에 영향을 주는 변경도 알려야 한다는 의견을 낸다. 끝으로 Claude Code의 스킬이 작업 성능에 미치는 영향을 살핀 후속 영상을 안내한다. [09:54]
🧾 결론
- 두 회사가 인정했다고 영상이 전하는 범위는 특정 시점의 서비스 품질 저하다. 이를 모든 모델이 출시 후 몇 주 안에 약해진다는 일반 법칙으로 확대할 근거는 부족하다.
- 품질 문제를 진단하려면 측정 대상을 구체화해야 한다. Claude Code의 작업 성공률에는 기반 모델의 성능과 앱 업데이트의 효과가 함께 반영된다.
- 내부 평가가 놓친 문제를 사용자가 먼저 발견할 수 있고, 고정 문항을 쓰는 외부 평가도 작은 변화를 놓칠 수 있다. 두 결과를 함께 보면 어느 작업에서 문제가 생겼는지 좁힐 수 있다.
📈 투자·시사 포인트
- AI 서비스의 상품성을 평가할 때는 출시 최고점과 유료 사용자가 기본 설정에서 얻는 성과를 함께 볼 필요가 있다. 일상적인 작업에 걸리는 시간과 비용은 후자의 영향을 받는다.
- 영상에 따르면 GPT-5 출시 후 24시간 동안 API 트래픽이 약 두 배가 됐다. 출시 흥행을 평가할 때는 늘어난 수요를 감당하면서 응답 품질을 유지할 수 있는지도 살펴볼 만하다.
- 구독 갱신 판단에는 사용 한도와 품질 변경 이력이 각각 필요하다. 호출 가능 횟수를 알아도 추론 강도의 기본값이나 실제 응답 모델이 달라졌는지까지 알기는 어렵다.
⚠️ 불확실하거나 확인이 필요한 부분
- 출시 후 가중치의 정밀도를 낮춘 모델로 교체했다는 양자화 가설에는 영상이 제시한 직접 증거가 없다. 고정 문항의 점수가 유지됐다는 결과만으로 가중치가 같았다고 확정하기도 어렵다.
- 57.8%와 52%는 서로 다른 추론 강도에서 나온 점수다. 이 수치로 출시 전후의 하락 폭을 계산하려면 같은 설정에서 시점만 달리한 측정값이 추가로 필요하다.
- 품질 변경 고지 의무에 관한 발언은 진행자가 찾아본 범위에 한정된다. 영상은 미국 코네티컷주의 사례를 가입·갱신 전 사용 한도 고지로 설명하며, 다른 관할권과 개별 계약의 의무까지 확인하지는 않는다.
- 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
- 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
- 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.
✅ 액션 아이템
- 출시 점수를 인용하기 전에 평가에 쓰인 추론 강도와 내가 쓰는 앱의 기본값을 나란히 적는다.
- 반복하는 실무 작업을 골라 같은 입력과 평가 기준으로 결과를 기록한다. 비교할 때는 날짜, 앱 버전, 추론 강도, 확인 가능한 응답 모델을 함께 남긴다.
- 품질이 떨어진 시점의 앱 업데이트와 회사 사후 분석을 확인하고, 같은 기간의 독립 평가가 어떤 문항과 환경을 사용했는지 대조한다.
- 구독 갱신 전에는 사용 한도를 확인하고, 평소 작업을 만족할 수준으로 끝내는 데 드는 시간과 비용을 다시 점검한다.
❓ 열린 질문
- 고정 문항에서는 점수가 유지돼도 사용자가 긴 맥락을 다루는 작업에서 반복적으로 실패한다면, 어떤 평가 과제가 그 차이를 포착할 수 있을까?
- 추론 강도의 기본값이나 응답 모델이 바뀔 때, 사용자가 전후 결과를 비교하려면 서비스가 어떤 변경 정보를 제공해야 할까?