YouTubeNate Herk·2026년 11월 18일·0

Claude and GPT Get Nerfed After Launch (They Admitted It)

Quick Summary

영상에 따르면 Anthropic과 OpenAI는 각각 Claude와 GPT의 출시 후 품질 저하 사례를 인정했지만, 두 회사가 모델 자체를 의도적으로 약화했다는 증거는 제시되지 않았다.

영상 보기

클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.

원본 열기

🖼️ 인포그래픽

Claude and GPT Get Nerfed After Launch (They Admitted It) 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

Claude and GPT Get Nerfed After Launch (They Admitted It)의 핵심 내용을 4단계로 요약한 인포그래픽
Claude and GPT Get Nerfed After Launch (They Admitted It) 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 결론

영상에 따르면 Anthropic과 OpenAI는 각각 Claude와 GPT의 출시 후 품질 저하 사례를 인정했지만, 두 회사가 모델 자체를 의도적으로 약화했다는 증거는 제시되지 않았다.

📌 핵심 요점

  1. Anthropic은 두 건의 사후 분석을 공개했다. 영상이 인용한 한 사례에서는 사용자가 먼저 Claude의 품질 저하를 알아챘고, 회사의 내부 평가는 그 변화를 잡아내지 못했다. GPT-5 출시 다음 날에는 샘 올트먼도 내부 장애로 응답 품질이 떨어졌다고 설명했다.
  2. 출시 발표의 코딩 점수와 사용자가 보는 점수는 추론 강도 설정부터 다를 수 있다. 영상이 소개한 Opus 5.5 사례에서 최대 강도의 점수는 57.8%, 기본값인 중간 강도의 점수는 52%였다. 이 격차는 설정이 다른 두 결과를 비교한 수치다.
  3. 독립 측정에서도 무엇을 평가했는지가 중요했다. Live Nerf는 같은 78개 문항으로 첫 50일간 하락을 감지하지 못했다. Margin Lab이 관측한 65%에서 약 50%로의 하락은 영상에 따르면 Claude Code 앱 업데이트에서 비롯됐다.
  4. 영상은 서비스 품질을 바꾸는 요인으로 추론 강도, 앱이 모델에 주는 지시, 실제 응답 모델을 정하는 라우팅, 앱·서버 오류를 꼽는다. 사용자는 어느 경우든 답의 품질이 떨어졌다고 느낄 수 있다.
  5. 출시 직후 수요가 몰리면 연산 자원에 부담이 생긴다. 기업이 비용을 줄이려고 의도적으로 품질을 낮춘다는 설명은 진행자의 추정이다. 출시 시연에서 맥락이 복잡한 실무로 용도가 바뀌는 점도 체감 차이를 설명할 수 있다.

🧩 배경과 문제 정의

출시 첫 주에는 눈에 띄는 시연이 퍼지고, 몇 주 뒤에는 같은 이름의 모델이 이전 작업을 자꾸 잊는다는 반응이 나온다. 두 경험을 비교할 때 어려운 점은 사용자가 앱의 최종 답만 본다는 데 있다. 영상은 회사의 사후 분석과 독립 평가를 통해 품질 저하가 관측된 사례를 살피고, 그 원인을 어디까지 확인할 수 있는지 따진다.

🕒 시간순 섹션별 상세정리

1. 출시 직후의 호평과 회사가 인정한 장애

  • 진행자는 Opus 5.5의 코딩 점수 57.8%와 사용자가 흔히 접하는 조건의 52%를 제시하며, 출시 시연과 일상적 사용 경험이 왜 다른지 묻는다. [00:22]
  • Anthropic의 사후 분석에는 사용자들이 보고한 품질 저하를 자체 평가가 포착하지 못했다는 대목이 있다. 영상은 GPT-5 출시 다음 날 샘 올트먼이 내부 장애를 언급한 사례도 보여준다. [01:28]

2. 모델 교체 가설과 독립 평가의 한계

  • 진행자는 가중치의 정밀도를 낮추는 양자화가 모델 크기와 운영 비용을 줄일 수 있다고 보여준다. 출시 뒤 실제로 이런 교체가 이뤄졌다는 직접 증거는 찾지 못했다고 드러낸다. [03:13]
  • Live Nerf는 78개 문항을 매일 평가해 첫 50일 동안 하락을 감지하지 못했다. 반면 Margin Lab은 약 15%포인트의 하락을 관측했고, 영상은 이를 Claude Code 앱 업데이트의 영향으로 보여준다. Live Nerf도 작은 변화가 측정을 벗어날 수 있다고 드러낸다. [03:51]

3. 추론 강도와 앱의 기본 지시가 바꾼 결과

  • 영상에 따르면 Anthropic은 속도를 높이려고 Claude Code의 기본 추론 강도를 높음에서 중간으로 내렸다가 그 판단이 잘못됐다고 인정했다. Opus 5.5의 발표 점수와 기본 설정 점수를 읽을 때도 추론 강도를 확인해야 한다. [04:51]
  • 추론 강도를 높이면 시간과 비용이 더 들 수 있다. 앱의 기본 지시도 별도의 변수다. 영상은 Anthropic이 추가한 지시 때문에 자체 시험에서 Claude의 작업 성능이 떨어진 사례를 든다. [05:35]

4. 실제 응답 모델과 앱·서버 오류

  • 영상은 GPT-5 출시 장애를 라우팅 문제로 보여준다. Fable 5의 디버깅 평가에서는 12개 과제 중 9개가 다른 모델로 넘어갔다고 전해진다. 이 경우 전체 점수를 Fable 5 자체의 성적으로 해석하기 어렵다. [06:39]
  • Claude가 대화 차례마다 작업 맥락을 잃게 만든 앱 오류와 OpenAI의 일부 트래픽에 영향을 준 서버 설정 오류도 보여준다. 두 사례 모두 사용자가 받는 답에 영향을 줬다. [06:58]

5. 연산 비용, 달라진 사용 방식, 변경 고지

  • 진행자는 GPT-5 출시 후 24시간 동안 API 트래픽이 약 두 배가 됐다는 올트먼의 발언을 인용한다. 이런 수요 급증이 연산 비용을 아낄 유인이 된다고 보면서도, 의도적인 품질 하락은 입증할 수 없는 자신의 견해라고 드러낸다. [07:59]
  • 사용을 거듭할수록 실패 경험이 기억에 남고, 출시 주간의 시연보다 실제 업무에 더 많은 맥락과 전문성이 필요해진다는 설명도 제시한다. [08:55]
  • 진행자는 코네티컷주의 사용 한도 고지 사례를 소개하고, 유료 서비스의 품질에 영향을 주는 변경도 알려야 한다는 의견을 낸다. 끝으로 Claude Code의 스킬이 작업 성능에 미치는 영향을 살핀 후속 영상을 안내한다. [09:54]

🧾 결론

  • 두 회사가 인정했다고 영상이 전하는 범위는 특정 시점의 서비스 품질 저하다. 이를 모든 모델이 출시 후 몇 주 안에 약해진다는 일반 법칙으로 확대할 근거는 부족하다.
  • 품질 문제를 진단하려면 측정 대상을 구체화해야 한다. Claude Code의 작업 성공률에는 기반 모델의 성능과 앱 업데이트의 효과가 함께 반영된다.
  • 내부 평가가 놓친 문제를 사용자가 먼저 발견할 수 있고, 고정 문항을 쓰는 외부 평가도 작은 변화를 놓칠 수 있다. 두 결과를 함께 보면 어느 작업에서 문제가 생겼는지 좁힐 수 있다.

📈 투자·시사 포인트

  • AI 서비스의 상품성을 평가할 때는 출시 최고점과 유료 사용자가 기본 설정에서 얻는 성과를 함께 볼 필요가 있다. 일상적인 작업에 걸리는 시간과 비용은 후자의 영향을 받는다.
  • 영상에 따르면 GPT-5 출시 후 24시간 동안 API 트래픽이 약 두 배가 됐다. 출시 흥행을 평가할 때는 늘어난 수요를 감당하면서 응답 품질을 유지할 수 있는지도 살펴볼 만하다.
  • 구독 갱신 판단에는 사용 한도와 품질 변경 이력이 각각 필요하다. 호출 가능 횟수를 알아도 추론 강도의 기본값이나 실제 응답 모델이 달라졌는지까지 알기는 어렵다.

⚠️ 불확실하거나 확인이 필요한 부분

  • 출시 후 가중치의 정밀도를 낮춘 모델로 교체했다는 양자화 가설에는 영상이 제시한 직접 증거가 없다. 고정 문항의 점수가 유지됐다는 결과만으로 가중치가 같았다고 확정하기도 어렵다.
  • 57.8%와 52%는 서로 다른 추론 강도에서 나온 점수다. 이 수치로 출시 전후의 하락 폭을 계산하려면 같은 설정에서 시점만 달리한 측정값이 추가로 필요하다.
  • 품질 변경 고지 의무에 관한 발언은 진행자가 찾아본 범위에 한정된다. 영상은 미국 코네티컷주의 사례를 가입·갱신 전 사용 한도 고지로 설명하며, 다른 관할권과 개별 계약의 의무까지 확인하지는 않는다.
  • 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
  • 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
  • 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

  • 출시 점수를 인용하기 전에 평가에 쓰인 추론 강도와 내가 쓰는 앱의 기본값을 나란히 적는다.
  • 반복하는 실무 작업을 골라 같은 입력과 평가 기준으로 결과를 기록한다. 비교할 때는 날짜, 앱 버전, 추론 강도, 확인 가능한 응답 모델을 함께 남긴다.
  • 품질이 떨어진 시점의 앱 업데이트와 회사 사후 분석을 확인하고, 같은 기간의 독립 평가가 어떤 문항과 환경을 사용했는지 대조한다.
  • 구독 갱신 전에는 사용 한도를 확인하고, 평소 작업을 만족할 수준으로 끝내는 데 드는 시간과 비용을 다시 점검한다.

❓ 열린 질문

  • 고정 문항에서는 점수가 유지돼도 사용자가 긴 맥락을 다루는 작업에서 반복적으로 실패한다면, 어떤 평가 과제가 그 차이를 포착할 수 있을까?
  • 추론 강도의 기본값이나 응답 모델이 바뀔 때, 사용자가 전후 결과를 비교하려면 서비스가 어떤 변경 정보를 제공해야 할까?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.