생각이 깊어 실수하는 클로드, 시킬 것과 시키지 말 것 (강수진 박사)
Quick Summary
최신 AI 모델의 승부는 컨텍스트 윈도우 크기 자체보다, 긴 맥락에서 필요한 단서를 얼마나 정확히 압축·검색·자기검증해 정답으로 연결하느냐에 달려 있다. 실전 기준으로는 제미나이의 간결한 탐색력, 오퍼스의 깊은 자기검증, 소넷의 가성비형 추론을 문제 유형별로 구분해 써야 한다.
영상 보기
클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.
🖼️ 4컷 인포그래픽

💡 한 줄 결론
최신 AI 모델의 승부는 컨텍스트 윈도우 크기 자체보다, 긴 맥락에서 필요한 단서를 얼마나 정확히 압축·검색·자기검증해 정답으로 연결하느냐에 달려 있다. 실전 기준으로는 제미나이의 간결한 탐색력, 오퍼스의 깊은 자기검증, 소넷의 가성비형 추론을 문제 유형별로 구분해 써야 한다.
📌 핵심 요점
- 100만 토큰급 컨텍스트는 긴 문서·대화·코드베이스를 한 번에 다루게 해주지만, 실제 성능 차이는 그 안에서 무엇을 버리고 무엇을 남기는지에 따라 갈린다.
- 오퍼스 4.6은 MRCR V2 76%, BrowseComp 멀티 에이전트 84%처럼 긴 맥락 검색과 복합 정보 탐색에서 강한 수치를 보였지만, 출발 가정이 틀리면 과도한 추론이 오답을 더 정교하게 만들 수 있다.
- 제미나이 3.1 Pro는 추론 흔적은 짧아도 검색 범위를 빠르게 좁히며 첫 번째 TV쇼 문제와 두 번째 이미지·어원 결합 문제를 모두 맞혀, 실전 탐색형 과제에서 높은 효율을 보였다.
- 소넷 4.6은 오퍼스보다 저렴한 가성비 추론 모델로 쓸 만하지만, 복합 단서 문제에서는 프롬프트 설계와 자기검증 보조장치 유무에 따라 성능 편차가 더 크게 난다.
- 맥락 압축은 긴 대화를 이어가는 데 유용하지만, 사용자 성향·초기 지시·중간 핵심 단서가 손실되면 개인화와 장기 작업 안정성이 무너질 수 있어 재주입과 검증 절차가 필요하다.
🧠 상세 요약
1) 배경과 문제 정의
이 영상의 출발점은 “최신 모델이 무조건 더 잘 푼다”는 기대를 실제 벤치마크와 사례로 검증해보는 데 있다. 특히 긴 컨텍스트, 맥락 압축, 검색, 자기검증이 실전 성능을 어떻게 갈라놓는지 보는 것이 핵심 관찰 포인트다.
2) 섹션별 상세 정리
- 최신 모델 비교의 관점 설정 [00:01]
- 발표는 오퍼스 4.6, 소넷 4.6, 제미나이 3.1 Pro를 단순 출시 뉴스가 아니라 “어떤 유형의 문제를 어떻게 푸는가”라는 기준으로 비교하려 한다.
- 초반에는 라이브 실습과 업무 자동화 맥락도 언급되지만, 본론은 결국 모델별 추론 스타일과 운영 전략의 차이를 읽어내는 데 맞춰진다.
- 오퍼스 4.6 실패 사례가 던지는 문제의식 [00:21]
- 오퍼스 4.6은 첫 사례에서 한국어 질문이라는 표면 신호에 끌려가 한국어 TV쇼 문맥을 우선 탐색했고, 그 결과 정답 대신 손오공을 내놓았다.
- 이 장면은 “깊게 생각하는 모델”이 항상 유리하지 않으며, 초기 가설 설정이 틀리면 자세한 추론이 오히려 오답을 확대할 수 있음을 보여준다.
- 비용·모델 선택·실무 감각 [01:20]
- 진행자와 게스트는 성능만이 아니라 API 비용과 환율 부담까지 고려해 모델을 고른다고 말한다.
- 간단한 과제는 소넷, 더 어려운 탐색이나 복합 추론은 오퍼스처럼 목적별로 나눠 쓰는 태도가 실무 운영의 기본 전제로 제시된다.
- 모델 포지셔닝과 최신 지형도 [02:23]
- 제미나이 3.1 Pro는 체감 속도 향상과 멀티모달·생성 기능 업데이트가 특징으로 소개되고, 클로드 계열은 오퍼스–소넷–하이쿠로 역할이 나뉜다고 정리된다.
- 여기서 중요한 메시지는 “최고 모델 하나를 고르는 것”보다 빠른 모델, 생각하는 모델, 프로 모델의 역할 분담을 이해하는 것이다.
- 이번 비교의 핵심 축: 긴 맥락, 안전, 에이전트 [06:11]
- 발표자는 이번 영상을 100만 토큰 컨텍스트, 해석 가능성과 안전 도구, 에이전트의 과잉 행동 검증이라는 세 축으로 묶는다.
- 다만 전개상 가장 강하게 다뤄지는 축은 긴 맥락과 맥락 압축이며, 나머지 안전 이슈는 후반 논의의 문제의식으로 깔린다.
- 100만 토큰과 맥락 압축의 의미 [07:20]
- 컨텍스트 윈도우 확대는 단순히 “많이 넣는다”가 아니라, 더 긴 대화·더 큰 문서·더 넓은 코드베이스를 한 작업 단위 안에서 함께 다룰 수 있다는 뜻이다.
- 하지만 맥락 압축은 손실 없는 저장이 아니므로, 무엇이 빠졌는지 모르면 다음 턴 품질이 무너질 수 있고, 사용자 성향이나 초기 지시가 왜곡돼 이상한 답이 나올 위험도 있다.
- 장기 기억·개인화·긴 문서 처리의 현실적 한계 [08:59]
- 발표자는 긴 컨텍스트를 책상 위에 여러 권의 책을 동시에 펼치는 비유로 설명하며, 장기 기억과 코드 이해가 이 능력 위에서 강화된다고 본다.
- 동시에 긴 문서를 무작정 넣으면 중간 내용이 휘발되는 “중간 손실”이 생길 수 있어, 중요한 정보를 선별·요약해 넣는 전처리가 여전히 중요하다고 지적한다.
- 4.6 계열의 개선과 벤치마크 해석 [13:04]
- 대화가 길어질수록 초기 프롬프트를 잊는 문제를 줄이기 위해 오퍼스 4.6과 소넷 4.6이 맥락 유지 능력을 강화했다는 설명이 나온다.
- MRCR V2에서 오퍼스 4.6은 76%, 소넷 4.6은 65.8%를 기록했는데, 이는 단순 용량 경쟁이 아니라 긴 문맥에서 핵심 단서를 회수하는 능력 차이로 해석된다.
- 성능 차이의 핵심은 압축 방식 [15:07]
- 발표자는 소넷이 제미나이보다 높은 구간이 있었던 이유를 “얼마나 많이 넣었는가”가 아니라 “그 문맥을 어떻게 정리해 기억했는가”에서 찾는다.
- 오퍼스 4.6은 불필요한 정보를 걷어내고 중요한 단서를 남기는 압축 메커니즘이 강점으로 제시되며, 이것이 긴 과업에서 체감 품질을 좌우한다고 본다.
- BrowseComp와 웹 탐색형 문제 풀이 [15:49]
- BrowseComp는 웹에 흩어진 복합 조건 정보를 찾아내는 능력을 보는 벤치마크로, 오퍼스 4.6은 단독 67.8%, 멀티 에이전트 84%를 기록했다.
- 발표자는 토큰 처리량과 컨텍스트 윈도우 확장이 검색 성능에도 연결된다고 해석하며, 특히 멀티 에이전트 조합에서 강점이 커진다고 강조한다.
- 첫 번째 문제: 제미나이 성공, 오퍼스·소넷 실패 [17:12]
- 1960~1980년대 TV쇼, 제4의 벽 파괴, 이타적 수행자, 유머 캐릭터라는 복합 조건 문제에서 제미나이 3.1 Pro는 플라스틱 맨을 맞혔다.
- 반면 오퍼스 4.6은 한국어 문맥 편향으로 출발점을 잘못 잡았고, 소넷 4.6도 해결하지 못했다. 이 결과는 “자세한 추론”보다 “올바른 탐색 축 설정”이 먼저라는 점을 드러낸다.
- 두 번째 문제: 제미나이와 오퍼스 성공, 소넷 실패 [21:29]
- 수성 분화구 이미지, 칼 세이건의 문장, 어원을 엮은 난도 높은 문제에서 제미나이와 오퍼스는 정답에 도달했고 소넷은 실패했다.
- 제미나이는 짧고 간결하게 범위를 줄여 갔고, 오퍼스는 후보를 의심하고 자기검증을 반복하며 정답과 저서명까지 맞혔다. 같은 정답에 도달해도 탐색 스타일은 뚜렷이 달랐다.
- 모델별 캐릭터와 실전 사용법 [23:19]
- 제미나이는 “짧지만 정확한 탐색형”, 오퍼스는 “학구적 자기검증형”, 소넷은 “가성비 추론형”으로 정리된다.
- 특히 소넷은 질문만 던지기보다 체크리스트나 검증 프롬프트를 함께 설계했을 때 성능이 더 살아날 수 있다는 점이 실전 팁으로 제시된다.
- 중간 결론: 큰 창보다 좋은 회수 메커니즘 [26:11]
- 영상이 누적해서 보여준 결론은 긴 문맥 자체가 경쟁력이 아니라, 긴 문맥 안에서 필요한 정보를 잃지 않고 끌어오는 메커니즘이 진짜 경쟁력이라는 점이다.
- 따라서 모델 평가는 단일 점수보다 문제 유형, 검색 환경, 압축 전략, 자기검증 방식까지 함께 봐야 한다.
✅ 액션 아이템
- 현재 쓰는 AI 업무 3가지를 골라 각각 제미나이 3.1 Pro / 오퍼스 4.6 / 소넷 4.6으로 같은 프롬프트를 돌린 뒤, 정답률·응답속도·비용을 한 표로 비교한다.
- 긴 문서나 회의록을 한 번에 넣는 작업에서 원문 전체 투입본과 핵심 요약본+질문 체크리스트 투입본을 나눠 실험해, 중간 내용 누락률과 최종 답변 정확도를 비교한다.
- 소넷 4.6을 쓰는 과제 하나를 골라 프롬프트 끝에 “후보 3개 비교 → 반례 확인 → 최종 답 선택” 자기검증 절차를 붙여, 보조 프롬프트 유무에 따른 성능 차이를 측정한다.
- 검색형 과업에서는 첫 턴에 바로 답을 요구하지 말고 탐색 범위 정의 → 후보 수집 → 정답 확정의 3단계 프롬프트로 바꿔, 오퍼스의 과잉 추론과 제미나이의 축약형 추론 중 어느 쪽이 더 안정적인지 확인한다.
- 장기 대화 프로젝트 하나에서 맥락 압축 기능 사용 전후를 비교하며, 초기 지시 유지율·사용자 선호 반영률·중간 정보 회수율을 점검하는 체크 항목을 만든다.
❓ 열린 질문
- 100만 토큰급 컨텍스트가 실제 우위로 이어지려면, 원문 대량 투입보다 더 중요한 것은 무엇이며 그 압축 품질을 어떤 지표로 검증할 수 있을까?
- 오퍼스 4.6의 자기검증은 언제 강점이고 언제 출발 가설 오류를 증폭하는 약점이 되는가?
- 제미나이 3.1 Pro의 간결한 추론이 높은 성능으로 이어진다면, 실무 프롬프트에서도 “설명 많이 시키기”보다 “탐색 범위 좁히기”가 더 중요한 과제가 얼마나 많은가?
- 소넷 4.6이 가성비 모델로 남으려면, 추가 프롬프트 설계 비용과 실패 재시도 비용까지 포함한 총소유비용에서 여전히 우위가 유지될까?