몰락한 제미나이, 1위 탈환했다? - 김아람 이사 (IT커뮤니케이션 연구소)

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

제미나이는 일부 평가에서 1위를 되찾았지만, 실제 전환 여부는 글쓰기·번역의 강점과 코딩·사용 한도의 한계를 업무별로 비교해 판단해야 한다.

📌 핵심 요점

1. 구글의 새 모델은 방송에서 소개한 아레나와 금융·법률·코딩 과제 평가에서 1위를 기록했다. 다만 평가마다 측정 대상과 조건이 달라 이를 모든 업무의 우위로 해석하기는 어렵다.
2. 글쓰기·설명·번역에서는 논리적인 구성과 인물별 말투 표현이 호평받았다. 환각이 줄었다는 평가도 소개됐지만, 정답률까지 경쟁 모델보다 높다는 뜻은 아니었다.
3. 코딩에서는 종합 순위에 비해 낮은 평가가 나왔고, 토큰 소비와 빠른 한도 소진, 단순한 작업에서도 추론이 길어지는 문제가 지적됐다. 발표 점수의 추론 설정과 앱 기본 설정이 다르다는 점도 체감 성능을 가르는 요인이다.
4. 메타는 새 모델의 에이전트 수행과 메모리 능력을 강조하면서, 상위 모델의 유료 제공과 별도의 공개 모델 배포를 병행하는 전략을 택했다. 방송은 대규모 투자 회수 부담과 중국 공개 모델의 성장에서 그 배경을 찾았다.
5. 개인은 순위보다 자신의 업무 결과를 비교하고, 기업은 가격·접근 정책·수출 통제까지 고려해야 한다. 한 공급자에 업무를 모두 묶기보다 국내 모델을 포함한 대안을 유지하자는 것이 방송의 최종 제안이다.

🧩 배경과 문제 정의

방송은 불과 두 달 전 위기론이 나왔던 구글이 새 제미나이 모델로 일부 AI 평가에서 1위를 되찾았다는 소식에서 출발한다. 핵심 질문은 순위 반등이 실제 업무에서도 전환할 만한 개선인지, 그리고 어떤 사용자에게 유리한지다.

논의는 제미나이의 글쓰기·번역·코딩·토큰 소비를 비교한 뒤 메타의 새 모델과 사업 전략으로 확장된다. 메타의 유료 상위 모델과 공개 모델 병행, 중국 공개 모델의 성장, 수출 통제 움직임을 연결하면서 개인의 도구 선택과 기업의 모델 공급 안정성을 함께 다룬다. 모델명과 수치, 일정은 방송에서 소개한 내용을 기준으로 정리한다.

🕒 시간순 섹션별 상세정리

1. 구글 위기론 뒤에 나온 제미나이의 순위 반등

• 진행자는 두 달 전 구글 위기론과 최근 AI 1위 탈환 소식을 대비한다. 출연자는 당시 경영 변화, 핵심 인력 이탈, 모델 발표 지연, 짧은 답변과 검색 부족에 대한 불만이 있었다고 보여준다. [00:46]
• 구글은 지난주 화요일인 13일 새 모델을 유료 구독자에게 열었다고 묶인다. 사용자 비교 중심의 아레나와 금융·법률·코딩 과제 평가에서 1위를 차지했으며, 후자의 1위는 구글 모델로서는 처음이라고 보여준다. [01:21]
• 수치상 반등과 달리 실제 사용자 평가는 나뉜다. 방송은 구글과 함께 새 모델을 발표한 메타의 경쟁 복귀도 살펴보겠다고 예고한다. [01:47]

2. 보안 전문가에게 먼저 공개한 이유

• 진행자가 9월 30일 발표 후 약 2주간 일반 사용이 어려웠던 이유를 묻자, 출연자는 구글이 보안 협력 프로그램의 회사와 연구자에게 먼저 접근을 허용했다고 보여준다. [02:14]
• 새 모델은 소프트웨어 취약점을 찾아 확인하고 수정하도록 학습됐으며, 구글 설명상 모의 사이버 공격 시나리오 12개를 모두 해결했다. 이전 모델은 다섯 개를 해결했다고 비교한다. [02:32]
• 공격 도구로 악용될 가능성 때문에 방어 측에 먼저 제공하고 안전장치를 마련하려 했다는 것이 구글의 설명이다. [02:42]

3. 벤치마크 의혹과 출시 초기 접근 불만

• 방송은 블룸버그가 일부 구글 직원의 평가를 인용해 실제 프런트엔드 코딩 성능이 벤치마크만큼 나오지 않는다고 보도했다고 전해진다. 시험 유형에 맞춰 점수를 높이는 '벤치맥싱' 의심도 소개하지만, 구글은 코딩 성능이 떨어진다는 주장을 반박했다고 덧붙인다. [03:16]
• 공개 초기에는 월 20달러 구독자에게 모델이 보이지 않아 고가 요금제 전용이 아니냐는 논란이 나왔다. 구글은 높은 수요에 대응해 용량을 늘리며 점진적으로 제공하고 있다고 설명했다. [03:46]
• 발표 뒤 사용 대기와 출시 후 용량 문제가 첫인상을 해쳤지만, 리더보드 1위가 이전과 다른 성능을 보여준다는 평가도 함께 존재한다고 정리한다. [04:03]

4. 글쓰기와 번역에서 나타난 강점

• 사용자 반응의 핵심은 글쓰기와 설명이다. 기존에 클로드에 묻던 질문을 새 모델에 했을 때 요점과 논리 구조가 잘 정리된 짧은 에세이 같았다는 후기가 묶인다. [04:25]
• 아레나의 지시 이행 항목에서도 1위를 기록했다고 보여준다. 번역에서는 외국어 소설의 등장인물 성격에 따라 한국어 말투를 달리했다는 국내 커뮤니티 반응을 전해진다. [04:45]
• 비속어나 인터넷 표현을 살리고 번역 선택의 이유까지 설명했다는 후기도 나온다. 웹소설 플랫폼에 올려도 구별하기 어렵겠다는 평가는 사용자 감상의 사례로 드러난다. [05:00]

5. 낮은 환각률과 긴 작업 수행 사례

• 독립 평가에서 새 모델의 환각률이 15%, 오픈AI 최신 모델은 50%대였다는 수치를 보여준다. 동시에 정답률은 각각 50%와 63%라고 설명해, 환각률과 정답률을 구분한다. [05:24]
• 출연자는 모르는 질문에 모른다고 답하는 비중이 늘어 아는 척을 덜하는 방향이라고 해석하고, 글 중심 사용자들의 만족을 '문과 대만족'으로 요약한다. [05:38]
• 파일 1,200개가 넘는 서버 작업에서 도구를 150~300회 호출하며 작업하고 보안 취약점도 찾았다는 개발자 사례가 묶인다. 보안 전문가에게 먼저 제공한 이유와 연결해 보여준다. [06:01]

6. 종합 순위와 다른 코딩 평가

• 진행자는 AI마다 지향점과 장점이 달라지는지 묻는다. 제조 분야의 그록, 코딩의 클로드, 글 중심 작업의 제미나이라는 비교가 대화의 출발점으로 드러난다. [06:37]
• 출연자는 제미나이에 대한 불만을 코딩, 한도, 과도한 사고의 세 가지로 정리한다. 아레나 종합 1위와 달리 코딩·웹 개발 부문은 8위라고 보여준다. [06:58]
• 국내 개발자 후기와 게임 개발자 반응에서는 클로드의 상위 모델인 오퍼스에 못 미친다는 평가가 많다고 전해진다. 이는 방송에서 소개한 이용자 평가에 해당한다. [07:12]

7. 늘어난 토큰 소비와 과도한 추론

• 이전에는 짧게 생각하고 검색을 잘 하지 않는다는 불만이 있었지만, 새 모델은 같은 과제에서 경쟁 모델보다 출력 토큰을 두세 배 사용한다는 반대 방향의 비판을 받는다고 보여준다. [07:35]
• 이전 버전보다 한도가 빠르게 줄어든다는 커뮤니티 사례와 해지·경쟁사 이동을 언급하는 개발자 포럼 반응을 보여준다. 출연자는 이를 토큰을 아끼던 모델이 토큰을 많이 소비하는 모델로 바뀐 모습이라고 표현한다. [08:04]
• 간단한 설정 확인을 빠르게 해 달라는 요청에도 25분 동안 실행되다 중단됐다는 사례가 나온다. 가벼운 질문에서도 추론에서 빠져나오지 못하는 반복 현상이 보고된다고 보여준다. [08:26]

8. 발표 설정과 앱 기본값의 차이

• 구글이 공개한 벤치마크 점수는 가장 깊게 생각하는 하이 모드에서 나온 반면, 앱 기본값은 미디엄이라고 보여준다. 평가 조건과 실제 사용 조건의 차이가 체감 성능 차이를 만들 수 있다는 지적이다. [08:46]
• 환각률이 낮다는 수치와 별개로 첫 질문부터 환각을 경험했다는 사용자 반응도 보여준다. 개선된 지표가 개별 답변의 오류 가능성을 없애지는 않는다는 맥락이다. [09:01]

9. 누구에게 전환이 유리한가

• 방송에서 인용한 9월 한국 앱 이용자는 챗GPT 2,470만 명, 제미나이 987만 명으로 묶인다. 출연자는 높은 발표 점수와 다른 사용 경험이 누적돼 제미나이에 유보적인 반응이 남아 있다고 해석한다. [10:17]
• 글쓰기·번역·자료 정리·보고서 초안 작업이 많다면 시험해 볼 만하다고 권한다. 개발자용 API가 11월 30일까지 반값이며 12월부터 가격이 복구된다고 설명하지만, 해당 일정의 연도는 전사에 명시되지 않는다. [10:58]
• 코딩이 주 업무이거나 질문을 자주 많이 하는 사용자에게는 코딩 평가와 한도가 걸림돌이라고 드러낸다. 전환 여부는 각자의 사용 용도에 따라 정하는 것이 합리적이라고 정리한다. [11:32]

10. 메타 새 모델의 성적과 제공 방식

• 메타는 구글 발표 하루 전 새 모델을 내놓고 에이전트를 위한 최상위급 모델이라고 소개했다고 전해진다. 별도 종합지수에서는 메타 상위 모델 56점, 클로드 오퍼스 58점, 구글 새 모델 53점이라는 비교가 나온다. [12:33]
• 메타 모델은 긴 작업을 혼자 처리하는 에이전트 능력과 여러 대화에 걸친 사용자 기억에서 좋은 평가를 받지만, 창작 글쓰기와 3D·영상에서는 약하다는 평가가 묶인다. [12:57]
• 상위 모델은 유료 구독자에게 제공하고 API에는 하위 모델만 열었다고 보여준다. 라마를 중심으로 가중치 공개를 강조하던 기존 노선과 달라졌다는 점에 주목한다. [13:33]

11. 라마 중심 공개 전략에서 병행 전략으로

• 메타는 누구나 모델을 가져다 쓰는 공개 전략을 강조했고, 라마는 방송에서 언급한 작년 4월 기준 누적 다운로드 12억 회를 넘었다고 묶인다. 이후 유료 폐쇄형 모델을 내놓는 방향으로 변화했다고 보여준다. [14:18]
• 라마 4의 낮은 평가와 리더보드 제출 버전·실제 공개 버전 차이 논란 이후, 메타가 연구자 영입과 조직 개편에 나섰다고 전해진다. 스케일 AI 투자와 알렉산더 왕 영입도 이 과정에 포함된다. [15:21]
• 이후 상위 폐쇄형 모델을 제공하는 한편 별도의 공개 모델도 내놓았다고 보여준다. 출연자는 가장 강력한 모델은 구독으로, 공개 모델은 무료로 제공하는 병행 전략이라고 정리한다. [15:56]

12. 수익화 압력과 중국 공개 모델의 성장

• 메타의 전략 전환 배경으로 돈과 중국을 꼽는다. 방송은 올해 AI 설비 투자 180조~200조 원, 2분기 잉여현금흐름 91% 감소를 언급하지만, 전사에서 비교 기준은 명확하지 않다. [16:55]
• 경영진과 재무 책임자가 투자 성공 여부를 우려했다는 일화를 보여준다. 출연자는 상위 모델에 유료 구독과 API를 붙여 직접 수익을 얻으려는 방향으로 해석한다. [17:29]
• 중국 공개 모델의 다운로드와 활용이 늘면서 메타가 노리던 AI 서비스의 기반 자리를 잠식했다고 보여준다. 중계 서비스와 모델 배포 플랫폼, 투자자 인터뷰를 사례로 들며 지출·생태계 경쟁·성능의 압박이 겹쳤다고 정리한다. [18:42]

13. 공급 안정성과 마지막 선택 원칙

• 일반 사용자보다 서비스를 만드는 기업과 국가 차원에서 공개 모델의 변화가 중요하다고 보여준다. 공개 모델을 공공상수도, 폐쇄형 모델을 배달 생수에 비유하며 가격과 공급 조건에 대한 의존이 커질 수 있다고 드러낸다. [19:46]
• 중국이 대규모·고성능 AI 모델의 가중치·소스 코드·설계 구조 등에 수출 통제를 적용하려는 초안을 공개했다고 전해진다. 의견 수렴과 사전 등록 의무도 언급하며, 모델의 출신 국가와 정책이 사업 안정성의 요소가 된다고 보여준다. [20:35]
• 마지막 조언은 새 순위에 조급하게 반응하지 말고 실제 업무로 평가하라는 것이다. 개인은 한 서비스에 업무를 모두 묶지 않고, 기업은 국내 모델 등 대체 선택지를 확보해 공급 변화에 대응하자고 정리한 뒤 방송을 마친다. [22:08]

🧾 결론

• 제미나이의 순위 반등은 경쟁력 회복의 신호지만, 전방위적인 사용 만족이나 시장 지배력 회복을 입증하지는 않는다.
• 글쓰기·번역·자료 정리 중심의 사용자는 시험해 볼 이유가 있다. 코딩과 빈번한 질의가 핵심인 사용자는 성능과 한도를 더 신중하게 비교해야 한다.
• 낮은 환각률, 높은 정답률, 빠른 응답, 저렴한 사용 비용은 서로 다른 평가 항목이다. 하나의 수치로 전체 품질을 대신할 수 없다.
• 메타의 변화는 공개 모델 전략이 유료 상위 모델과 공존하는 방향으로 바뀌고 있음을 보여준다. 이용 기업에는 모델 성능만큼 공급 조건의 지속성이 중요해졌다.

📈 투자·시사 포인트

• 구글의 반등을 평가할 때는 리더보드 순위와 함께 실제 사용 만족, 접근 가능성, 구독 유지로 이어지는지를 살펴볼 필요가 있다. 방송에서는 한국 이용자 규모와 누적된 체감 불만도 함께 제시했다.
• 메타의 대규모 AI 투자는 상위 모델의 유료화와 수익 회수 압력으로 연결된다. 투자 규모와 성능 개선뿐 아니라 현금흐름과 서비스 수익화의 관계가 관찰 지점이다.
• 공개 모델 생태계에서 중국 업체의 영향력이 커지는 가운데, 방송에서 소개한 수출 통제 움직임은 모델 확보와 서비스 운영의 안정성에 영향을 줄 수 있다.
• AI 서비스를 만드는 기업은 할인된 API 가격만으로 장기 비용을 판단하기 어렵다. 할인 종료, 토큰 소비, 공급 정책 변경에 따른 비용과 대체 가능성을 함께 따져야 한다.

⚠️ 불확실하거나 확인이 필요한 부분

• 전사에는 새 모델명과 평가기관명에 오인식으로 보이는 표현이 섞여 있다. '아르곤', '뮤즈 원더', '뮤즈 원더 풀' 등의 정확한 공식 명칭과 버전은 이 자료만으로 확정하기 어렵다.
• 아레나 1위, 코딩 부문 8위, 별도 종합지수 점수는 서로 다른 평가 결과다. 평가 시점·모델 버전·추론 설정이 제시되지 않은 항목이 있어 직접적인 서열 비교에는 한계가 있다.
• 환각률 15%, 정답률 50%, 경쟁 모델의 비교 수치는 방송에서 인용한 값이다. 평가 표본과 계산 방식이 충분히 설명되지 않아 일반적인 업무 정확도로 확대 해석해서는 안 된다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 실제 사용하는 글쓰기·번역·자료 정리 과제를 같은 조건으로 여러 모델에 맡기고 결과의 구조와 수정 필요량을 비교한다.
• 코딩이 주 업무라면 실제 개발 과제로 정확성, 완성도, 처리 시간과 사용 한도를 함께 확인한다.
• 제미나이의 앱 기본 추론 설정과 발표된 벤치마크 설정을 확인하고, 설정에 따른 품질·시간·토큰 소비 차이를 비교한다.
• 구독 또는 API 전환 전 접근 가능한 모델, 사용 한도, 할인 종료 후 가격을 확인한다.

❓ 열린 질문

• 제미나이의 글쓰기·번역 강점이 코딩 성능과 사용 한도의 약점을 상쇄해 지속적인 이용자 전환으로 이어질까?
• 높은 추론 설정에서 얻는 성능 향상은 늘어나는 처리 시간과 토큰 소비를 얼마나 정당화할까?
• 메타는 유료 상위 모델과 공개 모델을 병행하면서 생태계 확장과 투자 회수를 함께 달성할 수 있을까?