🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

베네딕트 에번스는 OpenAI의 Deep Research가 복잡한 리서치 작업을 크게 줄여줄 잠재력이 있지만, 출처 판단과 정밀한 수치 검색에서 틀리면 신뢰할 수 없다는 근본적 문제를 OpenAI의 자체 스마트폰 사례로 보여준다.

📌 핵심 요약

• 저자는 자신의 일 대부분이 데이터 탐색, 수집, 차트 작성, 해석, 설명으로 이루어져 있어 Deep Research가 매우 적합해 보였지만, OpenAI 제품 페이지의 스마트폰 시장 예시를 검토하면서 문제를 발견한다.
• 예시 표는 겉보기에는 유용해 보였지만 출처가 Statcounter와 Statista였고, Statcounter는 실제 채택률이 아니라 트래픽을 측정하며 Statista는 다른 자료를 모아 SEO와 유료 접근을 유도하는 성격이 강해 근거로 쓰기 어렵다고 지적한다.
• 특히 일본 스마트폰 시장 수치에서 Deep Research는 iOS 69%, Android 31%라고 했지만, Statcounter는 최근 1년 이상 그런 수치를 보이지 않았고 Statista의 실제 원천인 Kantar 자료는 오히려 Android 63%, iOS 36%에 가까운 반대 결과를 제시했다.
• 저자는 ‘채택률’이라는 질문 자체가 판매량, 설치 기반, 사용량, 앱 지출 비중 중 무엇을 뜻하는지 불명확하며, LLM은 이런 애매한 의도를 추정하는 데는 강하지만 정밀하고 결정적인 정보 검색에는 약하다고 분석한다.
• 결론적으로 Deep Research는 전문가가 검토하고 고칠 수 있는 보조 도구로는 유용하지만, 오류율이 남아 있는 한 그대로 신뢰할 수 있는 독립적 리서치 제품이 되기는 어렵고, 이는 기초 모델 기업들의 제품성·방어력 문제와도 연결된다고 본다.

🧩 주요 포인트

1. 저자는 자신의 일 대부분이 데이터 탐색, 수집, 차트 작성, 해석, 설명으로 이루어져 있어 Deep Research가 매우 적합해 보였지만, OpenAI 제품 페이지의 스마트폰 시장 예시를 검토하면서 문제를 발견한다.
2. 예시 표는 겉보기에는 유용해 보였지만 출처가 Statcounter와 Statista였고, Statcounter는 실제 채택률이 아니라 트래픽을 측정하며 Statista는 다른 자료를 모아 SEO와 유료 접근을 유도하는 성격이 강해 근거로 쓰기 어렵다고 지적한다.
3. 특히 일본 스마트폰 시장 수치에서 Deep Research는 iOS 69%, Android 31%라고 했지만, Statcounter는 최근 1년 이상 그런 수치를 보이지 않았고 Statista의 실제 원천인 Kantar 자료는 오히려 Android 63%, iOS 36%에 가까운 반대 결과를 제시했다.
4. 저자는 ‘채택률’이라는 질문 자체가 판매량, 설치 기반, 사용량, 앱 지출 비중 중 무엇을 뜻하는지 불명확하며, LLM은 이런 애매한 의도를 추정하는 데는 강하지만 정밀하고 결정적인 정보 검색에는 약하다고 분석한다.
5. 결론적으로 Deep Research는 전문가가 검토하고 고칠 수 있는 보조 도구로는 유용하지만, 오류율이 남아 있는 한 그대로 신뢰할 수 있는 독립적 리서치 제품이 되기는 어렵고, 이는 기초 모델 기업들의 제품성·방어력 문제와도 연결된다고 본다.

🧠 상세 정리

1. 리서치 업무와 Deep Research에 대한 기대

저자는 자신의 직업적 활동 대부분이 리서치와 분석이라고 설명한다. 그는 보고 싶은 데이터를 떠올리고 찾아다니며, 자료를 모으고 정리하고, 차트를 만들었다가 마음에 들지 않으면 다시 시도하고, 새로운 데이터와 해석 방식을 통해 문제를 설명하려 한다. 이런 과정에는 차트 하나 아래에도 보이지 않는 방대한 수작업이 깔려 있기 때문에, OpenAI의 Deep Research는 처음 보기에는 저자 같은 사람에게 맞춤형 도구처럼 보인다. 그래서 저자는 새 문제로 직접 시험하기 전에, OpenAI 제품 페이지에 있는 자신이 잘 아는 주제인 스마트폰 관련 샘플 보고서를 검토하기로 한다.

2. 그럴듯한 표와 먼저 확인해야 할 출처 문제

OpenAI의 예시 표는 겉으로는 여러 시간의 수작업을 기계가 대신 처리한 것처럼 보이며 매우 매력적으로 보인다. 그러나 저자는 이 표를 고객에게 전달하기 전에 가장 먼저 출처를 확인해야 한다고 말한다. 표의 출처는 Statista와 Statcounter였는데, 저자는 두 출처 모두 이 맥락에서는 문제가 있다고 본다. Statcounter는 기기 채택률이 아니라 트래픽을 측정하므로, 고가 기기가 더 많이 사용되고 iPhone 사용자가 고사용층에 치우치는 현실을 반영하면 시장 점유나 설치 기반의 대용치로 쓰기 어렵다. Statista 역시 여러 사람의 데이터를 모아 검색에서 잘 보이게 만들고 등록이나 결제를 유도하는 성격이 있어, 이를 출처라고 부르는 것은 사실상 ‘구글 검색 결과’를 출처라고 말하는 것과 비슷하다고 비판한다.

3. 일본 스마트폰 수치에서 드러난 구체적 오류

저자는 표 전체를 다 검토하기보다 일본 시장이라는 하나의 숫자를 파고든다. Deep Research는 일본 스마트폰 시장이 iOS 69%, Android 31%로 나뉜다고 제시했지만, 저자는 이 수치가 해당 출처들이 실제로 말하는지와 그 출처들이 맞는지라는 두 질문은 서로 다르다고 구분한다. 먼저 Statcounter를 보면, 앞서 지적한 트래픽 기반의 한계가 있음에도 최근 1년 이상 69%라는 수치를 말한 적이 없거나 적어도 그렇게 보이지 않는다. Statista를 더 따라가면 실제 원천은 Kantar Worldpanel로 나타나는데, 거기서 제시된 수치는 Deep Research의 주장과 거의 반대로 Android 63%, iOS 36%에 가깝다. 즉 문제는 단순히 출처 선택의 취약성에 그치지 않고, 선택한 출처에서 숫자를 제대로 가져오지 못한 데까지 이어진다.

4. 대체 자료와 모든 숫자를 재검증해야 하는 상황

저자는 Kantar 수치 자체도 완전히 안심할 수 없다고 덧붙인다. 그 숫자들은 월별로 최대 20%포인트까지 흔들리는데, 하드웨어 설치 기반이 보통 그렇게 급격하게 변하지는 않기 때문에 실제로 무엇을 추적하는지 불확실하다고 본다. 다른 나라나 다른 항목의 숫자도 계속 확인할 수 있겠지만, 표의 모든 숫자를 하나씩 다시 확인해야 한다면 Deep Research가 시간을 절약해 준다고 말하기 어렵다. 저자는 일본 규제기관의 조사 자료를 추가로 언급하며, 해당 자료는 실제로 찾고 있는 설치 기반에 대해 Android 약 53%, iOS 약 47%라고 제시한다고 말한다. 이 비교는 Deep Research의 한 숫자가 단순히 조금 틀린 것이 아니라, 리서치 결과 전체의 신뢰를 무너뜨릴 수 있음을 보여준다.

5. ‘채택률’이라는 질문의 모호성과 결정적 답의 필요

저자는 LLM을 데이터베이스처럼 테스트하는 것은 부적절하다고 전제하면서도, 이번 사례는 그보다 더 복잡하고 흥미로운 문제라고 본다. OpenAI의 예시는 ‘adoption’, 즉 채택률을 묻지만, 이것이 단말 판매량인지, 설치 기반인지, 사용 비중인지, 앱 지출 비중인지 분명하지 않다. 각각은 서로 다른 지표이며, 어느 것을 원하는지에 따라 적절한 출처와 해석도 달라진다. 또한 그런 지표 중 하나를 선택하더라도 단일한 정답 출처가 있는 것이 아니어서 Statcounter, Statista, Kantar, 규제기관 자료 등 중 무엇을 쓸지 판단해야 한다. 하지만 일단 무엇을 묻는지와 어떤 종류의 답을 선택할지 결정했다면, 사용자는 실제 숫자라는 결정적 답을 원하므로, 확률적 질문 처리와 결정적 정보 검색 사이의 간극이 문제가 된다.

6. LLM이 잘하는 일과 못하는 일의 충돌

저자는 LLM이 컴퓨터가 못하는 일에는 강하고 컴퓨터가 잘하는 일에는 약하다는 과거의 관찰을 떠올린다. OpenAI는 모델이 사용자의 의도를 확률적으로 추정하게 하려 하는데, 이런 모호한 의미 파악은 기존 컴퓨터가 잘하지 못하고 LLM이 비교적 잘하는 영역이다. 그러나 그다음 단계에서는 매우 구체적이고 정확한 정보 검색을 해야 하며, 이는 전통적인 컴퓨터 시스템이 잘하지만 LLM이 취약한 영역이다. 이번 사례에서 모델은 사용자가 아마 무엇을 뜻했는지 추정한 뒤 실제 숫자를 가져와야 했지만, 출처 선택과 숫자 추출 모두에서 문제를 보였다. 저자가 강조하는 점은 이것이 외부 비판자가 만든 까다로운 테스트가 아니라 OpenAI 자신의 제품 페이지에 있는 마케팅 사례라는 것이다.

7. ‘모델이 더 좋아진다’는 답변이 충분하지 않은 이유

저자는 이런 비판에 대한 흔한 반응이 모델은 계속 좋아진다는 말일 것이라고 예상하지만, 그것이 핵심을 비켜간다고 본다. 오늘 모델이 표의 85%를 맞히고 다음 모델이 85.5%나 91%를 맞힌다고 해도, 표 안에 오류가 남아 있다면 사용자는 그 표를 그대로 신뢰할 수 없다. 반대로 모델이 100% 맞게 된다면 모든 것이 달라지겠지만, 그것은 단순한 성능 비율의 개선이 아니라 시스템의 성격이 바뀌는 이진적 변화에 가깝다. 그리고 저자는 그런 변화가 가능한지 아직 알 수 없다고 말한다. 그는 하나의 숫자를 집중적으로 확인했을 뿐이지만, 같은 개념적 문제는 열 쪽짜리 텍스트에도 적용되며, Deep Research는 대체로 맞을 수는 있어도 ‘대체로’에 머문다는 점이 문제라고 본다.

8. 유용하지만 스스로 움직일 수 없는 보조 도구

저자는 이런 글을 쓰는 데 양가감정을 느낀다고 말한다. AI 시스템은 놀랍지만 중요한 방식으로 계속 틀리며, 현재로서는 오류율이 큰 문제가 되지 않거나 오류를 쉽게 발견할 수 있는 사용 사례가 가장 적합하다는 말을 여러 번 반복하게 되기 때문이다. 그러나 그는 이 도구들이 쓸모없다고 말하지 않는다. 깊은 도메인 지식을 가진 사람이 이미 준비된 자료 없이 20쪽 보고서를 써야 한다면, Deep Research는 며칠짜리 일을 몇 시간으로 줄이고 사용자가 오류를 고칠 수 있게 해 줄 수 있다. 저자는 AI를 ‘무한한 인턴’에 비유하고, 컴퓨터가 ‘마음의 자전거’라는 스티브 잡스의 표현을 빌려 더 멀리 더 빠르게 가게 해 주지만 스스로 어디론가 갈 수는 없다고 정리한다.

9. 제품 설계와 기초 모델 기업의 전략적 문제

마지막으로 저자는 두 가지 더 근본적인 문제를 제시한다. 첫째, 오류율이 사라질지 알 수 없기 때문에 제품을 설계할 때 모델이 때때로 틀린다는 전제를 둘지, 아니면 1~2년 뒤에는 모델 자체를 신뢰할 수 있다는 전제를 둘지 판단하기 어렵다. 이는 PC, 웹, 스마트폰처럼 무엇이 원리적으로 바뀔 수 있고 무엇이 바뀔 수 없는지 비교적 분명했던 기술들과 다르다고 본다. 둘째, OpenAI와 다른 기초 모델 연구소들은 자본 접근 외에는 뚜렷한 방어력이나 해자가 없고, 코딩과 마케팅 외에는 확실한 제품-시장 적합성도 부족하며, 제품이라기보다 텍스트 상자와 타인이 제품을 만들 API를 제공하는 상태라고 지적한다. Deep Research는 끈적한 제품과 구체적 사용 사례를 만들려는 시도지만, 유사 서비스가 빠르게 등장하고 LLM을 소프트웨어 내부 API 호출로 추상화해 오류를 관리하는 방향이 강해질수록 기초 모델 자체는 더 상품화될 수 있다고 본다.

🧾 핵심 주장 / 시사점

• Deep Research의 핵심 위험은 ‘틀릴 수 있다’는 일반론이 아니라, 사용자가 가장 신뢰하고 싶은 표·수치·출처 같은 결과물에서 오류가 발견되면 전체 산출물의 검증 비용이 다시 사용자에게 돌아온다는 점이다.
• LLM 기반 리서치 도구는 모호한 질문을 해석하는 능력과 정확한 데이터 검색 능력을 동시에 요구받지만, 이 두 과업의 성격이 달라 현재 제품 경험에서 긴장이 생긴다.
• 저자의 관점에서 가장 현실적인 활용법은 AI가 완성된 연구자를 대체하는 것이 아니라, 도메인 전문가가 오류를 식별하고 고칠 수 있을 때 시간을 크게 줄여 주는 보조 연구 인력처럼 쓰는 것이다.

✅ 액션 아이템

• Deep Research의 수치 응답은 출처 신뢰도를 먼저 점검하고, 채택률 성격이 불명확한 Statcounter·Statista식 데이터는 근거 판단에서 제외한다.
• 일본 스마트폰 사례의 iOS 69%, Android 31% 역전 오차를 반영해 채택률 질문에서 판매량·설치 기반·사용량·앱 지출을 먼저 정의한다.
• Deep Research를 독립적 리서치로 간주하기 전에 전문가가 출처와 수치의 정합성을 재확인한 뒤 최종 문서화한다.

❓ 열린 질문

• Deep Research가 제시한 iOS 69%, Android 31%와 Kantar의 Android 63%, iOS 36%처럼 상충할 때 어떤 근거 순서로 신뢰도를 판단해야 하는가?
• ‘채택률’이 무엇을 뜻하는지 모호한 경우, 질문 설계 단계에서 판매량·설치 기반·사용량·앱 지출 중 어떤 지표를 먼저 규정할 것인가?
• 오류율이 남아 있는 현재 상태에서 Deep Research 결과를 언제까지는 보조 수단으로 두고, 독립적 리서치로 전환할 판단 기준은 무엇인가?