AI, networks and Mechanical Turks — Benedict Evans
Quick Summary
대형 소비자 인터넷 서비스는 사용자 행동의 상관관계로 추천과 발견을 만들어 왔지만, 대규모 언어 모델은 사물과 의도를 더 넓게 해석해 인터넷의 ‘발견 필터’ 자체를 바꿀 수 있다.
🖼️ 인포그래픽
🖼️ 4컷 인포그래픽
💡 한 줄 요약
대형 소비자 인터넷 서비스는 사용자 행동의 상관관계로 추천과 발견을 만들어 왔지만, 대규모 언어 모델은 사물과 의도를 더 넓게 해석해 인터넷의 ‘발견 필터’ 자체를 바꿀 수 있다.
📌 핵심 요약
- 임계 규모에 도달한 소비자 인터넷 서비스는 사용자가 무엇을 사고, 보고, 클릭하는지를 관찰해 추천과 연결을 만들며, 이는 일종의 기계식 터크처럼 작동한다.
- 이 방식은 강력한 네트워크 효과를 만들지만, 충분한 사용자가 있어야 추천 품질이 올라가고 추천 품질이 있어야 사용자가 모이는 콜드 스타트 문제를 동반한다.
- 기존 추천 시스템은 구매·시청·클릭 사이의 상관관계는 알지만, 사용자가 왜 그런 행동을 했는지나 대상이 실제로 무엇을 의미하는지는 제대로 알지 못한다.
- 대규모 언어 모델은 텍스트, 이미지, 영상, 상품, 메타데이터를 더 넓은 패턴과 연결할 수 있어 기존 상관관계 기반 추천보다 ‘무엇’과 ‘왜’에 가까운 추론을 제공할 수 있다.
- 저자는 이것이 단순히 검색을 대체하는 문제가 아니라, 인터넷이 만든 무한한 상품·미디어·소매 환경에서 우리가 모르는 것을 찾고 보게 해주는 새로운 필터의 문제라고 본다.
🧩 주요 포인트
- 임계 규모에 도달한 소비자 인터넷 서비스는 사용자가 무엇을 사고, 보고, 클릭하는지를 관찰해 추천과 연결을 만들며, 이는 일종의 기계식 터크처럼 작동한다.
- 이 방식은 강력한 네트워크 효과를 만들지만, 충분한 사용자가 있어야 추천 품질이 올라가고 추천 품질이 있어야 사용자가 모이는 콜드 스타트 문제를 동반한다.
- 기존 추천 시스템은 구매·시청·클릭 사이의 상관관계는 알지만, 사용자가 왜 그런 행동을 했는지나 대상이 실제로 무엇을 의미하는지는 제대로 알지 못한다.
- 대규모 언어 모델은 텍스트, 이미지, 영상, 상품, 메타데이터를 더 넓은 패턴과 연결할 수 있어 기존 상관관계 기반 추천보다 ‘무엇’과 ‘왜’에 가까운 추론을 제공할 수 있다.
- 저자는 이것이 단순히 검색을 대체하는 문제가 아니라, 인터넷이 만든 무한한 상품·미디어·소매 환경에서 우리가 모르는 것을 찾고 보게 해주는 새로운 필터의 문제라고 본다.
🧠 상세 정리
1. 사용자 행동을 해석하는 대형 인터넷 시스템
저자는 임계 규모에 도달한 소비자 인터넷 시스템은 부분적으로 기계식 터크가 된다고 설명한다. 이런 시스템은 사용자가 무엇을 사고, 무엇을 검색하고, 어디를 클릭하는지 관찰한 뒤 그 행동에서 결론을 끌어낸다. 아마존은 많은 사람들이 특정 상품을 산 뒤 다른 상품을 함께 사는 경향을 보고 추천을 만들고, 구글 검색의 지배력도 사람들이 무엇을 검색하고 무엇을 클릭하며 다음에 무엇을 검색하는지를 보는 능력에 일부 기반한다. 핵심은 서비스가 직접 의미를 이해해서라기보다 대규모 사용자 행동을 누적해 패턴을 찾아낸다는 점이다.
2. 네트워크 효과와 콜드 스타트 장벽
이 방식은 강력한 네트워크 효과를 만든다. 사용자가 많을수록 추천, 제안, 연결이 더 정교해지고, 그 정교함이 다시 더 많은 사용자를 끌어들인다. 그러나 동시에 콜드 스타트 문제가 생긴다. 사용자가 없으면 좋은 추천과 연결을 제공하기 어렵고, 좋은 추천과 연결이 없으면 사용자를 확보하기 어렵기 때문이다. 저자는 이 문제가 소비자 인터넷 서비스뿐 아니라 모든 머신러닝 스타트업에도 적용되는 진입 장벽이라고 본다.
3. 상관관계는 알지만 의미와 이유는 모르는 한계
기존 시스템의 한계는 사용자가 왜 어떤 영상을 보거나 상품을 샀는지, 그 대상이 실제로 무엇인지를 충분히 알지 못한다는 데 있다. 아마존은 거의 10억 개에 가까운 상품을 다루지만, 상품에 대해 아는 것은 사람이 입력한 메타데이터와 구매 상관관계에 크게 의존한다. 인스타그램이나 틱톡도 비슷하게 콘텐츠와 사용자 반응 사이의 상관관계를 축적하지만, 그 이유를 이해한다고 보기는 어렵다. 저자는 이를 개가 열쇠 소리와 산책 사이의 높은 상관관계는 알지만 열쇠가 무엇인지는 모르는 상황에 비유한다.
4. 대규모 언어 모델이 만드는 이해의 전환
저자는 대규모 언어 모델이 최소한 자동화된 이해의 단계적 변화를 가져온다고 말한다. 모델은 단어, 이미지, 영상, 상품, 메타데이터를 보고 더 넓은 패턴과 연결할 수 있으며, 이는 일종의 이해 또는 훨씬 넓은 범위의 상관관계로 볼 수 있다. 예를 들어 유튜브가 자동차 추격 영상을 본 사람에게 비슷한 영상을 추천하는 수준을 넘어, 어떤 영상이 자동차 추격 장면을 포함하는지 더 직접적으로 파악할 가능성이 생긴다. 아마존의 경우 포장 테이프와 완충재 구매를 이사라는 맥락으로 해석하고, 주택 보험이나 인터넷 서비스처럼 구매 데이터만으로는 추론하기 어려운 항목까지 연결할 수 있다.
5. 콜드 스타트를 빌려 쓰는 가능성
저자는 이런 지식이 충분히 일반화된다면 반드시 자기 서비스 안의 사용자 기반을 통해서만 추천 시스템을 만들어야 하는 것은 아닐 수 있다고 본다. 과거 아마존이나 틱톡은 자기 플랫폼에서 사람들이 무엇을 하는지 관찰해 추천 시스템을 구축했지만, 앞으로는 범용 대규모 언어 모델의 추론을 제품에 연결하는 방식이 가능할 수 있다. 이 경우 서비스는 자체 기계식 터크를 처음부터 만들지 않고, 일종의 세계 모델에 API 호출을 하듯 콜드 스타트 문제를 빌려 해결할 수 있다. 인간의 역할도 현재 사용자 행동 관찰 지점에서 과거 수백 년 동안 축적된 훈련 데이터 생성 지점으로 이동한다.
6. 개인화 데이터와 새로운 발견 필터
콜드 스타트의 다른 절반은 개별 사용자가 어떤 사람인지 파악하는 문제다. 구글, 아마존, 메타, 틱톡, 틴더, 우버, 도어대시, 벤모 같은 회사들은 각자 사용자에 대해 무언가를 알지만, 모두 부분적인 시야만 가진다. 휴대전화는 이론적으로 더 넓은 시야를 가질 수 있으나 애플과 구글은 이에 조심스럽고, 휴대전화 역시 플랫폼이 왜 특정 이미지를 보여줬는지 같은 그래프까지 보지는 못한다. 에이전트형 대규모 언어 모델 비서는 사용자가 그것으로 쇼핑하고, 브라우저를 쓰고, 웨어러블을 사용한다면 또 다른 방식으로 사용자를 이해하는 부분적 관찰자가 될 수 있다. 저자는 구체적으로 어떻게 전개될지는 모른다고 선을 긋지만, 이것이 인터넷 이후 사라진 필터와 큐레이션을 대체할 새로운 종류의 필터라는 점이 검색 대체보다 더 큰 질문이라고 본다.
🧾 핵심 주장 / 시사점
- 기존 추천의 핵심 자산은 사용자 규모와 행동 데이터였지만, 대규모 언어 모델은 일부 추천·발견 기능을 범용 추론 능력으로 옮겨 콜드 스타트의 의미를 바꿀 수 있다.
- 문제의 중심은 단순한 추천 정확도가 아니라, 시스템이 상관관계만 보는지 아니면 상품·콘텐츠·사용자 의도 사이의 맥락을 더 넓게 연결할 수 있는지에 있다.
- 저자가 보는 AI의 더 큰 의미는 검색엔진 교체가 아니라, 무한한 인터넷 환경에서 사용자가 아직 알지 못하는 것을 찾게 해주는 새로운 필터의 등장이다.
✅ 액션 아이템
- 기존 추천의 상관관계 기반 판단을 정리해 ‘무엇을 보게 만드는지’와 ‘왜 보게 되는지’를 분리해 비교 기준을 정의한다.
- 기계식 터크형 추천에서 콜드 스타트가 생기는 사용자·품질 순환 고리를 분리해, 규모 확장 전후의 네트워크 효과를 점검한다.
- 대규모 언어 모델이 텍스트·이미지·영상·상품·메타데이터를 연결해 추론할 때 새 발견 필터가 기존 추천보다 어떤 차이를 만드는지 실험한다.
❓ 열린 질문
- 상관관계 추천을 핵심으로 유지해야 할 구간과 대규모 언어 모델 기반 ‘무엇·왜’ 탐색을 본격 도입할 구간은 어디인가?
- 콜드 스타트 해소를 위해 추천 품질 상승과 사용자 유입 사이의 선순환을 몇 명의 행동 신호부터 비교해야 적정 기준이 되는가?
- 인터넷의 무한한 상품·미디어·소매 환경에서 새 발견 필터가 실제로 미탐지 항목 노출을 늘리는지 어떻게 판단할 수 있는가?