Parallel''s Parag Agrawal: Building a New Web for AI Agents

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Parallel’s Parag Agrawal: Building a New Web for AI Agents를 중심으로, 에이전트 검색은 인간 검색의 확장이 아니라 별도의 인프라 문제다. 에이전트는 길고 구체적인 질의를 사용하고 인간보다 최대 1,00를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. 에이전트 검색은 인간 검색의 확장이 아니라 별도의 인프라 문제다. 에이전트는 길고 구체적인 질의를 사용하고 인간보다 최대 1,000배 많은 탐색을 수행할 수 있어, 클릭 데이터 중심의 색인·순위·광고 구조를 그대로 적용하기 어렵다.
2. 패러렐은 완전한 웹 색인을 먼저 구축하지 않고 검색 에이전트로 실제 조사 업무를 대체하는 전략을 택했다. 보험, 영업 데이터 보강, 금융 모델링 같은 고객 업무를 처리하면서 실시간 크롤링으로 색인을 보완하고 실제 작업 결과를 평가 데이터로 축적했다.
3. 핵심 기술은 더 큰 범용 모델이 아니라 정보 선택과 압축이다. 수조 개의 웹페이지에서 질의에 필요한 약 1,000개 토큰을 고르기 위해 다단계 검색·순위 모델, 최신성 색인, 지식 그래프형 구조, 메모리 계층별 배치와 후보 토큰 선택을 결합한다.
4. 에이전트가 웹의 주요 독자가 되면 콘텐츠 경제도 바뀌어야 한다. 광고 노출이나 단순 인용 횟수 대신 특정 콘텐츠가 최종 작업 품질에 더한 증분 가치를 평가하고, 콘텐츠의 희소성과 사용 업무의 가치에 따라 보상을 차등화해야 한다는 주장이다.
5. 장기적으로 웹은 요청을 기다리는 검색 도구에서 변화를 먼저 알리는 지속형 인프라로 전환된다. 백그라운드·다중 에이전트가 웹의 변화를 감시하고 사건이 발생할 때 작업을 시작하면서, 인간용 화면과 에이전트용 정보 구조를 함께 설계하는 평행 웹이 형성된다.

🧩 배경과 문제 정의

• 인간의 클릭과 짧은 키워드에 맞춰진 기존 검색은 자율적으로 일하는 인공지능 에이전트의 긴 질의, 대규모 탐색, 반복 작업을 효율적으로 지원하기 어렵다.
• 에이전트는 인간보다 훨씬 많은 검색을 수행하므로 웹 크롤링과 색인뿐 아니라 검색 품질을 평가하는 피드백 체계와 비용·지연시간 구조까지 새로 설계해야 한다.
• 패러렐은 인간의 클릭 데이터 대신 에이전트 피드백을 활용하고, 방대한 웹에서 필요한 정보만 압축해 모델의 문맥에 공급하는 검색 인프라를 구축한다.

🕒 시간순 섹션별 상세정리

1. 에이전트를 위한 검색 인프라의 필요성

• 인간 클릭 데이터는 에이전트 검색에 맞지 않으며, 실제 작업 결과에서 얻은 에이전트 피드백이 색인과 순위 평가의 기준이 되어야 한다. [01:49]
• 에이전트는 인간보다 최대 1,000배 많은 웹 탐색을 수행할 수 있으므로 검색 기술과 수익 모델을 함께 재설계해야 한다. [02:04]

2. 트위터와 다른 초기 스타트업의 피드백 구조

• 트위터는 수억 명이 매일 30분 이상 사용하는 제품 시장 적합성 이후의 사업이어서, 대규모 사용자 행동이 곧 제품 운영의 피드백으로 작동했다. [02:21]
• 패러렐은 아직 인터넷에 본격적으로 등장하지 않은 에이전트를 고객으로 가정하므로, 현재 사용자 데이터보다 매주 새롭게 드러나는 수요를 따라가야 한다. [02:44]

3. 웹 검색의 기본 구조와 대규모 매칭 문제

• 검색 엔진은 웹의 주소를 미리 수집하고 내용을 읽어 색인에 저장함으로써, 질의가 들어올 때마다 페이지를 처음부터 불러오는 비용을 줄인다. [04:07]
• 수천억 개의 페이지에서 최종적으로 5~10개 또는 하나의 답을 선택해야 하므로, 웹 검색은 수천억 페이지와 수천억 질의를 연결하는 매칭 문제다. [04:37]

4. 에이전트가 검색 시장의 진입 장벽을 낮춘 이유

• 기존 검색 경쟁자는 대규모 인간 평가와 클릭 데이터를 확보하기 어려웠지만, 모델과 에이전트는 검색 결과의 품질 평가 데이터를 더 저렴하게 만들 수 있다. [05:37]
• 고객 문제를 해결하면서 색인을 점진적으로 넓히면 완전한 검색 인프라에 선투자하지 않아도 되며, 이 경로가 신생 기업의 시장 진입을 가능하게 한다. [07:11]

5. 완전한 색인보다 검색 에이전트를 먼저 선택한 전략

• 초기 제품은 질의가 도착한 뒤 웹을 탐색하는 검색 에이전트였으며, 심층 조사의 1~10분 대기 시간을 활용해 부족한 사전 색인을 실시간 크롤링으로 보완했다. [07:53]
• 검색 엔진 자체와 처음부터 경쟁하는 대신 웹 자료를 조사하는 인간의 작업을 대체했고, 실제 고객 업무를 처리하면서 색인을 점진적으로 구축했다. [08:30]

6. 외주 조사 업무에서 확보한 실제 평가 데이터

• 초기 고객은 보험 인수와 보험금 청구, 영업 데이터 보강, 금융 모델링에 필요한 웹 자료 수집에 검색 에이전트를 사용했다. [09:03]
• 야간 외주 인력이 하던 데이터 선별을 자동화하면서 이론적 평가셋이 아니라 실제 업무 사례를 축적했고, 이를 통해 에이전트 검색의 요구사항을 구체화했다. [09:25]

7. 모델을 대체하지 않고 능력을 확장하는 연구

• 패러렐의 결과물은 독립적인 거대 모델이 아니라 기존 모델의 능력을 증폭하는 보완재이며, 더 좋은 기반 모델이 나올수록 적용 가능한 검색 사례도 늘어난다. [10:49]
• 수조 개 웹페이지에서 질의에 맞는 약 1,000개 토큰을 골라야 하므로, 거대 모델 사전학습보다 작은 순위 모델과 정보 압축 구조가 핵심 연구 대상이다. [11:57]

8. 제한된 지연시간 안에서 최적 정보를 선택하는 기술

• 검색 응답 시간이 3초에서 200밀리초로 줄면서 메모리 계층별 정보 배치와 후보 토큰 선택 모델이 검색 품질을 좌우한다. [12:22]
• 제한된 연산량과 지연시간 안에서 최선의 결과를 만들기 위해 기존 모델의 구조를 검색 문제에 맞게 조정하고 단계별 연산 자원을 배분한다. [12:47]

9. 검색 품질·비용·속도의 동시 최적화

• 패러렐 검색을 사용하면 에이전트의 토큰 사용량을 절반 이하로 줄이면서 정확도를 높이고 전체 작업 시간도 단축할 수 있다. [13:49]
• 검색 결과의 잡음을 줄이고 신호를 압축하면 모델은 같은 문제를 더 저렴하고 빠르게 처리하거나, 동일한 문맥 한도에서 더 복잡한 문제까지 다룰 수 있다. [14:05]

10. 인간과 에이전트가 검색 엔진에 전달하는 정보의 차이

• 인간은 오타가 섞인 두세 단어와 자동완성에 의존하지만, 에이전트는 더 길고 구체적인 질의를 작성해 검색 엔진이 사용자의 의도를 추측해야 하는 부담을 줄인다. [15:33]
• 검색 인터페이스는 짧은 키워드 입력에 머물지 않고, 에이전트가 보유한 맥락을 검색 시스템에 더 많이 전달하는 방향으로 바뀐다. [16:01]

11. 검색 최적화 콘텐츠가 생겨난 구조적 이유

• 기업의 최신 매출처럼 정확한 정보는 공시 문서 깊숙한 곳에 있지만, 인간은 느린 문서를 열어 수십 페이지를 이동하기보다 빠르게 요약된 페이지를 선택한다. [17:07]
• 검색 최적화 페이지는 300쪽 보고서에서 필요한 약 20개 정보를 화면 상단에 배치해 편의를 제공하지만, 권위 있는 원문보다 높은 순위를 차지하는 왜곡도 만든다. [18:03]

12. 에이전트가 권위 있는 원문을 직접 활용하는 방식

• 에이전트 검색은 사람이 문서를 열고 이동하도록 만들지 않고, 가장 권위 있는 출처에서 정확한 문단을 추출해 모델의 문맥 창에 넣는다. [18:54]
• 원문의 작은 구절을 일관되게 지정하기 어려웠던 브라우저 환경의 한계를 우회하면서, 편의성과 출처 신뢰성 사이의 기존 절충이 줄어든다. [19:15]

13. 질의에서 핵심 토큰까지 이어지는 검색 파이프라인

• 입력 질의를 분석하고 확장한 뒤 대형 색인, 최신성 색인, 지식 그래프형 구조 등 서로 다른 저장 체계에 맞게 질의를 다시 작성한다. [19:45]
• 수백억 개의 문서를 수천·수만 개 후보로 좁히고, 여러 단계의 검색·순위 모델로 문단과 발췌문을 선별해 최종 약 1,000개 토큰을 반환한다. [20:31]

14. 끝나지 않는 품질 개선과 모델 기업의 선택

• 수천억 대 수천억의 매칭 문제에는 완성 지점이 없으며, 추가 품질 향상으로 얻는 가치보다 연산 비용이 커지는 순간이 실질적인 한계가 된다. [22:03]
• 사전학습용 크롤링은 느린 자바스크립트 페이지처럼 토큰 수집 효율이 낮은 영역을 포기하지만, 최신 웹 검색은 이런 정보까지 완결성 있게 수집해야 한다. [23:52]

15. 구글 클라우드 제휴와 검색량의 폭발적 증가

• 구글 클라우드의 기업용 에이전트 환경에서 제미나이 등 다양한 모델에 웹 검색을 연결할 때, 구글 검색과 함께 패러렐 검색을 선택할 수 있다. [26:03]
• 일반 에이전트도 한 번의 응답에 5~20회 검색하고 심층 단계에서는 수백·수천 회까지 늘어나므로, 인간의 한 번의 요청이 검색량을 기하급수적으로 증폭한다. [28:07]

16. 반복 업무를 증폭시키는 백그라운드 에이전트

• 월별 포트폴리오 점검을 주간 작업으로 전환하면 에이전트가 매주 다수의 검색을 수행하고, 대시보드와 후속 조치 목록까지 자동으로 만든다. [30:00]
• 내부 데이터와 Parallel의 웹 검색 API를 연결한 회의 준비 에이전트는 회의마다 수십·수백 번 검색하며, 새로운 용도의 에이전트가 추가될수록 전체 검색량도 계속 늘어난다. [30:54]

17. 검색 품질·비용·속도의 단계적 최적화

• Parallel은 품질·비용·지연시간을 핵심 축으로 삼고, 초기에는 지연시간보다 검색 품질과 가격대별 비용 효율을 먼저 확보했다. [31:46]
• 품질과 비용 목표를 달성한 뒤 지연시간 최적화로 전환했으며, Turbo는 높은 검색 품질을 유지하면서 에이전트 웹 검색 속도를 크게 끌어올렸다. [32:23]

18. 아직 초기인 에이전트 검색 수요

• 전체 웹에서는 에이전트 검색이 인간 검색을 넘어섰다고 보기 어렵고, 기술 업계 밖에서는 에이전트라는 개념 자체가 아직 널리 보급되지 않았다. [32:47]
• 개인이 과거 하루 20~30회 검색했다면 여러 에이전트가 대신 일하는 환경에서는 검색량이 수백 배에서 천 배까지 늘 수 있지만, 이런 사용자는 아직 예외에 가깝다. [33:29]

19. 무료 웹을 지탱해 온 광고의 경제성

• 광고는 Google 검색·Twitter와 수많은 웹 콘텐츠를 무료로 제공할 수 있게 만든 기반이며, 이용자별 지불 능력과 상업적 가치를 다르게 반영하는 효율적인 수익화 방식이다. [34:48]
• Google은 대부분의 검색에서 직접 수익을 내지 못해도 일부 고가치 검색의 광고 수익으로 전체 서비스를 보조하며, 이런 차등 가격 구조가 높은 수익성을 가능하게 한다. [35:42]

20. 에이전트 방문이 깨뜨리는 기존 수익 모델

• 콘텐츠 사업자는 인간 방문을 늘리려고 검색 최적화에 비용을 쓰면서도, 수익으로 연결할 방법이 없는 에이전트 접근은 차단해야 하는 모순에 직면한다. [36:40]
• 구독 사업자가 인간 방문자 1,000명 중 20명을 유료 고객으로 전환하던 통계는 익명 에이전트에 적용하기 어렵고, 에이전트 접근이 구독으로 이어질지 무상 소비로 끝날지도 알 수 없다. [37:20]

21. 새로운 콘텐츠 거래 모델의 필수 조건

• 광고 시스템과 데이터 라이선스 거래의 경험을 바탕으로, AI 추론 시대의 콘텐츠 거래에는 사용 가치와 기여도를 함께 반영하는 구조가 필요하다. [39:09]
• 희소하고 고품질인 콘텐츠에는 더 높은 가격을 지급하고, 같은 콘텐츠라도 고부가가치 업무에 쓰이면 더 많이 지급하는 이중 차등 가격이 핵심이다. [39:26]

22. 콘텐츠의 증분 가치를 계산하는 방법

• 하나의 답변을 만들기 위해 여러 검색 결과가 결합되므로, 단순 인용 횟수보다 특정 콘텐츠가 최종 결과의 품질을 얼마나 높였는지를 측정해야 한다. [40:48]
• 특정 콘텐츠를 검색 말뭉치에서 제외한 뒤 에이전트의 결과 품질이 얼마나 하락하는지 비교하고, 추가 연산이나 더 나은 모델로 그 손실을 복구하는 비용을 계산할 수 있다. [41:25]

23. 섀플리 값이 만드는 공정한 기여도 배분

• 섀플리 값은 여러 참여자의 협업으로 전체 가치가 각자의 단순 합보다 커졌을 때, 모두가 계속 협력할 유인을 갖도록 증가분을 나누는 게임이론적 방법이다. [42:18]
• 세 참여자의 일부 조합이 빠진 모든 경우를 비교하면 각 참여자가 전체 성과에 더한 한계 기여도를 계산할 수 있으며, 머신러닝에서는 특성 중요도 산정에도 유사한 원리가 쓰인다. [42:43]

24. 검색 시뮬레이션과 모델을 통한 가치 추정

• 웹 검색에서는 특정 URL·도메인·출처 묶음을 제외한 상태로 에이전트를 실행하고 품질 변화를 평가해, 콘텐츠별 기여도를 학습할 데이터를 만들 수 있다. [43:47]
• 콘텐츠 소유자에게 1달러를 배분하려고 정확한 섀플리 값을 계산하는 데 수 달러가 들 수 있어 직접 계산은 비경제적이지만, 충분한 시뮬레이션 데이터와 모델로 근사할 수 있다. [44:14]

25. 업무 가치에 연동되는 콘텐츠 보상

• 고유하고 차별화된 데이터를 보유한 콘텐츠 소유자는 더 많이 보상받고, 같은 자료도 고가치 금융 업무에 쓰일 때와 개인적 열람에 쓰일 때 서로 다른 가격을 적용할 수 있다. [45:46]
• 지식 노동용 LLM 추론비의 약 2~10%를 웹 데이터에 배분해도 폐쇄형 플랫폼을 제외한 현재 웹 데이터 시장 전체보다 큰 규모가 될 수 있다. [46:13]

26. ‘Parallel’이라는 이름과 이중 독자 개념

• 회사의 최초 법인명은 섀플리 값에서 따온 Shapley Inc.였지만, 기업용 제품명으로 적합하지 않고 관련 닷컴 도메인도 확보하기 어려워 임시 이름에 머물렀다. [47:46]
• 약 6~8개월의 탐색 끝에 병렬 처리 방식과 AI를 위한 별도 웹이라는 두 의미를 담아 Parallel이라는 이름을 선택했다. [48:44]

27. 이미 시작된 에이전트 우선 출판

• 실적 발표문 같은 고가치 정보는 오디오를 듣거나 원문을 직접 읽는 사람보다 에이전트를 통해 소비하는 사람이 더 많아졌을 가능성이 크며, 일부 웹 영역은 이미 에이전트 우선으로 전환됐다. [49:36]
• 상장사 경영진은 실적 발표 내용이 인간 청중뿐 아니라 에이전트에도 정확히 전사·해석되도록 문장과 정보 구조를 설계필요가 있다. [50:03]

28. 도구형 에이전트에서 다중 에이전트로

• 첫 단계에서는 인간이 쓰던 검색 도구를 모델에 그대로 제공해 단순 에이전트를 만들며, 현재 대부분의 에이전트 작업과 추론이 이 수준에 있다. [51:03]
• 다음 단계에서는 하위 에이전트들이 서로 작업을 깨우고 조율하는 다중 에이전트 시스템이 등장하며, 코딩 도구와 AI 과학자처럼 장시간 대규모 연산·데이터를 투입하는 작업으로 확장된다. [51:36]

29. 요청형 웹에서 알림형 웹으로

• 현재 에이전트는 도구나 하위 에이전트에 즉시 요청을 보내 정보를 가져오는 풀 방식으로 웹을 사용한다. [52:18]
• 향후 웹은 특정 사건이 발생하면 Parallel이 에이전트나 인간에게 먼저 알리는 푸시 방식으로 바뀌며, 지속적인 조건 감시가 일회성 검색을 대체한다. [52:47]

30. 변화 감지 피드가 만드는 지속형 에이전트 웹

• 위성 이미지 변화, 고객 발언, 다른 에이전트의 연산 완료, 인간의 새로운 통찰 같은 사건들이 새로운 에이전트 작업을 시작하는 입력 피드가 된다. [53:28]
• 웹 전체에서 달라진 정보를 모은 피드는 단발성 질문 대신 장기적인 관심 조건을 감시하고, 실행 가능한 변화가 발생했을 때 담당 에이전트를 호출한다. [53:55]

🧾 결론

• 패러렐의 경쟁력은 검색 결과를 많이 수집하는 데 있지 않고, 실제 에이전트 작업에 필요한 신뢰도 높은 정보를 제한된 토큰·비용·지연시간 안에서 선별하는 데 있다.
• 검색 에이전트로 고객 업무를 먼저 해결하고 그 과정에서 평가 데이터와 색인을 축적한 접근은, 기존 검색 사업자의 클릭 데이터 장벽을 우회하는 현실적인 시장 진입 전략이다.
• 에이전트 트래픽이 확대될수록 검색 인프라와 함께 콘텐츠 접근권, 기여도 측정, 보상 배분을 연결하는 새로운 거래 체계가 필요해진다.
• 최종적으로 새로운 웹의 단위는 페이지 방문이 아니라 에이전트가 사용할 수 있는 정확한 문단, 압축된 토큰, 감지된 변화와 실행 가능한 신호가 될 가능성이 크다.

📈 투자·시사 포인트

• 에이전트가 한 작업에서 수십 회부터 수천 회까지 검색하면 사용자 수보다 작업당 검색량이 시장 성장을 좌우할 수 있으며, 검색 API와 색인 인프라의 사용량이 크게 확대될 수 있다.
• 기반 모델의 성능 향상은 패러렐 같은 검색 보완재를 대체하기보다 적용 가능한 업무 범위를 넓힐 수 있다는 점에서 모델 발전과 검색 인프라가 상호 보완적인 구조를 가진다.
• 품질·비용·지연시간을 동시에 개선하는 기업은 에이전트 개발사가 직접 검색 인프라를 구축할 때의 비용과 복잡성을 줄여 구매·제휴 선택을 유도할 수 있다.
• 콘텐츠 보상 시장이 형성되려면 인용량이 아니라 결과 품질에 대한 한계 기여도를 측정하고 이를 저비용으로 근사하는 평가 체계가 핵심 기반이 된다.
• 인간 방문과 광고에 의존한 콘텐츠 사업자는 에이전트가 읽기 쉬운 원문 구조, 기계가 활용할 수 있는 정확한 출처 단위, 사용 가치에 연동된 라이선스 모델을 함께 준비해야 한다.

⚠️ 불확실하거나 확인이 필요한 부분

• 패러렐 검색이 토큰 사용량을 절반 이하로 줄이면서 정확도와 처리 속도를 높인다는 설명에는 비교 대상, 평가셋, 업무별 수치가 제시되지 않아 독립적인 성능 검증이 필요하다.
• 에이전트가 인간보다 최대 1,000배 많은 검색을 수행한다는 전망은 가능한 사용 패턴을 보여주지만, 현재 전체 웹에서 에이전트 검색이 인간 검색을 넘어섰다는 근거는 아니다.
• 콘텐츠를 제외했을 때 발생하는 품질 손실로 기여 가치를 계산하고 섀플리 값을 근사하는 방식은 개념적으로 타당하지만, 복잡한 실제 시장에서 평가 비용·조작 방지·보상 합의가 해결됐는지는 확인되지 않았다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 에이전트 검색 서비스를 평가할 때 정확도뿐 아니라 작업당 검색 횟수, 입력·출력 토큰, 전체 지연시간, 검색 비용을 함께 측정한다.
• 검색 결과가 요약 페이지보다 공시·보고서·공식 문서의 정확한 문단을 우선 사용하고 출처를 추적할 수 있는지 점검한다.
• 반복 조사 업무 중 변화 감지와 정기 모니터링으로 전환했을 때 업무 가치가 추가 검색·연산 비용보다 큰 사례를 선별한다.
• 콘텐츠를 운영한다면 핵심 사실, 출처, 문서 구조와 API·SDK 문서를 인간뿐 아니라 에이전트도 정확히 해석할 수 있는 형태로 시험한다.

❓ 열린 질문

• 에이전트 피드백이 검색 순위를 개선하는 동시에 특정 모델이나 고객 업무에 과도하게 최적화되는 문제를 어떻게 방지할 수 있을까?
• 콘텐츠의 증분 가치를 계산할 때 사실의 희소성, 출처의 권위, 최종 업무의 경제적 가치를 누가 어떤 기준으로 평가할까?
• 에이전트가 인간 방문을 대체하는 환경에서 광고·구독·라이선스 중 어떤 조합이 무료 웹의 생산 비용을 지속적으로 보상할 수 있을까?