Training Data vs. Retrieved Data vs. Live Web Data: What Data Makes Your AI Agent Smarter

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

AI 에이전트의 추론·표현을 형성하는 학습 데이터, 내부 지식을 제공하는 RAG, 현재 공개 정보를 가져오는 실시간 웹 데이터는 서로 다른 한계를 보완하는 세 가지 데이터 계층이다.

📌 핵심 요약

• 학습 데이터는 모델의 추론과 문체를 형성하지만 지식은 학습 기준일에 묶인다. 원문은 기준일이 현재보다 흔히 12~18개월 뒤처지고, 실제 유효 기준일은 공급자가 공개한 날짜보다 더 이를 수 있다고 설명한다.
• RAG는 추론 시 벡터 데이터베이스에서 관련 문서를 검색해 질문과 함께 문맥에 넣어, 모델을 재학습하지 않고 내부·독점 지식을 활용하게 한다. 원문은 가중치만으로 답할 때보다 환각이 40~71% 감소한다는 연구 결과를 인용한다.
• RAG는 제품 문서, 지원 이력, 내부 정책, CRM 기록 등에 적합하지만 청킹, 임베딩, 검색 알고리즘에 따라 품질이 달라진다. 128K 또는 200K 토큰 문맥 창도 유한하므로 관련 문서를 선별해야 한다.
• 실시간 웹 데이터는 질문 시점에 공개 인터넷에서 가격, 제품 버전, 경쟁사 변화, 뉴스, 보안 권고 등을 가져온다. 저자는 GPT-5.5 출시 정보를 웹 검색 없이 확인하지 못했지만 검색을 켜자 검증할 수 있었다고 서술한다.
• Firecrawl의 검색 엔드포인트는 웹 검색과 스크래핑을 한 번의 API 호출로 처리해 정돈된 Markdown을 반환한다. Firecrawl Developer Index는 README, GitHub 이슈, 풀 리퀘스트, 선별된 문서를 대상으로 매일 갱신되는 검색 기반을 제공한다고 소개된다.

🧩 주요 포인트

1. 학습 기준일과 실제 유효 기준일의 차이 → 유창하고 확신에 찬 답변만으로 최신 사실의 정확성을 판단하기 어렵다.
2. RAG의 내부 지식 접근과 검색 품질·문맥 창 제약 → 문서 보유량보다 질문에 맞는 근거를 찾아 제공하는 과정이 답변 품질을 좌우한다.
3. 실시간 웹 데이터의 질문 시점 조회와 Firecrawl의 검색·스크래핑 통합 → 빠르게 변하는 공개 정보는 필요할 때 가져와 학습 데이터와 RAG의 공백을 보완할 수 있다.

🧠 상세 정리

1. 세 가지 데이터 계층이 필요한 배경

Ninad Pathak의 글은 AI 에이전트의 유용성을 학습 데이터, 검색된 데이터, 실시간 웹 데이터라는 세 계층으로 설명하며 시작한다. 원문은 ChatGPT 3.5가 출시 후 사용자 1억 명에 도달하며 빠르게 성장했지만, 당시 지식이 2021년 9월에 멈춰 있어 사용자가 요청해도 새로운 정보를 알지 못했다는 문제를 제시한다. 이어 OpenAI가 사용자별 대화 정보에 접근하게 하고 웹 검색을 도입하면서, 반복적인 정보 전달을 줄이고 실시간 사실을 가져올 수 있게 됐다고 서술한다. 이 흐름에서 학습 데이터는 추론과 글쓰기의 바탕, RAG는 내부·독점 지식에 대한 접근, 실시간 웹 데이터는 현재 공개 인터넷에 대한 접근을 담당한다. 글의 핵심은 어느 한 계층이 모든 문제를 해결한다는 것이 아니라, 서로 다른 역할과 한계를 이해하고 에이전트에 필요한 정보를 제공하는 데 있다.

2. 학습 데이터의 작동 방식과 강점

학습 데이터에는 수억 개의 웹페이지, 책, 코드 저장소, 학술 논문, 대화문, 소셜미디어 게시물과 댓글 등이 포함되며, 음성·이미지 모델은 각각 음성·이미지 데이터로 학습한다. 원문에 따르면 모델은 이 자료를 직접 저장하는 대신 토큰 사이의 통계적 관계를 학습하고, 이를 수십억 개의 수학적 매개변수인 가중치에 압축한다. Beethoven을 물었을 때 웹 검색 없이 독일 작곡가, 피아니스트, 클래식 음악과 연결된 답을 만들 수 있다는 예시는 이러한 관계 학습을 설명한다. 경사 하강법 설명, SQL 쿼리 작성, TLS 핸드셰이크 설명처럼 오랫동안 크게 변하지 않고 학습 자료에 충분히 등장한 주제에서는 이 계층이 잘 작동한다고 글은 주장한다. 또한 기술 명세, 가벼운 Slack 메시지, 공식적인 법률 요약처럼 다양한 표현 양식을 만들어 내는 능력도 학습 데이터에서 비롯된다고 설명한다.

3. 학습 기준일과 오래된 지식의 위험

학습 기준일 이후의 기술이나 제품을 물으면 모델은 그럴듯한 허구를 만들거나, 과거에만 맞았던 정보를 답하거나, 사용자가 제시한 사실을 부정할 수 있다고 원문은 설명한다. 저자는 작성 당시 GPT-5.5가 출시됐다고 전제하면서, 웹 검색을 끈 모델이 해당 출시를 알지 못하고 추측으로 여겼다는 경험을 제시한다. 또한 2024년 Johns Hopkins 연구를 인용해, 일부 사전학습 데이터셋은 공개 기준일이 2023년임에도 유효 기준일이 2019년에 해당했으며 CommonCrawl에서 가져온 문서의 80% 이상이 오래된 버전이었다고 서술한다. 이 사례에서는 중복 제거 실패로 오래된 유사 문서가 새 문서와 함께 남아 있었다는 설명도 덧붙인다. 원문은 미세조정을 출력 형식과 전문 용어 등 행동을 조정하는 수단으로 구분하고, 새로운 사실을 계속 반영하는 해결책으로 보지 않는다. 대규모 모델의 학습은 느리고 비용이 높아 매달 재학습하기 어렵다는 점이 다른 데이터 계층을 필요로 하는 근거로 이어진다.

4. RAG의 근거 제공 방식과 연구 주장

RAG는 추론 시점에 벡터 데이터베이스에서 관련 정보를 검색하고, 이를 사용자 질문과 함께 모델의 문맥 창에 넣는 방식으로 소개된다. 모델이 실제 문서를 바탕으로 추론하도록 하는 이 과정은 LLM grounding이라고도 불리며, 내부·독점 자료를 사용하기 위해 기반 모델을 다시 학습할 필요가 없다는 장점이 있다. 원문은 가중치만으로 추론하는 경우와 비교해 RAG가 환각을 40~71% 줄인다는 연구 결과를 제시하지만, 이 수치를 모든 구현의 보장된 성능으로 설명하지는 않는다. 별도로 2024년 NAACL 논문이 기업 환경에서 구조화된 출력의 환각을 줄이고 학습 영역 밖 질문에 대한 일반화를 개선했다고 소개하며, 답변의 출처 문서를 확인할 수 있는 인용 기능도 강조한다. Google의 NotebookLM은 무료 요금제에서 최대 50개 소스 문서를 추가할 수 있는 사례로 등장하고, 저자는 추가한 자료에 강하게 근거하므로 환각을 드물게 보게 된다고 평가한다.

5. RAG에 적합한 자료와 도입 사례

RAG의 주요 활용 대상은 공개 학습 데이터에 없던 내부 콘텐츠이며, 제품 문서와 도움말을 통해 Pro 요금제 기능, 환불 정책, 온보딩 문제 등에 답하는 사례가 먼저 제시된다. 가격 등급이 바뀌면 해당 페이지를 다시 색인하며, Docusaurus나 GitBook 또는 자체 구축 문서 사이트를 가져오는 작업이 흔한 초기 RAG 프로젝트라고 설명한다. 지원 이력에서는 과거 해결책, 알려진 버그, 상위 지원 단계로 넘긴 사례를 활용할 수 있고, 50,000개의 과거 티켓에 접근하는 에이전트가 신규 담당자가 떠올리기 어려운 해결책을 찾는 예시가 나온다. Confluence, Notion, Google Drive의 정책·위키, 고객 이력과 계정 등급을 담은 CRM, 계약서와 재무 요약 등 내부 파일도 활용 대상으로 열거된다. Retell AI의 전화 에이전트는 고객마다 맞춤 스크래퍼를 만들던 방식에서 자료 수집 파이프라인으로 전환한 뒤, URL 목록만 받아 고객별 별도 코드 없이 최신 지식 기반을 제공하게 됐다는 사례로 소개된다.

6. 검색 품질과 문맥 창의 제약

RAG의 답변 품질은 문서를 어떤 단위로 나누는 청킹 전략, 임베딩 모델, 검색 알고리즘에 크게 좌우된다고 원문은 강조한다. 문서 분할이 부적절하거나 임베딩이 사용자의 질문 표현과 맞지 않으면 검색이 조용히 실패하고, 모델이 검색 근거 대신 학습 데이터에서 답을 만들어 낼 수 있다. 따라서 자료를 지식 기반에 넣었다는 사실만으로 관련 근거가 실제 답변에 사용됐다고 볼 수 없다는 문제가 생긴다. 128K 또는 200K 토큰을 지원하는 모델도 문맥 공간은 유한하므로 전체 지식 기반을 한 번의 프롬프트에 모두 넣을 수 없고, 질문에 맞는 자료를 선별해야 한다. 이 때문에 질문 이해와 검색 결과 재정렬이 중요한 과제로 제시되며, Firecrawl의 스크래핑 엔드포인트로 경쟁사 페이지를 Markdown으로 가져와 내부 문서와 함께 색인할 수 있다는 활용 팁도 덧붙는다.

7. 실시간 웹 데이터와 RAG의 차이

실시간 웹 데이터는 질문이 들어오는 시점에 인터넷에서 가져오는 콘텐츠로, 가격 페이지, API 변경 기록, GitHub 이슈, 뉴스 기사, 경쟁사 문서 등이 포함된다. 원문은 이 계층을 현재 공개 인터넷을 보는 수단으로 구분하고, 공개 웹사이트 탐색과 API 조회, 동적 콘텐츠 스크래핑을 통해 최신 정보에 근거한 답변과 행동이 가능해진다고 설명한다. 저자는 GPT-5.5 출시를 언급한 다른 대화에서 웹 검색을 켜자 정보를 찾아 사실을 검증할 수 있었다는 경험을 앞선 검색 비활성화 사례와 연결한다. 기술 변화가 빠른 상황에서 새 정보를 계속 RAG 데이터베이스에 추가하는 것만으로 대응하기는 지속 가능하지 않다는 것이 실시간 조회를 강조하는 이유다. 에이전트를 직접 만들 때는 검색과 스크래핑을 구현하면서 프록시, 헤드리스 브라우저, 사용자 에이전트 등을 다뤄야 하며, Firecrawl은 검색과 스크래핑을 한 API 호출로 처리하고 정돈된 Markdown을 반환하는 수단으로 소개된다.

8. 실시간 조회의 활용 범위와 제공된 본문의 한계

실시간 조회의 첫 활용처는 현재 가격과 제품 버전이며, 원문은 PyPI를 직접 조회해 현재 라이브러리 버전을 반환하는 예시를 들어 오래된 답이 사용자 코드를 깨뜨릴 수 있다는 문제를 설명한다. 경쟁사 조사에서는 RAG 색인에 없는 가격 페이지, 기능 비교, 제품 발표를 가져와 현재 게시된 내용을 바탕으로 답할 수 있다고 제시한다. 빠르게 변하는 기술 분야에서는 한 번의 검색으로 변경 기록, 출시 글, 관련 문서를 함께 얻을 수 있고, Firecrawl Developer Index는 README, GitHub 이슈, 풀 리퀘스트, 선별된 문서를 대상으로 매일 갱신되는 검색 기반으로 소개된다. 뉴스와 보안 권고의 경우 CVE, 규제 변경, 상위 의존성의 호환성을 깨뜨리는 변경처럼 시간이 지나며 달라지는 권위 있는 공개 자료가 중요하다고 설명한다. 제공된 source_body는 이후 'Internal knowledge. An'에서 끊기므로, 목차에 예고된 비교표와 상세 구현 방법, 세 계층을 결합한 에이전트에 대한 후속 설명은 이 자료만으로 확인할 수 없다.

🧾 핵심 주장 / 시사점

• 모델의 표현 능력과 정보의 최신성은 구분해야 한다. 학습 데이터가 답변을 유창하게 만들어도 학습 기준일 이후의 사실을 정확히 안다는 뜻은 아니다.
• RAG의 효과는 내부 자료에 접근할 수 있다는 점과 관련 근거를 실제로 검색해 문맥에 넣을 수 있다는 점이 함께 충족될 때 나타난다.
• 공개 정보의 변화 속도가 빠를수록 질문 시점에 조회하는 실시간 웹 데이터의 역할이 커지며, 이미 색인된 자료를 활용하는 RAG와 상호 보완 관계를 이룬다.

✅ 액션 아이템

• 학습 데이터에 의존하는 답변의 최신성을 판단할 때 공개 학습 기준일과 실제 유효 기준일의 차이를 고려한다.
• RAG 답변의 근거 확보를 위해 청킹, 임베딩, 검색 알고리즘과 128K 또는 200K 토큰 문맥 창의 제약을 함께 검토한다.
• 현재 가격, 제품 버전, 경쟁사 변화, 뉴스, 보안 권고를 다루는 질문에는 실시간 웹 데이터 조회를 적용한다.

❓ 열린 질문

• 공개 학습 기준일과 실제 유효 기준일이 다를 수 있다면, 학습 데이터에 의존한 답변의 최신성을 어떻게 판단할 수 있는가?
• RAG의 환각 감소가 40~71%로 제시된 상황에서, 청킹·임베딩·검색 알고리즘에 따른 답변 품질 차이는 어떻게 확인할 수 있는가?
• 현재 가격, 제품 버전, 경쟁사 변화에 관한 질문에서 RAG의 색인 자료와 실시간 웹 데이터 조회를 선택하는 기준은 무엇인가?