Automating Web Research

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

LangChain 팀은 자율 웹 연구 에이전트를 실험한 뒤, 병렬 검색과 문서 검색을 결합한 단순하고 설정 가능한 리트리버를 구현했다.

📌 핵심 요약

• 초기 에이전트는 검색, 페이지 전체 내용 수집, 관련 정보 추출 도구를 사용했지만 반복적인 탐색 과정이 느렸다.
• 개선된 리트리버는 LLM으로 여러 검색어를 생성하고, 검색과 페이지 수집을 병렬로 수행한 뒤 벡터 저장소에서 관련 문서 조각을 검색한다.
• LangChain은 새 리트리버와 설정 문서를 제공했으며, LangSmith로 검색 과정을 추적하고 예시 질문에 관련된 출처의 문서 조각이 검색되는지 확인했다.
• LlamaV2와 GPT4all 임베딩을 사용하는 비공개 실행 구성을 제시했으며, 약 50줄의 Streamlit 인터페이스에서 LLM, 벡터 저장소, 검색 도구를 선택할 수 있도록 했다.
• 향후 확장 방향으로 초기 검색 이후 추가 정보의 필요성을 판단하는 기능과 답변 작성·수정 에이전트를 제안했으며, 경량 웹 연구 도구의 장점으로 개인정보 보호, 구성 선택권, 관측 가능성을 강조했다.

🧩 주요 포인트

1. 반복 탐색의 지연 → 여러 검색과 페이지 수집을 병렬화하고 관련 문서 조각을 모으는 리트리버 구조로 전환했다.
2. 비공개 실행 구성과 구성 요소 선택권 → 웹 연구 도구를 개인정보 보호 요구와 사용 환경에 맞게 조정할 수 있다.
3. LangSmith 추적과 추가 정보 판단·답변 작성·수정 기능 제안 → 현재 검색 과정의 검증과 향후 에이전트 기능 확장을 구분해 제시했다.

🧠 상세 정리

1. 자율 웹 연구 에이전트에서 출발한 실험

LangChain 팀은 웹 연구를 LLM의 유력한 활용 분야로 보고, 자율적으로 웹을 탐색하는 에이전트 구현에서 출발했다. Greg Kamradt가 웹 연구를 원하는 AI 도구로 꼽고 gpt-researcher 같은 공개 저장소가 인기를 얻는 상황이 배경이었다. 초기 에이전트에는 검색 결과 페이지를 반환하고, 페이지 전체 내용을 수집하며, 관련 정보를 추출하는 도구를 제공했다. 이는 사람이 주제를 검색하고 링크를 고른 다음 유용한 내용을 훑어보고 다시 검색하는 과정을 모방한 구성이었다. 그러나 실제 실험에서는 에이전트 역시 이 반복적인 탐색 과정을 느리고 매끄럽지 못하게 수행했다.

2. 병렬 처리와 리트리버로의 전환

팀은 여러 검색을 동시에 시작하고 여러 페이지를 병렬로 읽을 수 있다는 점에 주목했다. 순차 검색의 첫 번째 글만으로 충분한 정보를 얻을 수 있다면 병렬 처리는 불필요한 작업을 늘릴 위험이 있다고 인정했다. 다만 AI 연구 도구가 필요한 복잡한 질문에서는 이러한 비효율의 우려가 어느 정도 줄어든다고 보았다. 이에 병렬 처리를 지원하는 기본 도구를 추가하고, 수집한 페이지에서 가장 관련성 높은 문서 조각을 가져와 LLM의 문맥 창에 넣어 종합하는 방식을 구상했다. 이 과정에서 처음의 에이전트 설계가 리트리버로 바뀌고 있음을 인식했으며, 에이전트적 기능은 이후에도 보완할 수 있다고 설명했다.

3. 검색어 생성부터 관련 문서 검색까지

제안한 리트리버는 먼저 한 번의 LLM 호출로 질문과 관련된 여러 검색어를 생성한다. 이어 검색어별 검색을 병렬로 실행하고 각 검색어에서 상위 K개 링크를 선택한다. 선택한 링크의 페이지 내용을 병렬로 수집한 다음, 문서를 벡터 저장소에 색인한다. 마지막으로 처음 생성한 각 검색어에 대해 가장 관련성 높은 문서를 검색한다. 팀은 이 단계들이 검색 증강 생성의 흐름에 해당하며, 에이전트 자체는 아니지만 gpt-researcher의 에이전트 구조와 논리적으로 유사하다고 설명했다. 이러한 유사성을 접근 방향의 타당성을 점검하는 근거로 삼고, 새 LangChain 리트리버와 사용·설정 문서를 제공했다.

4. LangSmith를 통한 확인과 비공개 실행

팀은 LLM 기반 자율 에이전트가 어떻게 작동하는지를 묻는 예시 질문으로 리트리버의 검색 과정을 설명했다. LangSmith 추적을 통해 실행 과정을 시각화하고 확인했으며, Lilian Weng의 에이전트 관련 블로그 글에서 문서 조각을 불러오고 검색하는 모습을 제시했다. 이 사례는 예시 질문에 적절한 출처가 사용되는지 관찰한 결과로 소개됐다. 같은 처리 과정은 LlamaV2와 GPT4all 임베딩을 사용해 비공개 모드로 실행하도록 설정할 수 있다고 밝혔다. 또한 Mac M2 Max GPU에서 실행한 추적 사례와 함께 초당 약 50토큰의 처리 속도를 제시했다.

5. 간단한 인터페이스와 구성 선택권

팀은 리트리버를 실제로 사용할 수 있도록 약 50줄의 코드로 작성한 간단한 Streamlit 인터페이스를 덧붙였다. 이 인터페이스는 사용자가 원하는 LLM, 벡터 저장소, 검색 도구를 선택해 구성할 수 있도록 설계됐다. 본문은 관련 자료로 웹 연구 도구 저장소, 새 LangChain 리트리버 문서, 호스팅된 Streamlit 앱을 안내했다. 이는 초기의 자율 에이전트 구상에서 도달한 비교적 단순하고 효율적이며 맞춤 설정이 가능한 리트리버를 애플리케이션으로 감싼 구현이다. 팀은 결론에서도 단순성과 설정 가능성을 결과물의 특징으로 정리하면서, 이번 구현을 웹 연구 자동화를 위한 첫 단계로 규정했다.

6. 추가 에이전트 기능과 경량 도구의 가치

팀은 후속 확장으로 초기 검색을 마친 뒤 더 많은 정보가 필요한지 LLM에 묻는 기능을 제안했다. 최종 답변을 구성할 때 여러 작성 에이전트와 수정 에이전트를 사용하는 방안도 제시하고, 기본 저장소에 대한 기여를 요청했다. 이러한 기능은 구현 완료된 결과가 아니라 리트리버를 개선할 수 있는 다음 단계로 설명됐다. 한편 Bard나 Perplexity.ai처럼 대형 모델을 활용하는 호스팅 AI 검색의 성능을 높게 평가하면서도 경량 웹 연구 도구의 장점을 강조했다. 구체적으로 외부에 데이터를 공유하지 않는 로컬 실행의 개인정보 보호, 사용할 공개 구성 요소의 선택권, LangSmith로 내부 동작을 들여다볼 수 있는 관측 가능성을 들었다.

🧾 핵심 주장 / 시사점

• 웹 연구 자동화 실험에서는 사람의 반복 탐색을 모방하는 방식에서 벗어나 병렬 수집과 관련 문서 검색을 결합하면서 구조가 단순해졌다.
• 병렬 검색은 복잡한 질문에 유용할 수 있지만, 첫 번째 자료만으로 답할 수 있는 질문에서는 불필요한 작업을 늘릴 수 있다는 절충이 있다.
• 본문은 경량 웹 연구 도구의 가치를 검색 성능뿐 아니라 개인정보 보호, 구성 선택권, 내부 동작을 확인할 수 있는 관측 가능성으로 설명한다.

✅ 액션 아이템

• 웹 연구의 반복 탐색 지연을 줄이기 위한 병렬 검색·페이지 수집과 리트리버 구조의 적용 가능성 검토.
• 개인정보 보호 요구에 맞춰 LlamaV2와 GPT4all 임베딩을 사용하는 비공개 실행 구성 검토.
• LangSmith로 검색 과정을 확인하고, 추가 정보 판단 및 답변 작성·수정 에이전트의 확장 필요성 검토.

❓ 열린 질문

• 병렬 검색과 페이지 수집은 초기 에이전트의 반복 탐색보다 지연을 얼마나 줄였는가?
• LlamaV2와 GPT4all 임베딩을 사용하는 비공개 실행 구성에서 개인정보 보호는 어떤 범위까지 보장되는가?
• 초기 검색 이후 추가 정보의 필요성을 판단하는 기능은 어떤 기준으로 검색을 계속하거나 종료할 것인가?