Introducing Web Search on Amazon Bedrock for foundation model grounding
Quick Summary
아마존 베드록 웹 검색은 최신 웹 지식의 검색·추출·인용을 서버 측 단일 호출로 처리해 기반 모델의 최신성 부족과 환각을 줄이는 내장형 그라운딩 기능이다.
🖼️ 인포그래픽
🖼️ 4컷 인포그래픽
💡 한 줄 요약
아마존 베드록 웹 검색은 최신 웹 지식의 검색·추출·인용을 서버 측 단일 호출로 처리해 기반 모델의 최신성 부족과 환각을 줄이는 내장형 그라운딩 기능이다.
📌 핵심 요약
- 아마존 베드록 웹 검색은 지속적으로 갱신되는 수십억 개 문서 규모의 웹 색인과 지식 그래프를 결합해 모델 응답을 최신 정보에 근거하도록 지원한다.
- 검색어 생성, 관련 콘텐츠 검색, 의미 기반 구절 추출, 모델 문맥 주입, 출처 인용 반환까지의 전 과정이 베드록 서버 측에서 처리된다.
- 오픈에이아이 응답 API 요청의 도구 배열에 웹 검색 항목을 추가하면 되며, 별도의 함수 스키마나 클라이언트 측 도구 호출 반복 처리가 필요하지 않다.
- 기존 AWS 자격 증명과 단기 전달자 토큰을 사용하고, 모델 추론과 검색·전체 페이지 조회·외부 웹 접근에 필요한 권한을 각각 부여해야 한다.
- 검색 및 페이지 조회 호출은 클라우드트레일에 감사 이벤트로 기록되지만 검색어, 반환된 주소, 원문 페이지 내용은 기록되지 않으며, 미국 내 세 개 리전에서 정식 제공된다.
🧩 주요 포인트
- 웹 색인과 지식 그래프를 함께 활용하고 관련 구절만 추출함 → 단편적인 페이지 텍스트에만 의존할 때 생길 수 있는 사실 오류와 불필요한 문맥 사용을 줄인다.
- 검색 생명주기를 서버 측 단일 API 호출로 통합함 → 외부 검색 업체 연동, 별도 키 관리, 응답 파싱, 재시도 및 속도 제한 처리에 따른 개발·운영 부담을 낮춘다.
- 리전 내부 처리와 선택적인 권한 제어, 내용 비공개형 감사 로그를 제공함 → 검색 기능의 사용 주체와 시점은 추적하면서 이용자의 검색 내용은 감사 기록에 노출하지 않는다.
🧠 상세 정리
1. 최신 지식 부족과 웹 그라운딩의 필요성
기반 모델은 학습이 끝난 뒤 발생한 실적 발표, 규제 변경, 당일 날씨와 같은 정보를 자체 학습 지식만으로는 알 수 없다. 최신 웹 지식으로 모델을 그라운딩하면 챗봇, 코딩 도우미, 명령줄 도구, 기업용 애플리케이션이 학습 시점 이후의 질문에도 근거를 갖고 답할 수 있으며 환각을 줄이는 데 도움이 된다. 기존에는 개발자가 제삼자 검색 제공업체를 선정하고 외부 API, 인증 수단, 응답 처리 및 운영 체계를 직접 통합해야 했기 때문에 일정 지연과 데이터 소재지 위험, 지속적인 유지관리 부담이 발생했다. 아마존 베드록 웹 검색은 이러한 검색 기능을 서버 측 내장 도구로 제공해 외부 공급업체 도입이나 별도 보안 검토 없이 최신 웹 지식을 모델 추론 과정에 연결하도록 설계됐다.
2. 웹 색인과 지식 그래프를 결합한 검색
웹 검색은 아마존이 운영하고 지속적으로 갱신하는 수십억 개 문서 규모의 웹 색인을 기반으로 한다. 여기에 특정 영역의 개체와 개체 간 관계를 정리한 내장 지식 그래프를 결합해 여러 출처에 근거한 검색 결과를 구성한다. 책의 저자나 사건이 발생한 연도처럼 명확한 사실을 묻는 질문에는 추출된 페이지 문장을 모델이 임의로 조합하도록 맡기기보다 지식 그래프를 활용해 높은 확신도로 답하도록 한다. 이 방식은 여러 웹 문서의 단편을 조립하는 과정에서 생길 수 있는 작지만 중요한 사실 오류를 줄이고, 단순 문서 검색보다 구조화된 사실 관계를 응답 근거로 활용하게 한다.
3. 문맥 효율적인 구절 추출과 간단한 활성화
웹 검색은 검색된 페이지 전체를 모델에 전달하지 않고 질의와 의미적으로 관련된 구절만 추출해 모델의 문맥 창에 적합한 형태로 반환한다. 따라서 메뉴, 반복 문구, 기타 상용구에 토큰을 낭비하지 않고 실제 답변에 필요한 부분을 우선적으로 제공할 수 있으며, 빠른 검색을 통해 그라운딩 응답의 지연도 최소화하도록 설계됐다. 기능 활성화는 기존 오픈에이아이 호환 API 요청의 도구 배열에 웹 검색 항목 하나를 추가하는 방식으로 이뤄진다. 별도 검색 업체의 API 키, 전용 소프트웨어 개발 도구, 공급업체 온보딩 및 독립적인 오케스트레이션 계층이 필요하지 않다는 점이 핵심적인 운영 차이다.
4. 서버 측에서 처리되는 검색 생명주기
웹 검색이 활성화되면 먼저 모델이 해당 질문에 최신 웹 지식이 필요한지를 판단한다. 이후 베드록이 검색 질의를 만들고 아마존 웹 색인과 지식 그래프에서 관련 내용을 가져온 뒤, 관련 구절과 출처 주소 및 페이지 제목을 모델의 문맥 창에 주입한다. 모델은 검색된 자료를 바탕으로 답변을 생성하며, API는 각 근거의 주소와 제목을 포함하는 구조화된 인용 주석과 최종 응답을 함께 반환한다. 이 과정은 한 번의 API 호출 안에서 서버 측으로 완료되므로 클라이언트가 도구 호출 반복문을 구현하거나 외부 응답을 해석하고 재시도 및 속도 제한을 관리할 필요가 없다.
5. 오픈에이아이 응답 API를 이용한 설정 절차
응답 API에서 웹 검색을 사용하려면 AWS 자격 증명을 준비하고, 오픈에이아이 클라이언트의 기본 주소를 사용할 리전의 베드록 맨틀 엔드포인트로 지정한 다음, 요청에 웹 검색 도구를 추가한다. 출시 시점에는 아마존 베드록의 차세대 추론 엔진을 통해 제공되는 오픈에이아이 모델에서 이 기능을 사용할 수 있다. 인증에는 별도 장기 API 키가 아니라 기존 IAM 역할, AWS 명령줄 인터페이스 프로필 또는 환경 변수 등 표준 자격 증명 체인이 사용된다. 해당 자격 증명에서 시그니처 버전 4 방식으로 최대 12시간 유효한 단기 전달자 토큰을 생성해 클라이언트의 API 키 입력란에 전달하므로 새로운 비밀 키 관리 체계를 추가할 필요가 없다.
6. 권한 체계와 외부 웹 접근 상태
호출 주체에는 먼저 모델 요청이 성공하도록 베드록 추론 권한이 필요하며, 관리형 추론 접근 정책이나 호출에 필요한 개별 동작 권한을 부여할 수 있다. 웹 검색에는 최소한 검색 실행 권한이 필요하고, 검색 결과의 전체 페이지를 읽게 하려면 페이지 조회 권한을 추가해야 하며, 검색 실행이 거부되면 기능이 사실상 비활성화되어 모델은 학습 데이터만으로 답한다. 외부 웹 접근은 요청의 기본 동작이므로 이를 사용하려면 별도의 외부 접근 권한이 필요하지만, 도구 설정에서 외부 접근을 끄면 해당 추가 권한 없이 사전 색인된 자료를 검색할 수 있다. 현재 실제로 제공되는 방식은 아마존의 사전 색인 웹 자료 검색뿐이며, 실시간 외부 웹 조회는 향후 업데이트에서 활성화될 예정이어서 현재 상태와 기본 매개변수 동작을 구분해야 한다.
7. 검색 과정과 출처 인용의 구조화된 반환
응답 결과에는 웹 검색 호출 항목이 포함되므로 애플리케이션은 실행된 검색과 페이지 열기 단계를 구분해 확인할 수 있다. 최종 메시지의 출력 텍스트에는 출처 인용 주석 배열이 연결되며, 각 주소 인용 객체는 출처 제목과 주소를 제공한다. 또한 시작 위치와 끝 위치가 출력 텍스트의 문자 오프셋으로 주어져 어떤 문장 범위를 해당 출처가 뒷받침하는지 식별할 수 있다. 이를 이용하면 애플리케이션에서 각주를 인라인으로 표시하거나 인용 근거가 적용되는 정확한 구간을 강조할 수 있으며, 검색 실행부터 근거 표시까지 별도의 사용자 정의 함수 형식 없이 한 번의 왕복 호출로 처리할 수 있다.
8. 감사, 개인정보 보호와 제공 범위
웹 검색은 클라우드트레일과 통합되어 검색 실행 및 페이지 조회 호출을 관리 이벤트로 기록한다. 이벤트에는 호출한 주체, 시각, 동작, 전달 접근 세션의 원래 주체를 포함한 출처 신원, 계정과 리전 문맥이 담기며, 접근 거부 결과와 거부를 일으킨 조건 키도 기록되어 권한 설정 문제를 진단할 수 있다. 반면 검색어, 검색으로 반환된 주소, 조회한 페이지의 원문은 감사 이벤트에 기록되지 않아 누가 언제 기능을 사용했는지는 추적하면서 이용자가 무엇을 검색했는지는 노출하지 않는다. 기본적으로 데이터 외부 반출 없이 베드록 인프라와 리전 내부에서 처리되며, 정식 제공 지역은 미국이고 쿼리 처리는 버지니아 북부, 오하이오, 오리건 리전에서 지원된다.
🧾 핵심 주장 / 시사점
- 검색 결과 전체가 아니라 관련 구절만 모델에 전달하는 구조는 최신성 확보와 함께 제한된 문맥 창의 토큰 사용량을 줄이는 방향으로 설계됐다.
- 검색 권한이 거부돼도 모델 호출 자체는 학습 데이터 기반으로 계속 답할 수 있으므로, 운영 환경에서는 응답이 실제로 검색에 근거했는지 검색 호출 항목과 인용 주석을 확인하는 것이 중요하다.
- 실시간 외부 웹 접근 매개변수는 이미 API에 포함돼 있지만 현재는 사전 색인 자료만 제공되므로, 기본값과 실제 출시 기능 사이의 차이를 권한 및 요청 설정에 반영해야 한다.
✅ 액션 아이템
- 베드록 웹 검색을 오픈에이아이 응답 API 도구 배열에 추가하는 방식과 기존 외부 검색 연동 부담을 비교한다.
- 모델 추론·검색·전체 페이지 조회·외부 웹 접근 권한을 분리 부여하는 범위를 자격 증명·단기 토큰 기준으로 정의한다.
- 미국 3개 리전 정식 제공 조건에서 웹 색인·지식 그래프 기반 구절 추출과 출처 인용이 환각 감소에 기여하는 정도를 점검한다.
❓ 열린 질문
- 서버 측 단일 호출로 검색·추출·인용까지 처리할 때 클라이언트 측 재시도·속도 제한이 필요 없는 경계는 어디인가?
- 클라우드트레일에 검색어·반환 주소·원문 내용이 남지 않을 때 사용 주체·시점 추적만으로 충분한 감사 기준은 무엇인가?
- 단편 페이지 텍스트 대신 관련 구절만 주입하는 방식이 사실 오류를 줄이는 조건을 어떤 기준으로 판단할 것인가?