Video and image search in Amazon Bedrock Knowledge Base using Marengo 3.0

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Amazon Bedrock Knowledge Bases에 TwelveLabs Marengo Embed 3.0이 정식 출시되어 영상·오디오·이미지의 자연어 검색을 완전관리형으로 구현할 수 있게 됐다.

📌 핵심 요약

• TwelveLabs Marengo Embed 3.0은 영상·오디오·이미지·텍스트를 저장 효율적인 512차원 벡터 공간에 함께 인코딩하며, Managed Knowledge Bases(Managed MKB)는 시각·텍스트·음성·오디오 신호를 통합한 임베딩을 자동 생성한다.
• Amazon Bedrock Knowledge Bases는 저장·수집·임베딩·재순위화·검색을 관리하는 RAG 서비스로, MP4·MOV 영상, JPEG·PNG 이미지, 오디오 트랙과 Amazon S3·SharePoint·Confluence 등의 기본 커넥터를 지원한다.
• 실습은 2022 FIFA World Cup final의 10분 영상을 Amazon S3에 올리고 Marengo Embed 3.0을 선택한 지식 베이스에 동기화하는 흐름이다. 별도 전처리 없이 프레임 추출·음성 전사·구간별 임베딩·색인 저장을 처리하며, 오디오와 영상의 기본 분할 길이는 각각 4초다.
• 콘솔에서 페널티킥 장면을 자연어로 검색하면 순위가 매겨진 결과와 구간 시작·종료 시각, 원본 URI, 임베딩 유형을 얻는다. 애플리케이션은 Amazon Bedrock Retrieve API 또는 Amazon Bedrock AgentCore의 Amazon Bedrock Gateway 대상 연결을 통해 지식 베이스를 활용할 수 있다.
• 지원 리전은 US East (N. Virginia)의 us-east-1과 EU West (Ireland)의 eu-west-1이다. Managed Knowledge Bases는 저장·검색 사용량에 따라 과금되며, Marengo Embed 3.0 임베딩 생성에는 표준 Amazon Bedrock 모델 호출 요금이 적용된다.

🧩 주요 포인트

1. 전처리부터 색인 저장까지 Managed MKB가 자동 처리 → 전사 서비스·프레임 추출·임베딩 모델·벡터 데이터베이스·동기화 로직을 직접 연결하는 구축 부담 감소.
2. 차원 멀티모달 표현과 구간별 검색 메타데이터 제공 → 자연어 요청에 맞는 미디어 구간을 찾고 해당 구간을 애플리케이션에서 활용할 기반 확보.
3. us-east-1·eu-west-1 지원과 저장·검색·임베딩 생성 과금 → 도입 시 리전 적합성과 각 사용량에 따른 비용 검토 필요.

🧠 상세 정리

1. 정식 출시와 멀티모달 검색의 변화

AWS는 TwelveLabs Marengo Embed 3.0을 Amazon Bedrock Knowledge Bases의 임베딩 모델로 정식 출시했다고 발표했다. 원문은 미디어·스포츠 분석·교육·보안·소매 분야에서 긴 영상 속 특정 순간을 자연어로 찾아야 하지만, 미디어 자산을 의미 기반으로 검색하기는 여전히 어렵다고 설명한다. 기존에는 음성 전사 서비스, 프레임 추출 파이프라인, 임베딩 모델, 벡터 데이터베이스와 동기화 로직을 연결해야 했다. Marengo Embed 3.0은 영상·오디오·이미지·텍스트를 저장 효율적인 512차원 벡터 공간에 함께 인코딩한다. Managed MKB는 이 모델로 시각·텍스트·음성·오디오 신호를 통합한 임베딩을 자동 생성해 자연어 미디어 검색을 완전관리형으로 제공한다.

2. 서비스 범위와 실습 준비

Amazon Bedrock Knowledge Bases는 저장, 수집, 임베딩, 재순위화, 검색을 처리하는 완전관리형 검색 증강 생성(RAG) 서비스다. MP4·MOV 영상, JPEG·PNG 이미지와 오디오 트랙을 지원하며, Amazon S3·SharePoint·Confluence 등의 기본 커넥터를 제공한다. 실습에서는 2022 FIFA World Cup final의 10분 영상을 수집한 뒤 자연어 질의를 실행한다. 준비 조건은 활성 AWS 계정, 지원 리전에서 TwelveLabs Marengo Embed 3.0이 활성화된 Amazon Bedrock 접근 권한, 미디어 파일을 저장할 Amazon S3 버킷, Amazon Bedrock과 Amazon S3에 대한 IAM 권한이다. 영상은 먼저 S3에 업로드하며, Managed MKB가 분할·프레임 샘플링·음성 전사를 내부적으로 처리하므로 별도 전처리는 필요하지 않다.

3. 지식 베이스 생성과 데이터 동기화

Amazon Bedrock 콘솔의 Knowledge Bases에서 Create Managed KB를 선택하고 추가 설정에서 Amazon Bedrock 임베딩 모델을 지정한다. 기본 모델은 Amazon Titan Text이므로 편집 아이콘을 통해 TwelveLabs/Marengo Embed 3.0으로 변경한다. 이어 데이터 소스를 Amazon S3로 선택하고 영상 자산이 있는 버킷의 S3 URI를 입력한다. 고급 설정에서는 오디오와 영상의 분할 길이를 조정할 수 있으며, 기본값은 두 유형 모두 4초이고 실습에서는 이를 유지한다. 지식 베이스를 생성한 뒤 Sync를 실행하면 Managed MKB가 프레임 추출, 음성 전사, 구간별 Marengo Embed 3.0 임베딩 생성과 벡터 색인 저장을 자동 수행한다.

4. 자연어 검색 결과와 실습 자원 정리

생성한 지식 베이스는 콘솔의 Test 기능으로 바로 검색할 수 있다. 검색할 원본 청크 수를 설정하고 메타데이터 필터를 적용한 뒤, 이 축구 경기의 페널티킥을 보여 달라는 자연어 질의를 실행한다. 결과에는 순위와 함께 구간 시작 시각, 구간 종료 시각, 원본 URI, 임베딩 유형이 제공되어 필요한 영상 부분을 추출할 수 있다. 실습의 상위 결과는 페널티킥을 시도한 순간을 식별하지만, 원문은 별도의 정량적 검색 정확도나 비교 평가를 제시하지 않는다. 정리 단계에서는 IAM 서비스 역할 이름과 S3 Vector 색인의 ARN을 기록한 뒤 지식 베이스를 삭제하도록 안내한다. 이후 IAM 콘솔에서 생성된 역할을 삭제하고 Amazon S3 콘솔에서 실습용으로 업로드한 파일을 삭제한다.

5. 애플리케이션 통합과 산업별 활용

애플리케이션에서는 Amazon Bedrock Retrieve API로 지식 베이스를 검색하며, Details 페이지의 호출 코드를 출발점으로 사용할 수 있다. 제시된 구조는 Amazon S3의 멀티모달 콘텐츠가 Marengo 3.0을 사용하는 Managed Knowledge Bases를 거쳐 임베딩되고 색인되는 흐름이다. 이후 애플리케이션은 Boto SDK의 Retrieve API 또는 Amazon Bedrock AgentCore의 Amazon Bedrock Gateway 대상 연결을 통해 검색한다. 스포츠 분석에서는 시즌 전체 영상의 특정 플레이·포메이션·선수 행동을 찾고, 미디어·엔터테인먼트에서는 자산 관리와 아카이브·스트리밍 콘텐츠 검색에 활용할 수 있다고 설명한다. 보안에서는 감시 영상 속 사건이나 활동을, 교육에서는 키워드뿐 아니라 개념에 해당하는 강의 구간을, 소매에서는 제품 시연 영상의 기능 설명 장면을 찾는 용도를 제시한다.

6. 지원 리전, 요금과 후속 자료

Marengo Embed 3.0을 사용하는 Amazon Bedrock Managed Knowledge Bases는 US East (N. Virginia)의 us-east-1과 EU West (Ireland)의 eu-west-1에서 제공된다. 전체 지원 모델과 리전 목록은 Amazon Bedrock의 리전별 지원 모델 문서를 참조하도록 안내한다. Managed Knowledge Bases 요금은 저장과 검색 사용량을 기준으로 하며, Marengo Embed 3.0의 임베딩 생성에는 표준 Amazon Bedrock 모델 호출 요금이 적용된다. 원문에는 구체적인 단가나 실습 영상 처리 비용이 제시되지 않아 요금 문서 확인이 필요하다. 후속 자료로는 Amazon Bedrock Knowledge Bases 문서와 관리형 지식 베이스 구축 안내, 멀티모달 검색 노트북을 제공하는 Amazon Bedrock samples 저장소, Marengo 3.0 기술 문서를 소개한다.

🧾 핵심 주장 / 시사점

• Managed MKB의 핵심 가치는 멀티모달 임베딩뿐 아니라 분할·전사·색인 저장까지 관리해 미디어 검색 파이프라인의 구축 부담을 줄이는 데 있다.
• 검색 결과에 구간 시작·종료 시각과 원본 URI가 포함되므로 관련 파일을 찾는 데서 나아가 필요한 장면을 추출하는 흐름으로 연결할 수 있다.
• 2022 FIFA World Cup final 실습은 자연어로 장면을 찾는 동작 사례이며, 정량적 검색 성능이나 비용 효율을 입증하는 비교 평가로 제시되지는 않는다.

✅ 액션 아이템

• Amazon S3의 미디어를 Marengo Embed 3.0 지식 베이스에 동기화해 자연어 검색 결과의 관련성 검토.
• Amazon Bedrock Retrieve API와 구간 시작·종료 시각, 원본 URI를 활용한 애플리케이션 연결 방식 검토.
• us-east-1·eu-west-1의 도입 적합성과 저장·검색 사용량 및 Marengo Embed 3.0 임베딩 생성 요금 확인.

❓ 열린 질문

• 오디오와 영상의 기본 분할 길이인 4초는 찾으려는 장면의 범위에 적합한가?
• Amazon Bedrock Retrieve API가 반환하는 구간 시작·종료 시각과 원본 URI를 애플리케이션에서 어떻게 활용할 것인가?
• us-east-1·eu-west-1 중 어떤 리전이 적합하며, 예상 저장·검색 사용량과 Marengo Embed 3.0 임베딩 생성에 따른 비용은 얼마인가?