Articleaws.amazon.com·2026년 11월 18일·0

How Social Department built culture-aware video discovery

Quick Summary

Social Department의 QuickSearch는 작품별 편집 기준을 검색에 반영하고 필요할 때 지역별 트렌드를 연결해, 마케터가 원하는 순간을 말로 설명하기 어려울 때도 영상 후보를 제안한다.

How Social Department built culture-aware video discovery 관련 대표 이미지

🖼️ 인포그래픽

How Social Department built culture-aware video discovery 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

How Social Department built culture-aware video discovery의 핵심 내용을 4단계로 요약한 인포그래픽
How Social Department built culture-aware video discovery 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 요약

Social Department의 QuickSearch는 작품별 편집 기준을 검색에 반영하고 필요할 때 지역별 트렌드를 연결해, 마케터가 원하는 순간을 말로 설명하기 어려울 때도 영상 후보를 제안한다.

📌 핵심 요약

  • 엔터테인먼트 마케팅팀은 수만 개의 영상을 관리한다. 의미 검색으로 특정 소품이나 대사는 찾을 수 있지만, 어떤 장면이 공유될지 판단하려면 작품과 시청자에 대한 이해가 필요하다.
  • QuickSearch는 완결된 장면을 찾는 Shareable Scenes, 짧은 대사를 찾는 Quotable Quotes, 밈에 쓸 프레임을 고르는 Memeable Moments, 현재 화제와 연결되는 장면을 찾는 Trend Align을 제공한다. 네 기능은 각각 별도의 검색 전략과 편집 기준, 순위 모델을 사용한다.
  • Amazon Bedrock에서 TwelveLabs의 Marengo 3.0은 영상·음향·대본을 임베딩으로 표현하고, Pegasus 1.2는 장면의 감정과 서사적 맥락을 기술한다. 이 결과는 대본, 화면 속 글자 등과 함께 Amazon OpenSearch Serverless에 색인된다.
  • 콘텐츠는 입고 시 분석하고 트렌드는 별도로 수집한다. 전 세계·미국·영국·호주 피드는 각각 현지 아침에 하루 한 번 갱신하며, Heat Seeker는 사용자가 요청할 때 최근 저장값을 재사용하거나 상승세가 나타나는 초기 트렌드를 조회한다.
  • AWS와 Social Department의 공동 집필진에 따르면 고객 데이터는 AWS 데이터 경계 안에 머물며 모델 제공업체에 공유되거나 기반 모델 학습에 쓰이지 않는다. 시스템은 대본에 없는 인용문을 폐기하고, 모든 게시물은 발행 전에 고객사 담당자의 승인을 받는다.

🧩 주요 포인트

  1. 검색 단위는 편집 목적에 따라 달라진다. Shareable Scenes는 전개를 갖춘 장면 전체를, Memeable Moments는 캡션의 근거가 될 단일 프레임을 고른다.
  2. 작품이 추가되는 시점과 외부 화제가 바뀌는 시점이 달라 두 흐름을 독립적으로 운영한다. Trend Align은 요청 시점에 둘을 연결해 방영이 끝난 작품에서도 현재 대화에 맞는 장면을 찾는다.
  3. 후보 선정과 발행 판단을 나눈다. QuickSearch가 후보를 제안하면 대본 대조로 인용문의 출처를 확인하고, 고객사 담당자가 최종 게시 여부를 결정한다.

🧠 상세 정리

1. 마케터가 찾는 순간을 검색어로 쓰기 어려운 이유

스튜디오와 방송사, 스트리밍 서비스의 마케팅팀은 수만 개의 영상 가운데 캠페인에 쓸 한순간을 찾아야 한다. 커피잔을 든 인물을 찾는다면 의미 검색으로 수천 편의 에피소드에서 해당 장면을 모을 수 있다. 반면 여러 대사 가운데 시청자가 따라 할 한마디를 고르는 일에는 그 작품에서 무엇을 인용할 만하다고 보는지, 시청자가 지금 무엇에 반응하는지에 대한 판단이 들어간다. 공동 집필진은 과거에는 작품을 잘 아는 사람이 일주일 동안 영상을 살펴보기도 했으며, 이런 방식을 카탈로그 전체에 적용하기는 어렵다고 설명한다. 캠페인 전략부터 게시와 성과 최적화까지 지원하는 Social Department가 먼저 바꾸려 한 일도 그 출발점인 영상 탐색이었다.

2. 완결된 장면, 짧은 대사, 한 프레임을 고르는 기준

QuickSearch에서는 마케터가 장면을 미리 떠올려 묘사하는 대신 어떤 용도로 쓸지 선택할 수 있다. Shareable Scenes는 짧은 반응 장면보다 인물 간 대립이 전개되거나 절정에 이르는 대목처럼 떼어 보아도 맥락이 살아 있는 장면을 우선한다. Quotable Quotes는 클립 길이를 짧게 제한하고, 해당 작품의 특정 대사가 실제로 유통됐다는 신호가 있으면 그 대사에 가중치를 준다. Memeable Moments는 별도의 추출·평가 단계를 거쳐 밈으로 쓸 프레임 하나를 고른 뒤, 그 화면에 실제로 보이는 내용을 근거로 캡션을 만든다. Trend Align은 현재 화제와 작품 속 순간이 맥락상 연결되는지를 살피며, 네 기능으로 다루기 어려운 요청에는 자연어 검색이나 참조 이미지로 유사한 화면을 찾는 검색도 제공한다.

3. 설계와 구현의 분담, 발행 전 사람의 승인

Social Department는 파이프라인 구조와 검색 시스템, 각 기능의 편집 기준을 설계했고 AWS 프리미어 티어 서비스 파트너인 TrackIt이 이 설계에 따라 시스템을 구현했다. AWS는 인프라와 모델 접근, 검색 서비스를 제공하며, 공동 집필진이 공개한 범위는 주로 영상 수집·색인과 검색을 담당하는 AWS 구성 요소다. 집필진에 따르면 모델은 Amazon Bedrock에서 실행되며 고객 데이터는 AWS 데이터 경계 안에 머물고 모델 제공업체에 공유되거나 기반 모델 학습에 사용되지 않는다. 운영 중에는 코드가 생성 결과를 원본과 대조해 에피소드 대본에 없는 인용문을 폐기하고, Amazon Bedrock Guardrails는 고객이 입력한 검색 문구를 검사하는 데 쓰인다. 이렇게 선정한 소재를 담은 게시물도 고객사 담당자가 승인해야 발행된다.

4. 영상 입고에서 장면 경계를 따르는 구간까지

팀별 Amazon S3 버킷에 영상이 올라오면 Amazon EventBridge로 전달된 이벤트가 AWS Step Functions를 시작하고, 상태 머신이 약 24개의 Python 기반 AWS Lambda 함수를 조율한다. 첫 함수는 Social Department의 미디어·데이터 시스템을 참조해 작품과 팀, 에피소드 식별 정보를 확인하고 Amazon DynamoDB에 메타데이터를 기록한다. AWS Elemental MediaConvert가 적응형 디인터레이싱을 적용해 영상을 480p H.264로 변환하는 동안 상태 머신은 완료 신호를 기다린다. 이어 Amazon Rekognition이 숏 경계를 검출하면 별도 함수가 숏을 합치거나 나눠 내용의 흐름을 따르는 약 10~20초 구간을 만든다. 각 구간 안에서는 일정한 간격으로 임베딩을 생성하므로 검색에 쓰는 클립 길이는 짧고 일정하면서도, 그 클립이 속한 상위 구간에는 원본의 편집 경계가 반영된다.

5. Marengo 3.0과 Pegasus 1.2가 담는 서로 다른 정보

TwelveLabs의 Marengo 3.0은 시작·종료 시각을 입력받아 지정한 범위의 시각 정보와 소리, 대본을 멀티모달 임베딩으로 표현한다. AWS Step Functions가 여러 범위를 병렬로 처리하며, 이 경로에서는 구간마다 영상 파일을 잘라 둘 필요가 없다. 병렬로 실행되는 Pegasus 1.2는 잘라낸 파일을 입력받기 때문에 별도의 Lambda 함수가 장면 전환의 맥락을 보존하도록 양쪽에 몇 초씩 여유를 두고 파일을 만든다. Pegasus 1.2는 각 장면에서 무슨 일이 벌어지는지, 어떤 감정과 주제가 드러나는지, 어떤 종류의 대화이며 이야기의 어느 지점에 놓이는지를 기술한다. 이후 순위 모델은 장면의 영상·음향 특징과 함께 이 서술을 활용해 편집 목적에 맞는 후보를 판단할 수 있다.

6. 검색 색인을 보강하고 모델의 리전 제약을 처리하는 방법

임베딩 생성과 동시에 음성을 텍스트로 변환하고, Amazon Rekognition으로 화면 속 글자와 시각적 레이블을 추출하며 얼굴 컬렉션을 인물 식별의 근거로 활용한다. Amazon Bedrock의 Anthropic Claude 모델은 작품의 등장인물 구성을 추출하고 작품 전반의 개념과 인물별 역할 정보를 생성한다. 마지막에는 Amazon S3에 기록된 임베딩을 대본, 화면 텍스트, 장면 설명, 레이블과 함께 Amazon OpenSearch Serverless에 색인한다. Lambda 작업은 실패하면 재시도 간격을 점차 늘리고, 필수가 아닌 보강 작업의 실패는 전체 처리를 중단시키지 않으며, 복구할 수 없는 실패는 사유와 함께 기록한다. Marengo 비동기 호출에는 모델 엔드포인트와 같은 리전의 S3 버킷이 필요하므로, 이 구현은 미국 동부 버지니아 북부의 전용 버킷에 영상을 준비하고 같은 버킷에서 결과를 읽어 나머지 인프라를 기존 리전에서 운영한다.

7. 지역별 일일 트렌드와 요청형 Heat Seeker

작품 라이브러리는 새 콘텐츠가 들어올 때 바뀌지만 외부의 화제는 시간 단위로 달라질 수 있어, 트렌드 수집은 특정 라이브러리에 종속되지 않는 별도 흐름으로 운영한다. 일일 수집은 Amazon EventBridge 일정에 따라 지역별로 하루 한 번 실행되며, 단일한 세계표준시 시각 대신 각 지역의 아침에 맞춘다. 전 세계·미국·영국·호주는 하나의 전 세계 목록에 지역 필터를 적용한 결과가 아니라 각각 따로 수집한 피드여서 같은 날에도 서로 다른 화제가 나타날 수 있다. 초기 트렌드를 상승세 순으로 가져오는 Heat Seeker는 명시적인 요청이 있을 때만 동작하며 저장된 데이터가 충분히 최근 것이면 재사용한다. 이 방식은 이용자가 없는 지역까지 반복 조회하는 비용을 줄이고, Trend Align은 사용자가 선택하는 시점에 외부 화제와 이미 분석해 둔 작품 속 장면을 연결한다.

🧾 핵심 주장 / 시사점

  • 같은 장면도 쓰임에 따라 평가 기준이 달라진다. 맥락이 충분히 전개된다는 점은 공유용 장면의 강점이지만, 인용용 클립에서는 짧은 길이와 대사 자체의 전달력이 더 중요하다.
  • 과거 작품을 현재 화제와 연결할 수 있는 이유는 영상 분석 결과를 보존하면서 외부 트렌드만 별도의 주기로 갱신하기 때문이다. 지역별 독립 수집은 어떤 시청자층의 대화에 맞출지도 반영한다.
  • 인용문이 대본에 존재하는지는 코드로 확인할 수 있다. 그 인용문을 캠페인에 사용하는 것이 적절한지는 고객사 담당자가 발행 전에 판단한다.

✅ 액션 아이템

  • 클립의 용도에 따라 Shareable Scenes, Quotable Quotes, Memeable Moments 중 적용할 기능을 선택한다.
  • 현재 화제와 과거 작품을 연결할 때는 대상 지역의 피드를 기준으로 Trend Align 후보를 검토한다.
  • Quotable Quotes가 제안한 인용문은 대본과 대조하고, 발행 전 고객사 담당자가 게시물을 승인한다.

❓ 열린 질문

  • Shareable Scenes의 편집 기준은 작품별로 어떤 장면을 완결된 장면으로 평가하는가?
  • Heat Seeker는 어떤 기준으로 최근 저장값을 재사용할지 결정하는가?
  • Trend Align은 지역별 화제와 작품 속 장면 사이의 연결이 얼마나 적절한지 어떻게 평가하는가?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.