Pegasus 1.5 from TwelveLabs is now available in Amazon Bedrock

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

TwelveLabs의 Pegasus 1.5가 Amazon Bedrock에 출시되어 최대 2시간의 영상에서 사용자 정의 조건에 맞는 모든 구간을 찾아 타임스탬프가 포함된 구조화 메타데이터로 반환한다.

📌 핵심 요약

• AWS는 2026년 10월 9일 TwelveLabs의 Pegasus 1.5를 Amazon Bedrock에서 사용할 수 있다고 발표했다. 기존의 영상 질의응답을 확장해 전체 영상에서 사용자 정의 조건에 맞는 모든 구간과 요청 필드를 JSON으로 반환한다.
• Pegasus 1.5는 텍스트와 참조 이미지를 결합한 멀티모달 프롬프팅을 지원하며, 단일 요청의 영상 길이 한도를 Pegasus 1.2의 1시간에서 2시간으로 늘렸다. 영어는 완전히 지원하고 한국어를 포함한 12개 언어는 부분 지원한다.
• 영상은 Amazon S3 URI 또는 최대 25 MB의 base64 문자열로 전달할 수 있다. 별도 수집 파이프라인이나 사전 인덱싱 없이 처리하며, 원문은 데이터가 AWS 데이터 경계 안에 유지된다고 설명한다.
• bedrock-runtime의 InvokeModel과 InvokeModelWithResponseStream으로 호출하며, general 모드는 텍스트 답변 또는 JSON Schema에 맞춘 출력을, time_based_metadata 모드는 시작·종료 시각과 지정 필드를 포함한 segments 목록을 반환한다.
• 제공 리전은 US West (Oregon), us-west-2이며 추론 방식은 온디맨드다. 일반 모드의 maxOutputTokens 범위는 512~98,304이고, stopReason이 length이면 출력이 잘렸는지 확인해야 한다. includeMetering을 켜면 비스트리밍 응답에 outputTokenCount와 inputVideoSecond가 추가된다.

🧩 주요 포인트

1. 전체 영상에 구간 정의와 추출 필드를 적용하므로, Pegasus 1.5는 개별 질문에 답하는 도구에서 편집 구간·스포츠 플레이·화자 변경·브랜드 노출을 구조화하는 도구로 활용 범위가 넓어진다.
2. 참조 이미지로 특정 제품·로고·인물과 화면 속 행동을 함께 지정할 수 있어 검색 조건을 구체화할 수 있다. 다만 한국어는 부분 지원이므로 해당 언어의 분석 결과에 대한 확인이 필요하다.
3. 입력 길이·25 MB 제한·출력 토큰 한도는 요청 구성에 영향을 준다. stopReason과 토큰 수는 응답 완결성 확인에, outputTokenCount와 inputVideoSecond는 청구 사용량 파악에 활용할 수 있으며 애플리케이션 추론 프로파일로 비용을 구분할 수 있다.

🧠 상세 정리

1. 출시 배경과 영상 분석 방식의 변화

AWS는 2026년 10월 9일 TwelveLabs의 영상 언어 모델 Pegasus 1.5를 Amazon Bedrock에서 사용할 수 있다고 발표했다. 원문은 영상이 규모가 크고 복잡한 비정형 데이터이지만 상당 부분이 검색되지 못한 채 충분히 활용되지 않으며, 유용한 정보를 추출하려면 노동 집약적인 수작업 검토나 분절된 도구 구성이 필요했다고 설명한다. 이전 Pegasus가 주어진 영상 클립에 대한 질문에 답하는 방식이었다면, Pegasus 1.5는 전체 영상을 분석해 사용자가 정의한 조건과 일치하는 모든 구간을 찾는 기능으로 확장됐다. 사용자는 업무에서 중요한 장면의 조건을 설명하고, 모델은 해당 구간의 시작·종료 시각과 요청한 정보를 구조화된 JSON으로 반환한다. 따라서 이번 발표의 중심은 영상에 대한 자연어 설명뿐 아니라, 긴 영상을 후속 처리에 사용할 수 있는 시간 기반 데이터로 전환하는 기능에 있다.

2. 새로운 기능과 기존 역량의 계승

Pegasus 1.5의 주요 추가 기능은 시간 기반 메타데이터 생성, 참조 이미지를 활용하는 멀티모달 프롬프팅, 사전 준비 없이 실행하는 즉시 처리, 단일 요청의 처리 길이 확대다. 사용자는 편집 구간, 스포츠 플레이, 화자 변경, 브랜드 등장처럼 업무에 필요한 사건이나 단서를 정의하고 각 일치 구간에서 추출할 필드를 지정할 수 있다. 구간 조건에 텍스트 설명과 시각적 참조를 함께 사용하면 특정 제품·로고·인물을 화면 속 행동과 연결해 찾을 수 있으며, 영상 길이 한도는 Pegasus 1.2의 1시간에서 2시간으로 늘어났다. 기존의 영상 설명 생성, 객체·화면 속 텍스트·수치 이해, 사건의 타임스탬프 식별, 시각·음성·텍스트를 결합한 분석 능력도 유지하고 강화했다고 설명한다. 언어 지원은 영어가 완전 지원이며, 아랍어·중국어·프랑스어·독일어·이탈리아어·일본어·한국어·포르투갈어·러시아어·스페인어·태국어·베트남어는 부분 지원이다.

3. Amazon Bedrock의 호출 구조와 분석 모드

Amazon Bedrock에서 안내하는 모델 ID는 twelvelabs.pegasus-1-5-v1:0이며, 제공 리전은 US West (Oregon)의 us-west-2이고 추론 방식은 온디맨드다. 호출은 bedrock-runtime 엔드포인트의 InvokeModel을 사용하며, 생성되는 내용을 순차적으로 받으려면 InvokeModelWithResponseStream을 사용한다. 각 요청의 분석 방식은 analysisMode로 선택하고, 기본값인 general에서는 inputPrompt에 질문이나 지시를 넣어 message의 텍스트 답변을 받거나 스키마를 제공해 JSON 출력을 얻는다. time_based_metadata에서는 responseFormat에 구간 정의를 넣고, 시작·종료 시각과 요청한 필드를 포함하는 segments 목록을 받는다. 이 구분에 따라 일반적인 영상 질의응답과 영상 전체의 조건별 구간 추출에 필요한 입력 구성 및 응답 형태가 달라진다.

4. 영상 입력과 사전 처리·비용 추적

영상 입력은 Amazon S3 객체를 참조하는 s3Location과 요청 본문에 영상을 포함하는 base64String의 두 방식으로 제공된다. s3Location에는 객체의 uri와 버킷 소유 계정 ID인 bucketOwner가 필요하며 긴 영상에 적합하고, base64String은 최대 25 MB까지 지원해 짧은 클립에 적합하다고 설명한다. 별도의 수집 파이프라인이나 사전 인덱싱 없이 영상을 전달해 결과를 응답으로 받을 수 있으며, 원문은 데이터가 AWS 데이터 경계 안에 유지된다고 명시한다. 애플리케이션별 비용을 추적하려면 Pegasus 1.5 모델에서 애플리케이션 추론 프로파일을 만들고 태그를 지정한 뒤, 모델 ID 대신 해당 프로파일의 ARN으로 호출할 수 있다. 이는 영상 전달 방식과 별개로 애플리케이션 단위의 비용 구분을 지원하는 방법이며, 본문에는 구체적인 요금 수치가 제시되지 않는다.

5. 사용 전제 조건과 인증

시작하려면 Amazon Bedrock에 접근할 수 있는 활성 AWS 계정, Boto3가 설치된 Python 3.10 이상 환경, 그리고 분석할 영상이 필요하다. Amazon Bedrock 콘솔에서 TwelveLabs Pegasus 1.5 모델 접근을 활성화하고, IAM에서 bedrock:InvokeModel과 bedrock:InvokeModelWithResponseStream 권한을 부여해야 한다. 원문의 정책 예시는 us-west-2에 있는 Pegasus 1.5 기반 모델 리소스를 대상으로 두 호출 작업을 허용한다. Boto3는 일반적인 AWS 자격 증명으로 요청에 서명하며, AWS_BEARER_TOKEN_BEDROCK 환경 변수에 Amazon Bedrock API 키를 설정하는 인증 방식도 제시된다. 운영 환경에서는 자동 만료되는 키를 사용하도록 aws-bedrock-token-generator로 IAM 자격 증명에서 생성한 단기 키를 권장하며, Bearer 토큰 인증에는 bedrock:CallWithBearerToken 권한이 추가로 필요하다.

6. 첫 요청과 응답 완결성·사용량 확인

첫 호출 예시는 us-west-2의 Boto3 클라이언트와 global.twelvelabs.pegasus-1-5-v1:0 모델 식별자를 사용해 Amazon S3 영상의 요약과 핵심 주제를 요청한다. 원문은 이 예시가 글로벌 Cross Region Inference(CRIS)를 사용하며, 미국 지리적 엔드포인트를 대상으로 하려면 global.을 us.로 바꾸라고 설명한다. 긴 영상 분할 같은 호출을 고려해 예시의 read_timeout은 900초로 설정하고, 일반 모드 요청에는 temperature 0.2와 maxOutputTokens 4096을 지정한다. 응답에는 답변인 message, 토큰 수인 input_tokens와 output_tokens, 생성 종료 이유인 stopReason이 포함되며, stopReason이 length이면 maxOutputTokens에 도달해 답변이 잘렸을 수 있으므로 한도를 높여 재시도하도록 안내한다. 일반 모드의 temperature 범위는 0~1이고 기본값은 0.2이며, maxOutputTokens는 512~98,304 범위를 지원한다. 선택 항목인 includeMetering을 true로 설정하면 비스트리밍 응답에 청구 사용량 필드 outputTokenCount와 분석 영상 길이의 초 단위 값인 inputVideoSecond가 추가된다.

7. 스트리밍과 JSON Schema 기반 출력

대화형 애플리케이션에서는 InvokeModelWithResponseStream을 사용해 답변이 생성되는 동안 청크 단위로 내용을 받을 수 있다. 예시 코드는 응답 본문의 이벤트를 순회하면서 각 청크를 JSON으로 해석하고, message에 들어 있는 다음 텍스트 조각을 순서대로 출력한다. 일반 모드에서 후속 코드가 직접 처리할 구조화 결과가 필요하면 responseFormat.type을 json_schema로 지정하고 jsonSchema 아래에 출력 스키마를 넣는다. 원문의 예시는 문자열 summary, 문자열 배열 key_scenes, 문자열 setting을 속성으로 정의하고 세 필드를 모두 필수로 지정해 영상의 구조화된 요약을 요청한다. 이때 답변은 message 안에 JSON 문자열로 들어오므로 응답 본문을 해석한 뒤 message도 JSON으로 해석해야 하며, 예시는 temperature 0과 maxOutputTokens 2048을 사용한다.

8. 시간 기반 구간 정의와 뉴스 방송 예시

시간 기반 메타데이터 생성은 이전 버전과 가장 크게 달라진 기능으로, 자연어 질문 대신 하나 이상의 구간 정의를 보내 각 정의와 일치하는 모든 구간을 받는 방식이다. analysisMode는 time_based_metadata로, responseFormat.type은 segment_definitions로 설정하며, 구간 정의가 inputPrompt를 대신하므로 해당 필드는 제외한다. 각 정의에는 일치한 구간에 함께 반환되는 이름인 id, 구간 조건을 설명하는 description, 추출할 값의 이름·자료형·설명을 담는 fields가 포함된다. 필드 자료형으로는 string, boolean, number, integer, array, timestamp가 제시되며, 뉴스 방송 예시는 새로운 기사나 주제처럼 구별되는 편집 구간을 찾아 제목·요약·핵심 주제를 추출하도록 구성한다. 이 예시는 segmentTimeFormat을 hh:mm:ss로, temperature를 0으로, maxOutputTokens를 32768로 설정하고 includeMetering을 활성화하지만, 제공된 본문은 응답 처리 코드의 for segment 부분에서 끝나 실제 반환 결과는 확인할 수 없다.

🧾 핵심 주장 / 시사점

• 구간 조건과 추출 필드를 사용자가 함께 정의하므로, 같은 영상에서도 업무 목적에 따라 서로 다른 구조화 메타데이터를 요청할 수 있다.
• 사전 인덱싱 없이 영상을 직접 처리하는 방식은 준비 단계를 줄이지만, 요청 설계에서는 영상 길이와 입력 용량, 출력 토큰 한도를 함께 고려해야 한다.
• JSON Schema에 따른 일반 모드 출력과 시간 기반 segments 출력은 구조와 목적이 다르므로, 후속 처리 코드는 선택한 분석 모드의 응답 형태에 맞춰야 한다.

✅ 액션 아이템

• Pegasus 1.5에 적용할 편집 구간·스포츠 플레이·화자 변경·브랜드 노출 조건과 추출 필드를 구체화한다.
• 영상 길이와 25 MB 제한을 기준으로 Amazon S3 URI 또는 base64 문자열 입력 방식을 선택한다.
• stopReason과 토큰 수로 응답 완결성을 확인하고, outputTokenCount와 inputVideoSecond로 청구 사용량을 파악한다.

❓ 열린 질문

• Pegasus 1.5가 최대 2시간 영상에서 사용자 정의 조건과 일치하는 모든 구간을 얼마나 정확하게 찾아내는가?
• 한국어 부분 지원은 실제 영상 분석의 정확도와 결과 활용에 어떤 제약을 주는가?
• maxOutputTokens 한도에 도달해 stopReason이 length로 반환될 때 구간 메타데이터의 완결성은 어떻게 확인할 수 있는가?