TimeScope: How Long Can Your Video Large Multimodal Model Go?

🖼️ 인포그래픽

TimeScope: How Long Can Your Video Large Multimodal Model Go? 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

TimeScope는 1분부터 8시간까지의 영상에 짧은 동영상 클립을 삽입해 검색·정보 종합·세밀한 시간 지각 능력을 측정하며, 최신 비전-언어 모델의 장시간 영상 이해가 아직 제한적임을 보여주는 오픈소스 벤치마크다.

📌 핵심 요약

기존 장시간 영상 벤치마크는 정적 이미지를 영상에 삽입하는 방식이 많아, 실제 사건의 순서와 움직임을 이해하는 능력보다 시각적 검색 능력을 주로 측정했다.
TimeScope는 1분에서 8시간 길이의 기본 영상에 약 5~10초짜리 동영상 클립을 무작위 위치에 삽입하고, 모델이 전체 시간축에서 필요한 정보를 찾아 이해하도록 설계됐다.
평가 과제는 특정 구간의 내용을 찾는 국소 검색, 여러 시점의 정보를 시간순으로 결합하는 정보 종합, 프레임 간 움직임과 사건 전개를 분석하는 세밀한 시간 지각으로 구성된다.
평가 결과 모델의 매개변수 수를 늘리는 것만으로 처리 가능한 시간 범위가 길어지지는 않았으며, 영상 길이가 증가할수록 여러 모델의 성능이 하락하거나 일정 지점에서 정체됐다.
Gemini 2.5-Pro는 한 시간이 넘는 영상에서도 강한 정확도를 유지한 유일한 모델이었고, Qwen 2.5-VL은 문자 정보를 종합하는 과제에는 강했지만 정밀한 움직임을 세는 과제에는 상대적으로 약했다.

🧩 주요 포인트

기존 장시간 영상 벤치마크는 정적 이미지를 영상에 삽입하는 방식이 많아, 실제 사건의 순서와 움직임을 이해하는 능력보다 시각적 검색 능력을 주로 측정했다.
TimeScope는 1분에서 8시간 길이의 기본 영상에 약 5~10초짜리 동영상 클립을 무작위 위치에 삽입하고, 모델이 전체 시간축에서 필요한 정보를 찾아 이해하도록 설계됐다.
평가 과제는 특정 구간의 내용을 찾는 국소 검색, 여러 시점의 정보를 시간순으로 결합하는 정보 종합, 프레임 간 움직임과 사건 전개를 분석하는 세밀한 시간 지각으로 구성된다.
평가 결과 모델의 매개변수 수를 늘리는 것만으로 처리 가능한 시간 범위가 길어지지는 않았으며, 영상 길이가 증가할수록 여러 모델의 성능이 하락하거나 일정 지점에서 정체됐다.
Gemini 2.5-Pro는 한 시간이 넘는 영상에서도 강한 정확도를 유지한 유일한 모델이었고, Qwen 2.5-VL은 문자 정보를 종합하는 과제에는 강했지만 정밀한 움직임을 세는 과제에는 상대적으로 약했다.

🧠 상세 정리

1. 장시간 영상 이해 주장과 기존 평가의 한계

멀티모달 모델들은 수천 개의 프레임을 처리하고 한 시간 이상의 영상을 이해할 수 있다고 주장하지만, 저자들은 이것이 실제 사건의 흐름을 이해한다는 뜻인지 재검토해야 한다고 지적한다. 긴 문맥 언어 모델에서도 HELM과 RULER 같은 벤치마크를 통해 단순 검색을 넘어 추론이나 정보 집계가 필요해지면 성능이 쉽게 무너진다는 사실이 드러났다. 영상 분야의 대표적 평가인 Video Needle in a Haystack는 주로 정적 이미지를 영상에 삽입하므로, 시간에 따른 변화보다 특정 이미지를 찾아내는 시각적 검색 능력을 측정하는 데 가깝다. 게다가 최고 수준의 모델도 실제 학습에서는 약 256프레임을 넘는 입력을 충분히 접하지 못하는 경우가 많으며, Video-MME와 같은 평가에서 프레임 수를 늘리면 성능이 급격히 떨어진다. TimeScope는 이러한 측정 공백을 메우고 모델이 긴 영상의 사건 순서와 동작을 실제로 이해하는지 확인하기 위해 제안됐다.

2. TimeScope가 측정하는 세 가지 핵심 능력

TimeScope는 장시간 영상 이해를 국소 검색, 정보 종합, 세밀한 시간 지각이라는 세 축으로 나누어 측정한다. 국소 검색은 긴 영상 속 특정 짧은 구간을 발견하고 그 구간에 관한 질문에 답할 수 있는지 확인하는 과제다. 정보 종합은 시간축의 여러 위치에 흩어진 단서를 모두 수집한 뒤, 그 내용을 올바른 시간 순서로 정리할 수 있는지를 평가한다. 세밀한 시간 지각은 단일 정지 프레임만으로는 답할 수 없는 움직임이나 사건의 연속성을 여러 프레임에 걸쳐 분석하도록 요구한다. 이 구성은 모델이 긴 입력을 단순히 받아들일 수 있는지를 넘어, 필요한 순간을 찾고 분산된 정보를 연결하며 시간적 동작까지 보존해 이해하는지를 종합적으로 드러내기 위한 것이다.

3. 짧은 동영상 바늘을 활용한 벤치마크 설계

TimeScope는 다큐멘터리, 강의, 주변 환경 영상과 같은 1분에서 8시간 길이의 기본 영상을 건초더미로 사용한다. 여기에 사람이 선별한 약 5~10초 길이의 짧은 동영상 클립을 하나 이상 무작위 위치에 삽입하며, 이 클립들이 문제 해결에 필요한 핵심 정보를 담는 바늘 역할을 한다. 기존 방식처럼 정적 이미지를 넣는 대신 실제 동영상 클립을 삽입하기 때문에, 모델은 바늘의 존재뿐 아니라 그 안에서 벌어지는 움직임과 사건도 이해해야 한다. 바늘의 위치와 기본 영상의 길이를 다양하게 바꾸면 입력이 길어질수록 어느 지점에서 모델의 성능이 저하되는지 비교할 수 있다. 또한 필요한 정보를 놓치기 쉬운 희소 프레임 샘플링에만 의존하지 않고 전체 시간축을 충분히 처리해야 답할 수 있도록 과제가 구성돼 있다.

4. 국소 검색·정보 종합·시간 지각 과제의 차이

국소 검색 과제는 긴 영상 속 한 구간에서 교통수단이 무엇인지 묻는 것처럼, 관련 클립의 적절한 프레임을 찾으면 답할 수 있는 기본 검색과 내용 이해를 평가한다. 정보 종합 과제에서는 화면에 비밀 단어가 표시된 2~4개의 짧은 클립을 서로 다른 시점에 삽입하고, 모델이 모든 단어를 찾아 등장한 순서대로 보고하도록 한다. 이는 여러 장면에 분산된 핵심 사실이나 시점을 추출하고 상대적 위치를 이해하는 작업을 모사한다. 세밀한 시간 지각 과제는 남성이 도끼를 몇 번 휘둘렀는지를 세는 예시처럼, 한 프레임만 보고는 해결할 수 없는 움직임의 반복과 순서를 다룬다. 따라서 세 과제는 각각 특정 순간의 발견, 여러 순간의 연결, 프레임 사이 동작의 정밀한 해석을 구분해 측정한다.

5. 주요 모델 평가에서 드러난 성능 차이

연구진은 오픈소스 모델부터 Gemini 2.5-Pro까지 여러 주요 비전-언어 모델을 TimeScope로 평가했으며, 긴 영상을 처리한다고 알려진 모델들도 실제 장시간 과제에서는 어려움을 겪었다. 영상이 길어질수록 성능이 하락했고, 모델별로 특정 지속 시간 부근에서 급격한 성능 저하가 나타났으며 정적 정보 검색과 움직임 분석 사이에도 뚜렷한 차이가 확인됐다. Qwen 2.5-VL의 3B·7B 모델과 InternVL 2.5의 2B·4B·8B 모델은 크기가 달라도 장시간 영상 성능 곡선과 정체되는 문맥 길이가 거의 비슷했다. 이는 매개변수 수를 단순히 늘리는 것만으로 모델의 시간적 처리 범위가 자동으로 확장되지는 않는다는 결과다. Gemini 2.5-Pro는 한 시간이 넘는 영상에서도 강한 정확도를 유지한 유일한 모델로 보고됐다.

6. 과제별 상충 관계와 오픈소스 공개

평가에서는 동일한 모델이라도 과제 유형에 따라 강점과 약점이 달라진다는 점이 확인됐다. Qwen 2.5-VL은 여러 시점에 분산된 화면 속 문자를 찾아 순서대로 배열하는 정보 종합 OCR 과제에서 좋은 성능을 보였지만, 정확한 움직임 횟수를 세어야 하는 세밀한 시간 지각 과제에서는 뒤처졌다. 저자들은 이러한 결과를 바탕으로 현재의 한 시간 영상 이해 능력이 여전히 실제보다 과장된 구호에 가깝고, 학습과 평가 모두에서 시간적 추론과 동작 지각을 더 엄격히 다뤄야 한다고 결론 내린다. TimeScope의 데이터셋과 리더보드는 Apollo-LMMs/TimeScope로, 평가 프레임워크는 lmms-eval로 공개됐다. 공개 데모와 로컬 평가 방법, 점수 제출용 리더보드도 함께 제공해 다양한 모델의 장시간 영상 능력을 동일한 기준에서 비교할 수 있도록 했다.

🧾 핵심 주장 / 시사점

긴 영상을 입력할 수 있다는 문맥 용량과 영상 속 사건의 순서·움직임을 실제로 이해하는 능력은 동일하지 않으며, 정적 이미지 검색 중심의 평가는 이 차이를 충분히 드러내지 못한다.
모델 크기를 키우는 것만으로 시간적 처리 범위가 확장되지 않았으므로, 장시간 영상 성능 개선에는 긴 프레임 시퀀스와 시간적 추론을 직접 다루는 학습·평가가 필요하다는 점이 드러난다.
문자 기반 정보 종합에 강한 모델이 정밀한 동작 인식에도 강한 것은 아니므로, 장시간 영상 이해 성능은 하나의 총점보다 검색·종합·시간 지각을 분리해 해석해야 한다.

✅ 액션 아이템

TimeScope 오픈소스 벤치마크의 핵심 과제를 국소 검색·정보 종합·시간 지각으로 구분해 장시간 영상 성능 지표 체계를 정렬한다.
5~10초 클립이 무작위 삽입된 1분~8시간 영상군별로 TimeScope 적용 결과를 점검해 정적 이미지 중심 기존 접근과 성능 편차를 비교한다.
모델 파라미터 증설이 시간 확장 성능 개선으로 이어지지 않는 점을 반영해 길이 증가 구간의 정체 지점을 기준으로 후보 모델 적용 범위를 정의한다.