Sora System Card

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Sora는 텍스트·이미지·영상을 입력받아 최대 1080p·20초 영상을 생성하거나 편집하는 모델이며, OpenAI는 데이터 필터링, 외부 레드팀, 내부 평가, 입출력 분류기와 제품 제한을 결합해 오용 위험을 줄이고자 했다.

📌 핵심 요약

• Sora는 확산 모델과 트랜스포머 구조를 사용하며, 여러 프레임을 함께 고려해 피사체의 시간적 일관성을 유지하고 상세한 텍스트 지시를 영상에 반영하도록 설계됐다.
• 영상과 이미지를 저차원 잠재 공간으로 압축한 뒤 시공간 패치로 분해해 학습하며, 공개 데이터, 파트너십을 통해 확보한 비공개 데이터, 자체 제작 데이터와 사람의 피드백을 활용했다.
• 학습 전에는 노골적·폭력적·민감한 콘텐츠를 제거하는 필터링을 적용했고, 배포 준비 과정에서는 60여 개국의 창작자와 9개국 외부 레드팀의 피드백을 반영했다.
• 외부 레드팀은 2024년 9월부터 12월까지 1만 5천 건이 넘는 생성을 시험하며 성적 콘텐츠, 폭력, 자해, 불법 콘텐츠, 허위정보, 딥페이크와 안전장치 우회 가능성을 점검했다.
• 초기 접근 프로그램의 50만 건 이상 요청과 내부 평가를 바탕으로 프롬프트 필터, 차단 목록, 분류기 임계값, 얼굴 업로드 제한, 미성년자 관련 보수적 기준, C2PA 데이터 적용 등의 조치를 조정했다.

🧩 주요 포인트

1. Sora는 확산 모델과 트랜스포머 구조를 사용하며, 여러 프레임을 함께 고려해 피사체의 시간적 일관성을 유지하고 상세한 텍스트 지시를 영상에 반영하도록 설계됐다.
2. 영상과 이미지를 저차원 잠재 공간으로 압축한 뒤 시공간 패치로 분해해 학습하며, 공개 데이터, 파트너십을 통해 확보한 비공개 데이터, 자체 제작 데이터와 사람의 피드백을 활용했다.
3. 학습 전에는 노골적·폭력적·민감한 콘텐츠를 제거하는 필터링을 적용했고, 배포 준비 과정에서는 60여 개국의 창작자와 9개국 외부 레드팀의 피드백을 반영했다.
4. 외부 레드팀은 2024년 9월부터 12월까지 1만 5천 건이 넘는 생성을 시험하며 성적 콘텐츠, 폭력, 자해, 불법 콘텐츠, 허위정보, 딥페이크와 안전장치 우회 가능성을 점검했다.
5. 초기 접근 프로그램의 50만 건 이상 요청과 내부 평가를 바탕으로 프롬프트 필터, 차단 목록, 분류기 임계값, 얼굴 업로드 제한, 미성년자 관련 보수적 기준, C2PA 데이터 적용 등의 조치를 조정했다.

🧠 상세 정리

1. Sora의 목적과 제품 기능

Sora는 텍스트, 이미지, 영상을 입력으로 받아 새로운 영상을 생성하는 OpenAI의 영상 생성 모델이다. 사용자는 최대 1080p 해상도와 최대 20초 길이의 영상을 여러 형식으로 만들 수 있으며, 텍스트만으로 콘텐츠를 생성하거나 자신이 가진 자료를 향상·리믹스·혼합할 수 있다. 정지 이미지를 입력해 세부 요소를 살리면서 움직이는 영상으로 만들고, 기존 영상을 연장하거나 빠진 프레임을 채우는 기능도 제공한다. 제품에는 커뮤니티가 만든 결과물을 보여 주는 추천 및 최신 피드가 포함되어 사용자가 새로운 아이디어를 탐색할 수 있도록 설계됐다. OpenAI는 DALL·E와 GPT에서 얻은 학습을 바탕으로 Sora를 이야기 전달과 창의적 표현의 도구로 개발했다고 설명한다.

2. 영상 생성 방식과 모델 구조

Sora는 정적 잡음처럼 보이는 기본 영상에서 출발해 여러 단계에 걸쳐 잡음을 제거하면서 영상을 형성하는 확산 모델이다. 모델이 한 번에 여러 프레임을 내다보도록 함으로써 피사체가 화면 밖으로 잠시 사라졌다가 돌아오더라도 동일한 대상으로 유지하는 어려운 문제를 다뤘다. 구조적으로는 GPT 계열과 유사하게 트랜스포머 아키텍처를 사용해 확장 성능을 확보한다. 또한 DALL·E 3의 재캡셔닝 기법을 활용해 시각 학습 데이터에 매우 상세한 설명문을 생성하고, 이를 통해 사용자의 텍스트 지시를 생성 영상에 더 충실하게 반영하도록 했다. OpenAI는 이러한 능력이 현실 세계를 이해하고 시뮬레이션하는 모델의 기반이 될 수 있다고 밝힌다.

3. 시공간 패치 표현과 학습 데이터

Sora는 대규모 언어 모델이 서로 다른 언어, 코드, 수학을 토큰이라는 공통 표현으로 처리한 방식에서 영감을 받았으며, 영상에는 이에 대응하는 시각적 패치를 사용한다. 구체적으로 영상을 먼저 저차원 잠재 공간으로 압축한 다음, 그 표현을 시간과 공간을 함께 포괄하는 시공간 패치로 분해한다. OpenAI는 이 패치 표현이 다양한 유형의 영상과 이미지를 대상으로 생성 모델을 학습하는 데 확장성과 효율성이 높았다고 설명한다. 학습에는 표준적인 기계학습 데이터셋과 웹 크롤에서 주로 수집한 공개 데이터, 파트너십으로 접근한 비공개 데이터, 필요에 맞춰 자체 개발하거나 의뢰 제작한 데이터가 함께 사용됐다. AI 트레이너, 레드팀 참여자, 직원이 제공한 사람 기반 피드백도 데이터 구성에 포함됐다.

4. 학습 전 데이터 필터링

OpenAI는 모델 사전학습 이후에 적용되는 안전 조치뿐 아니라, 학습에 들어가기 전 데이터 필터링도 추가 방어 계층으로 사용했다. 모든 데이터셋은 학습 전에 필터링 과정을 거쳐 가장 노골적이거나 폭력적이거나 그 밖에 민감한 콘텐츠가 제거됐다. 문서에서는 일부 혐오 상징도 이러한 제거 대상의 예로 제시한다. 이 방식은 DALL·E 2와 DALL·E 3를 비롯한 기존 모델의 학습 데이터에 적용했던 필터링 방법을 확장한 것이다. 다만 문서는 사전학습 필터링 하나만으로 위험을 해결한다고 보지 않고, 제품 수준의 제한과 프롬프트·업로드·출력 검사를 포함한 다른 안전 조치들과 결합해 유해 데이터와 결과물을 줄이는 구조로 설명한다.

5. 창작자 협업과 단계적 배포 준비

OpenAI는 잠재적 오용뿐 아니라 실제 창작 과정에서 Sora가 어떻게 활용되는지를 이해하기 위해 광범위한 피드백 절차를 진행했다. 2024년 2월 Sora 발표 이후 60개국이 넘는 지역의 시각 예술가, 디자이너, 영화 제작자 수백 명과 협력해 창작 전문가에게 유용한 모델로 발전시키기 위한 의견을 받았다. 안전 체계는 DALL·E와 ChatGPT의 기존 조치를 기반으로 하되, 영상 제품에서 새롭게 나타날 수 있는 위험을 다루는 맞춤형 조치를 추가하는 방식으로 구성됐다. 출시 시점에는 18세 이상으로 접근 연령을 제한하고, 인물의 외형이나 얼굴이 포함된 업로드 사용을 제한하며, 미성년자가 관련된 프롬프트와 업로드에는 더 보수적인 검열 기준을 적용했다. OpenAI는 맥락에 따라 판단이 달라질 수 있는 영상의 특성 때문에 사용 행태를 관찰하며 안전성과 창작 자유 사이의 균형을 반복적으로 조정하겠다고 설명한다.

6. 외부 레드팀의 공격적 안전성 시험

OpenAI는 9개국의 외부 레드팀과 협력해 Sora 제품의 약점과 새로운 기능에서 발생할 수 있는 위험을 시험했다. 레드팀은 2024년 9월부터 12월까지 안전 조치와 시스템 성숙도가 서로 다른 여러 버전에 접근해 1만 5천 건이 넘는 생성을 수행했으며, 이는 생산 환경용 조치가 없던 초기 모델을 대상으로 한 2024년 초 시험의 연장선이었다. 시험 범위에는 성적·에로틱 콘텐츠, 폭력과 유혈, 자해, 불법 콘텐츠, 허위정보를 비롯한 금지 범주와 프롬프트 또는 제품 기능을 이용한 우회 전술이 포함됐다. 텍스트-영상 생성뿐 아니라 공인 등이 포함된 다양한 이미지·영상 업로드, 스토리보드, 재편집, 리믹스, 혼합 기능의 조합도 검토했다. 레드팀은 편향과 일반적인 성능에 대한 인식도 함께 전달해 안전 조치뿐 아니라 제품 전반의 개선 자료를 제공했다.

7. 발견된 우회 수법과 보완 조치

레드팀 시험에서는 의료 상황이나 공상과학·판타지 배경을 사용한 텍스트 프롬프트가 성적·에로틱 콘텐츠에 대한 안전장치를 약화시키는 사례가 발견됐고, 이에 따라 추가 조치가 구축됐다. 암시적인 표현이나 은유를 사용해 모델의 추론 능력을 끌어내거나, 반복적인 시도를 통해 차단을 유발하는 단어와 표현의 경향을 파악한 뒤 문구를 바꾸는 방식도 사용됐다. 단일 프롬프트로 만들 수 없는 금지 콘텐츠를 생성하기 위해 가장 우려되는 결과물을 시드 미디어로 선택하고 연속적으로 변형하는 수법과 일부 탈옥 기법도 시험됐다. 업로드 및 편집 도구 시험에서는 일반적인 미디어를 금지된 성적 콘텐츠, 폭력물, 딥페이크로 바꿀 수 있는 입력·출력 필터링의 공백이 드러났다. OpenAI는 이 결과를 바탕으로 프롬프트 필터, 차단 목록, 분류기 임계값과 인물이 포함된 미디어 업로드 보호 조치를 보완했다.

8. 초기 사용자 데이터와 내부 평가

OpenAI는 9개월 동안 60개국이 넘는 지역의 사용자 300명 이상이 보낸 50만 건 이상의 모델 요청과 피드백을 관찰했으며, 이를 모델 행동과 안전 규칙 준수 개선에 활용했다. 예술가들은 눈에 보이는 워터마크가 작업 흐름을 제한한다고 지적했고, 이에 따라 유료 사용자는 표시형 워터마크가 없는 영상 파일을 내려받을 수 있도록 하되 C2PA 데이터는 계속 삽입하는 결정이 내려졌다. 초기 접근 프로그램은 창작자에게 일반 목적 도구보다 민감한 영역에서 더 많은 유연성이 필요하다는 점과, 동시에 일부 영역에는 더 엄격한 제품 수준 조치가 필요하다는 점을 보여 줬다. 내부 평가는 노출, 선거 관련 기만 콘텐츠, 자해, 폭력 등을 대상으로 구성됐으며, 영상 모델에 제공되는 입력 프롬프트와 변환된 프롬프트 또는 최종 영상에 적용되는 입력·출력 분류기를 결합했다. 평가용 프롬프트는 초기 알파 단계의 실제 사용 데이터, 레드팀이 제공한 적대적 사례, GPT-4로 생성한 합성 데이터에서 확보됐다.

🧾 핵심 주장 / 시사점

• Sora의 안전 체계는 학습 데이터 필터링부터 프롬프트 검사, 업로드 제한, 출력 분류, 제품 접근 제한과 사후 평가까지 여러 단계가 겹치는 다층 방어 구조로 설계됐다.
• 레드팀 시험은 단일 프롬프트뿐 아니라 생성 결과를 다시 입력해 점진적으로 금지 콘텐츠를 만드는 연쇄적 편집과 여러 도구의 조합까지 포함해 영상 제품 특유의 우회 경로를 점검했다.
• 창작자 피드백은 안전 정책을 단순히 강화하는 방향으로만 작용하지 않았으며, 표시형 워터마크 정책처럼 창작 작업의 실용성과 출처 정보 보존을 함께 고려하는 제품 결정에도 반영됐다.

✅ 액션 아이템

• Sora는 텍스트·이미지·영상 입력으로 최대 1080p·20초 영상을 다루므로 실제 활용 범위를 입력 형태와 길이 제약 기준으로 먼저 한정한다.
• 확산 모델·트랜스포머 기반 설계와 시공간 패치 학습 방식을 반영해 생성물의 시간적 일관성 유지 항목을 점검 기준에 반영한다.
• 학습 전 필터링, 50만 건 이상 초기 접근 요청, 9개국 외부 레드팀의 1만5천 건 테스트 결과를 기준으로 프롬프트 필터·차단 목록·분류기 임계값을 비교한다.

❓ 열린 질문

• 성적·폭력·민감 콘텐츠 제거를 위한 사전 필터 기준은 어느 선에서 설정해야 오남용 억제와 결과 품질 균형을 맞출 것인가?
• 공개 데이터와 파트너십 비공개 데이터, 자체 제작 데이터의 비중은 어떻게 배분해야 사람 피드백 반영 효과를 최적화할 것인가?
• 레드팀이 점검한 성적·폭력·자해·불법·허위정보·딥페이크·우회 위험이 실제 배포 단계에서 어떤 지표로 반복 추적되어야 하는가?