YouTubeCaleb Writes Code·2026년 11월 13일·0

JEPA is hard..

Quick Summary

JEPA가 어려운 이유는 픽셀 대신 표현을 예측하는 아이디어를 넘어, 표현 붕괴 없이 학습을 안정화하고 그 표현을 실제 세계의 이해와 행동으로 연결해야 하기 때문이다.

영상 보기

클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.

원본 열기

🖼️ 인포그래픽

JEPA is hard.. 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

JEPA is hard..의 핵심 내용을 4단계로 요약한 인포그래픽
JEPA is hard.. 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 결론

JEPA가 어려운 이유는 픽셀 대신 표현을 예측하는 아이디어를 넘어, 표현 붕괴 없이 학습을 안정화하고 그 표현을 실제 세계의 이해와 행동으로 연결해야 하기 때문이다.

📌 핵심 요점

  1. 데이터의 양만큼 중요한 것은 학습 목표의 설계다. 영상은 다음 토큰 예측과 이미지 마스킹을 비교하며, 무엇을 예측하도록 훈련하느냐가 모델이 배우는 특징을 결정한다고 설명한다.
  2. I-JEPA는 원본 픽셀 대신 가려진 영역의 내부 표현을 예측한다. 영상에서는 여러 개의 큰 블록을 가리는 방식이 특징 추출과 학습 효율에 유리했다고 소개한다.
  3. 교사 모델도 처음부터 정답 특징을 아는 것은 아니다. 학생의 가중치를 지수이동평균인 EMA로 교사에 천천히 반영해 학습을 안정화하지만, 표현 붕괴와 하이퍼파라미터 조정이라는 난점이 남는다.
  4. V-JEPA는 표현 예측을 시간축으로 확장한다. 여러 프레임에서 같은 공간 영역을 가리는 튜브 마스킹으로 인접 프레임을 참고하는 지름길을 줄이고, 시공간 관계를 배우도록 유도한다.
  5. V-JEPA 2와 계층적 계획은 인식에서 행동으로 나아가는 시도다. 대규모 사전학습 뒤 영상 질의응답·행동 인식·로봇 데이터 학습으로 연결하지만, JEPA가 최종 해법인지는 아직 열려 있다.

🧩 배경과 문제 정의

이미지·텍스트·영상이 풍부해도 모델이 세계의 작동 방식을 배우도록 만드는 일은 단순하지 않다. 신경망은 사람이 인식 규칙을 직접 코딩하는 대신, 주어진 학습 목표를 통해 특징을 익힌다. 따라서 핵심 문제는 데이터를 얼마나 공급하느냐와 함께 무엇을 예측하게 하고, 어떤 차이를 줄이도록 학습시키느냐에 있다.

영상은 이 문제를 JEPA의 관점에서 설명한다. 이미지의 가려진 영역에 대한 표현 예측에서 시작해 교사·학생 모델의 안정화, 영상의 시간축 학습, 로봇 행동과 계층적 계획으로 이어진다. 도착점은 지각·기억·세계 표현·행동을 연결하는 자율적 기계 지능의 구상이며, 현재 접근이 그 구상을 완성했는지는 유보한다.

🕒 시간순 섹션별 상세정리

1. 데이터를 주는 것만으로 학습이 완성되지 않는 이유

  • 도입은 세계의 작동 방식을 모델에 가르치는 어려움에서 출발한다. JEPA의 모든 계보를 나열하기보다 주요 모델을 따라 핵심 아이디어와 필요성을 설명하겠다고 범위를 정한다. [00:39]
  • 사람이 그림 속 물체를 세는 일을 신경망에 옮기려면, 인식 규칙을 직접 작성하는 대신 모델이 무엇을 배우도록 훈련할지 먼저 정해야 한다. LLM의 다음 토큰 예측과 교차엔트로피 손실을 그 예로 든다. [01:28]
  • 이미지 일부를 가리고 예측시키는 방식도 같은 직관을 따른다. 반복적인 예측 과정에서 이미지 특징을 익히고, 이후 구체적인 활용 과제에 사용할 수 있다는 설명이다. [02:17]

2. 픽셀 복원에서 가려진 표현 예측으로

  • 예측 대상은 픽셀 자체일 수도 있고 이미지의 내부 표현일 수도 있다. 영상은 마스킹 방식도 중요하다며, 각각 약 15%인 블록을 최대 네 개 가리는 전략이 가장 잘 작동했다고 보여준다. [02:47]
  • 2023년에 등장한 I-JEPA는 문맥을 보고 가려진 영역의 특징 표현을 예측하도록 훈련한다. 영상은 JEPA를 공동 임베딩 예측 구조로 풀어 설명하며, 네 영역에 대한 예측 과정을 보여준다. [03:27]
  • 앞선 data2vec에도 유사한 아이디어가 있었다고 짚어 본다. 이어 당시 비교에서 JEPA가 더 높은 점수와 더 적은 학습 연산량을 보였다고 소개하지만, 대본에는 세부 비교 조건이 담겨 있지 않다. [03:46]

3. 교사·학생 학습의 안정성과 남는 가정

  • 전체 이미지를 보는 교사도 처음부터 중요한 특징을 아는 것은 아니다. 학생은 제한된 문맥으로 교사가 가진 가려진 영역의 표현을 예측하고, 교사의 가중치는 학생의 가중치를 EMA로 천천히 반영하며 안정화된다. [04:58]
  • 서로 다른 입력에도 교사와 학생이 거의 같은 임베딩을 출력하면 학습이 멈추는 표현 붕괴가 생긴다. 영상은 EMA를 이를 피하고 학습을 안정화하는 우회 장치로 설명하며, 세밀한 하이퍼파라미터 조정에 대한 의존을 비판점으로 든다. [05:31]
  • 더 근본적으로는 잠재공간의 L2 거리를 줄이는 것이 최선의 목표인지, 교사 임베딩 예측만으로 그림에 필요한 정보를 충분히 배울 수 있는지라는 두 가정이 남는다. [06:16]

4. 세계 모델로의 전환과 추론 비용 후원 구간

  • 논의는 이미지 표현에서 영상, 나아가 세계에서 행동하는 모델로 확장된다. 이어 후원 구간에서는 에이전트가 매 단계 대화 문맥을 다시 보내면서 토큰 비용이 누적되는 문제를 제기한다. [06:50]
  • 후원 서비스는 오픈웨이트 모델과 캐싱을 비용 절감 수단으로 내세운다. 약 99%의 기존 문맥이 캐시에서 제공됐고 긴 문맥에서 첫 토큰 응답이 최대 10배 빨랐다는 수치는 후원 설명에 해당한다. [07:38]
  • 광고는 기존 API 형식과의 호환성, 프롬프트·사용자 데이터를 모델 학습용으로 저장하지 않는다는 정책, 사용량 과금과 할인 안내로 마무리된다. 이 내용은 JEPA 연구 결과와 별도로 드러난다. [08:09]

5. V-JEPA가 시간축을 학습하는 방식

  • V-JEPA는 이미지 기반 접근에 시간 차원을 더한 확장으로 드러난다. 픽셀 대신 잠재표현을 예측하고 EMA를 사용하는 틀은 유지하며, 영상에서 소개한 손실함수는 I-JEPA의 L2와 달리 L1이다. [09:11]
  • 튜브 마스킹은 여러 프레임에서 같은 공간 영역을 가린다. 이전 프레임을 보고 쉽게 답을 얻는 지름길을 줄여, 더 넓은 시공간 관계를 배우도록 유도한다는 설명이다. [09:40]
  • 발표자는 이미지에서 영상으로의 구조적 확장 자체보다, 학습한 표현이 실제로 얼마나 효과적이며 어떤 후속 과제까지 확장되는지가 더 중요하다고 전환한다. [09:54]

6. V-JEPA 2의 활용과 계층적 계획

  • 영상은 2025년 무렵의 V-JEPA 2가 약 100만 시간의 영상과 100만 장의 이미지로 사전학습했다고 보여준다. 이후 영상 질의응답, 행동 분류·객체 인식, 로봇 데이터 학습을 통해 활용도를 높이는 흐름을 보여준다. [10:58]
  • 로봇 행동과 상태 데이터 62시간을 활용한 사례와 함께, 행동 인식 정확도 77.3%, EPIC-KITCHENS 관련 평가 39.7% 및 이전 수치 27.6%를 제시한다. 각 수치는 해당 평가의 조건 안에서 읽어야 한다. [11:27]
  • 이어 세 가지 시간 규모를 다루는 계층적 계획을 보여준다. 장기 목표에서 세부 행동까지 계획을 연결하는 시도로, JEPA 위에 활용 능력이 추가되는 연구 방향을 보여준다. [11:57]

7. 자율적 기계 지능의 구상과 남은 거리

  • 마지막은 2022년에 제시된 구상으로 돌아간다. 인간과 동물의 학습을 참고해 지각, 세계 표현, 기억, 행동 등 역할을 나누고 연결하는 구조를 보여준다. [13:02]
  • 이미지 지각에서 영상 이해로, 다시 세계 모델을 통한 행동으로 이어지는 흐름이 JEPA의 존재 이유와 발전 방향을 보여준다고 정리한다. 동시에 JEPA가 최종적으로 성공할 방식이 아닐 수도 있음을 명시한다. [13:36]
  • 결말은 공개된 실험과 가설의 가치를 평가한다. 학습의 완벽한 방법은 아직 찾지 못했지만, 세계 모델과 행동 중심 활용에서 이를 풀어낸다면 물리적 AI 수요가 크게 늘 수 있다는 조건부 전망으로 끝난다. [14:05]

🧾 결론

  • JEPA의 핵심 선택은 관측 데이터를 그대로 복원하기보다, 필요한 특징을 담은 표현을 예측하도록 학습시키는 것이다.
  • 이미지에서 영상으로 확장하는 구조보다 더 어려운 과제는 학습 안정성, 표현의 유용성, 실제 행동으로의 연결을 입증하는 일이다.
  • 영상은 연구의 진전을 긍정적으로 평가하면서도, 현재의 손실함수와 교사 표현 예측이 최선의 학습 방식이라고 보장할 수 없다고 강조한다.

📈 투자·시사 포인트

  • 물리적 AI의 가능성을 평가할 때는 영상 인식 점수뿐 아니라, 학습한 표현이 예측·계획·행동에 얼마나 유용한지 살펴볼 필요가 있다.
  • 영상이 소개한 학습 연산량 절감과 적은 로봇 데이터 활용은 효율성 측면의 관찰 지점이다. 다만 비교 조건과 적용 범위를 확인해야 경제적 의미를 판단할 수 있다.
  • 에이전트 비용과 관련해서는 반복 전송되는 문맥과 캐싱이 별도의 운영 변수로 등장한다. 후원 구간의 비용·속도 수치는 연구 성과와 구분해 검토해야 한다.
  • 결말의 물리적 AI 수요 확대 전망은 학습과 행동 연결이 성공한다는 조건에 달려 있다. 영상만으로 특정 기업의 수익이나 투자 성과를 도출할 근거는 없다.

⚠️ 불확실하거나 확인이 필요한 부분

  • I-JEPA의 성능·연산량 우위와 마스킹 전략의 효과는 영상에서 소개되지만, 비교 모델의 설정과 평가 조건은 대본만으로 확인하기 어렵다.
  • 행동 인식 정확도 77.3%, EPIC-KITCHENS 관련 39.7%와 이전 27.6%는 서로 다른 평가 맥락을 가진 수치다. 정확한 과제와 지표 정의를 확인하기 전에는 직접 비교하거나 일반화하기 어렵다.
  • EMA는 학습을 안정화하는 장치로 설명된다. 이것만으로 모든 조건에서 표현 붕괴를 방지하거나 유용한 표현을 보장한다고 해석해서는 안 된다.
  • 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
  • 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
  • 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

  • I-JEPA와 V-JEPA를 예측 대상, 마스킹 방식, 손실함수, 교사 갱신 방식으로 나눠 비교표를 만든다.
  • 영상에서 언급한 학습 연산량과 벤치마크 수치의 원자료를 찾아 평가 조건과 지표 정의를 확인한다.
  • EMA가 교사를 안정화하는 과정과 모든 입력이 비슷한 임베딩으로 모이는 표현 붕괴를 각각 설명할 수 있는지 점검한다.
  • 영상 질의응답·행동 인식·로봇 제어 중 관심 과제를 정하고, 표현 학습 성과가 그 과제의 성능으로 이어지는 근거를 확인한다.

❓ 열린 질문

  • 교사 임베딩과의 거리를 줄이는 목표만으로 실제 세계를 이해하고 행동하는 데 필요한 정보를 충분히 배울 수 있을까?
  • EMA와 세밀한 하이퍼파라미터 조정에 대한 의존도를 줄이면서 표현 붕괴를 피할 수 있을까?
  • 대규모 영상 사전학습과 제한된 로봇 데이터의 결합은 영상에서 보여준 과제를 넘어 어디까지 일반화될까?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.