NVIDIA Nemotron 3.5 Super VL is now available in Amazon SageMaker JumpStart

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

NVIDIA Nemotron 3.5 Super VL이 Amazon SageMaker JumpStart에 제공되어 이미지·영상·텍스트를 처리하는 멀티모달 모델을 NVFP4 또는 BF16 구성으로 배포할 수 있다.

📌 핵심 요약

• NVIDIA Nemotron 3.5 Super VL은 이미지·영상·텍스트를 입력받아 텍스트를 생성하는 VLM으로, 총 120B 파라미터와 토큰당 12B 활성 파라미터의 하이브리드 MoE 언어 백본 및 C-RADIO 비전 인코더를 결합한다. 모델은 최대 100만 토큰 문맥과 요청별 추론 설정을 지원하지만, 내장 MTP 헤드를 활용한 추측 디코딩은 JumpStart 서빙 구성에서 활성화되지 않는다.
• JumpStart는 최적화된 추론용 NVFP4와 사용자 정의 학습 등의 기준 가중치인 BF16을 제공하며, 체크포인트 크기는 각각 약 75GB와 249GB다. NVIDIA 모델 카드의 멀티모달 평가에서 NVFP4는 BF16과 MMLongBench-Doc 점수가 62.82로 같았고, 나머지 제시된 평가에서는 약 1점 이내의 차이를 보였다.
• 입력 250토큰·출력 1,500토큰·동시 스트리밍 요청 5개 조건에서 요청당 평균 출력 처리량은 NVFP4의 ml.g7.24xlarge와 ml.g7.48xlarge가 각각 초당 63.07토큰과 64.01토큰, BF16의 ml.p5en.48xlarge가 초당 140.85토큰이었다. 평균 첫 토큰 지연은 각각 0.45초·0.51초·0.53초였지만, 입력 10,000토큰의 summarize 프로필에서는 ml.g7.24xlarge의 첫 토큰 지연이 12.62초였다. 하드웨어와 구성이 달라 정밀도만의 효과를 비교한 결과는 아니다.
• 주요 용도는 문서 이해, GUI 이해, 영상 질의응답, 멀티모달 에이전트이며 도구 호출과 JSON 스키마 출력을 지원한다. JumpStart 서빙 구성은 요청당 이미지 1개와 영상 1개를 허용하고, 영상 입력에는 엔드포인트 요청 페이로드 크기 제한이 적용된다. BF16 가중치는 SFT·RL·증류·도메인 적응 등에 활용할 수 있지만 JumpStart 엔드포인트는 기본 가중치만 제공하며 LoRA 어댑터를 로드하지 않는다.
• SageMaker Studio 또는 SageMaker Python SDK v3.25 이상으로 배포할 수 있으며, AWS 권한·IAM 역할·지원 인스턴스의 서비스 할당량이 필요하다. 신규 계정의 ml.g7 할당량은 0에서 시작하고, NVFP4 기본 인스턴스인 ml.g7.24xlarge의 배포에는 약 10분이 걸린다. SDK에서는 Compute에 인스턴스 유형을 명시해야 하며, 기본 generate 구성의 문맥은 2,275토큰, summarize는 13,650토큰, modify는 15,600토큰이다.

🧩 주요 포인트

1. 최대 100만 토큰의 모델 사양과 JumpStart 서빙 문맥은 다름 → 이미지·영상·추론 요청은 실제 구성의 문맥 한도에 맞춰야 한다.
2. NVFP4와 BF16의 멀티모달 점수는 근접하지만 실행 GPU와 처리량은 다름 → 모델 품질, 배포 자원, 실제 요청의 지연을 함께 고려해야 한다.
3. BF16 가중치의 사용자 정의 학습과 JumpStart 엔드포인트의 기능 범위는 다름 → 학습 가능성과 LoRA 어댑터 서빙 지원 여부를 구분해야 한다.

🧠 상세 정리

1. JumpStart 제공과 모델의 기본 구조

AWS는 NVIDIA Nemotron 3.5 계열의 비전 언어 모델인 Super VL을 Amazon SageMaker JumpStart에서 제공한다고 발표했으며, SageMaker Studio의 몇 단계 또는 SageMaker Python SDK의 짧은 코드로 배포할 수 있다고 설명한다. 이 모델은 이미지·영상·텍스트를 입력받고 텍스트를 생성하며, 총 120B 파라미터 중 토큰마다 12B를 활성화하는 하이브리드 MoE 언어 백본을 사용한다. 백본은 88개 층에 Mamba-2와 MoE 층을 교차 배치하고 8개 어텐션 층 및 공유 MTP 헤드를 결합하며, MoE는 라우팅 전문가 512개 중 토큰당 22개를 활성화한다. 언어 백본은 Nemotron 3 Super Base에서 초기화되고 Nemotron 3 Ultra Base로부터 증류된다. C-RADIO 비전 인코더는 이미지와 샘플링한 영상 프레임을 인코딩하고, 비전 언어 커넥터가 이를 언어 백본의 임베딩 공간에 연결한다. 모델 자체는 최대 100만 토큰의 문맥을 지원하고 요청별로 추론을 설정할 수 있지만, 실제 서비스에서 사용하는 문맥과 기능은 JumpStart 서빙 구성에 따라 달라진다.

2. 학습 과정과 NVFP4·BF16의 차이

학습은 지속 사전학습, 긴 문맥과 소프트웨어 엔지니어링을 위한 중간 학습, 비전 언어 학습을 거친 뒤 비전·추론·코드·도구·대화·안전·긴 문맥 데이터를 사용하는 2단계 멀티모달 지도 미세조정으로 이어진다. 이후 NeMo RL과 NeMo Gym에서 검증 가능한 보상 및 사람 피드백을 활용한 강화학습, 여러 교사를 이용한 온폴리시 증류, MTP 헤드의 추가 학습을 수행한다. NVFP4 체크포인트는 NVIDIA Model Optimizer와 양자화 인지 증류를 사용해 BF16에서 생성하며, Blackwell GPU에서 가중치와 활성값을 모두 4비트로 처리하는 W4A4 방식으로 실행한다. 다만 비전 인코더·커넥터·Mamba 합성곱·임베딩은 BF16으로, MoE 라우터는 FP32로 유지하므로 모든 구성 요소가 4비트인 것은 아니다. 체크포인트 크기는 NVFP4가 약 75GB, BF16이 약 249GB이며, 전자는 지연과 처리량을 고려한 추론용이고 후자는 SFT·RL·증류·도메인 적응·사용자 정의 양자화를 위한 기준 가중치다. 두 변형 모두 OpenMDW License Agreement 버전 1.1을 적용하며, 지원 언어로 영어·프랑스어·독일어·이탈리아어·일본어·스페인어·중국어가 제시된다.

3. 문서·GUI·영상·에이전트 활용과 제약

Super VL은 시각 정보를 보고 읽어야 하는 에이전트 작업을 겨냥하며, 추론·코딩·도구 사용에 문서 및 영상 이해를 결합하는 용도로 소개된다. 문서 지능은 OCR, 차트, 표, 여러 페이지의 문서 처리를 포함하고, 1,536×1,024 크기의 페이지 이미지 한 장은 약 1,536토큰의 문맥을 사용한다. GUI 이해는 애플리케이션을 탐색하는 컴퓨터 사용 에이전트의 화면 내 위치 파악과 추론을 지원하며, 영상 이해는 짧은 MP4 클립 분석·요약 및 시각 내용에 대한 질의응답을 대상으로 한다. 영상은 base64로 인코딩해 요청에 직접 넣을 수 있지만 엔드포인트의 요청 페이로드 크기 제한을 받으며, JumpStart 서빙 구성은 요청당 이미지 1개와 영상 1개를 허용한다. 멀티모달 에이전트에는 도구 호출, response_format을 통한 JSON 스키마 출력, 기본적으로 켜져 있고 enable_thinking으로 설정하는 추론 기능을 제공한다. BF16 기준 가중치를 내려받아 사용자 정의 학습에 활용할 수 있는 반면, JumpStart 엔드포인트는 기본 가중치만 서빙하고 LoRA 어댑터는 로드하지 않는다.

4. 멀티모달 품질 평가와 해석 범위

NVIDIA 모델 카드는 추론·코딩·에이전트·긴 문맥·멀티모달 평가에서 두 체크포인트를 비교하며, 체크포인트 외의 평가 설정은 동일하게 유지했다고 설명한다. 본문에 제시된 멀티모달 결과는 추론을 켠 상태의 점수로, 긴 문서 이해 평가인 MMLongBench-Doc에서 BF16과 NVFP4가 모두 62.82를 기록했다. OCRBench v2의 영어 평가에서는 BF16이 68.12, NVFP4가 68.34였고, 차트와 그림 추론을 평가하는 CharXiv reasoning에서는 각각 80.82와 79.88이었다. 영상 이해 평가인 Video-MME v2에서는 각각 32.85와 32.54, 시각적 컴퓨터 사용 및 에이전트 작업을 평가하는 OSWorld-Verified에서는 51.14와 52.30을 기록했다. 따라서 JumpStart 기본 변형인 NVFP4는 제시된 평가에서 BF16과 같거나 약 1점 이내의 차이를 보이며, OCRBench v2와 OSWorld-Verified에서는 소폭 높은 점수를 나타냈다. 다른 공개 모델과의 전체 비교 및 구체적인 평가 설정은 별도로 언급된 NVIDIA Nemotron 3.5 Super VL and Lightning Technical Report를 참조하도록 안내한다.

5. 추론 처리량과 긴 입력의 지연

AWS는 JumpStart 릴리스 컨테이너에서 입력 250토큰, 출력 1,500토큰, 동시 스트리밍 요청 5개의 generate 작업 프로필로 추론 성능을 측정했다. 처리량은 요청별 초당 출력 토큰 수의 평균이고, 첫 토큰 지연도 요청들의 평균값으로 제시된다. NVFP4는 ml.g7.24xlarge에서 초당 63.07토큰과 0.45초, ml.g7.48xlarge에서 초당 64.01토큰과 0.51초를 기록했다. BF16은 ml.p5en.48xlarge에서 요청당 초당 140.85토큰과 첫 토큰 지연 0.53초를 기록해, 세 구성 모두 이 조건에서는 약 0.5초 안팎의 첫 토큰 지연을 보였다. 다만 변형별 GPU 시스템과 구성이 다르므로 이 수치를 BF16과 NVFP4의 정밀도 차이만 분리한 비교로 해석할 수 없으며, NVFP4는 더 작은 GPU 자원 구성에서 실행된다는 점을 함께 봐야 한다. 입력이 길어지면 양상이 달라져, 입력 10,000토큰의 summarize 프로필에서는 ml.g7.24xlarge의 첫 토큰 지연이 12.62초로 늘어났다.

6. 지원 인스턴스와 활성화되지 않은 기능

JumpStart에서 검증된 NVFP4 인스턴스는 NVIDIA RTX PRO 4500 Blackwell Server Edition GPU를 사용하는 G7 계열이고, BF16은 NVIDIA H200 GPU를 사용하는 P5en 계열에서 실행된다. NVFP4의 기본 인스턴스인 ml.g7.24xlarge는 GPU 4개, GPU 메모리 총 128GB, 텐서 병렬도 4의 구성이며 generate 프로필의 권장 시작점으로 제시된다. 다른 NVFP4 선택지인 ml.g7.48xlarge는 같은 종류의 GPU 8개와 총 256GB GPU 메모리를 사용하고 텐서 병렬도는 8이다. BF16용 ml.p5en.48xlarge는 H200 GPU 8개, 총 1,128GB GPU 메모리, 텐서 병렬도 8로 구성된다. 이처럼 지원 인스턴스는 변형에 따라 정해져 있으므로, 품질 점수뿐 아니라 실제 배포할 GPU 종류와 메모리 구성을 함께 고려해야 한다. 두 체크포인트에는 추측 디코딩을 지원하는 MTP 헤드가 포함되지만, JumpStart 서빙 구성에서는 해당 기능을 활성화하지 않으므로 내장 기능과 현재 제공되는 실행 설정을 구분해야 한다.

7. 배포 전제와 SageMaker Studio 절차

배포에는 SageMaker AI 엔드포인트를 생성할 권한이 있는 AWS 계정, SageMaker AI 접근 권한을 가진 IAM 역할, 지원 인스턴스의 엔드포인트 사용 할당량이 필요하다. 특히 신규 계정의 ml.g7 할당량은 0에서 시작하므로, 배포 전에 Service Quotas를 통해 할당량 증가를 요청해야 한다. 원문은 SageMaker Studio, SageMaker Python SDK, Hugging Face 모델 페이지를 배포 경로로 제시하며, SDK 경로에는 SageMaker Python SDK v3.25 이상이 필요하다. Studio에서는 JumpStart에서 Nemotron 3.5 Super VL을 검색하고, G7의 최적화된 추론용 NVFP4 또는 ml.p5en.48xlarge의 BF16 모델 카드를 선택한다. 모델 세부 정보와 라이선스 조건을 검토한 다음 기본 인스턴스를 유지하거나 다른 지원 인스턴스를 골라 Deploy를 실행한다. 엔드포인트 상태가 InService가 된 뒤 호출해야 하며, ml.g7.24xlarge의 배포 시간은 약 10분으로 안내된다.

8. SDK 구성과 실제 문맥 한도

SDK 예제는 JumpStartConfig로 NVFP4 모델과 modify_best_price_performance 서빙 구성을 지정하고, ModelBuilder와 Compute를 사용해 ml.g7.24xlarge 인스턴스 1개에 배포한다. ModelBuilder가 모델을 빌드하고 배포하며 deploy는 Endpoint 리소스를 반환하는데, Compute에서 인스턴스 유형을 생략하면 SDK가 ml.m5.large로 대체해 빌드가 실패하므로 유형을 명시해야 한다. deploy 호출은 엔드포인트가 InService 상태가 될 때까지 기다리며, ml.g7.24xlarge에서는 이 과정에 약 10분이 걸린다. 모델 자체의 최대 문맥은 100만 토큰이지만 사양 표에 제시된 JumpStart 서빙 구성의 범위는 520~15,600토큰이고, 본문에서 설명한 기본 generate 구성은 짧은 프롬프트용 2,275토큰을 제공한다. summarize 구성은 13,650토큰, modify 구성은 15,600토큰을 제공하므로 inference_config_name 선택이 실제로 사용할 수 있는 문맥 길이를 결정한다. 원문의 예제가 modify 구성을 선택한 이유는 뒤이어 다룰 이미지·영상·추론 요청에 더 큰 문맥이 필요하기 때문이며, 배포 시에는 모델의 최대 사양과 선택한 서빙 구성의 한도를 구분해야 한다.

🧾 핵심 주장 / 시사점

• NVFP4의 약 75GB 체크포인트와 BF16에 근접한 멀티모달 평가 결과는 최적화된 추론 변형의 활용 근거가 된다. 다만 제시된 처리량은 서로 다른 GPU 구성에서 측정되어 정밀도 자체의 성능 효과를 입증하지는 않는다.
• 최대 100만 토큰이라는 모델 사양만으로 JumpStart의 긴 문서 처리 범위를 판단하기 어렵다. 실제 서빙 문맥, 이미지의 토큰 사용량, 입력 길이에 따른 첫 토큰 지연이 함께 적용된다.
• 모델이 가진 기능과 엔드포인트에서 제공하는 기능에는 차이가 있다. MTP 헤드가 있어도 추측 디코딩은 비활성화되어 있고, BF16으로 사용자 정의 학습이 가능해도 JumpStart의 LoRA 어댑터 서빙은 지원되지 않는다.

✅ 액션 아이템

• NVFP4와 BF16 선택 시 멀티모달 품질, 체크포인트 크기, 배포 자원, 실제 요청의 처리량과 지연을 함께 비교.
• 이미지·영상·추론 요청에 필요한 문맥을 generate 2,275토큰, summarize 13,650토큰, modify 15,600토큰 한도와 대조하고 요청당 이미지 1개·영상 1개 및 페이로드 제한 확인.
• 배포 전 AWS 권한·IAM 역할·ml.g7 할당량을 확인하고, SageMaker Python SDK v3.25 이상에서 Compute의 인스턴스 유형 명시.

❓ 열린 질문

• 실제 요청의 입력 길이와 동시 요청 조건에서 NVFP4와 BF16의 처리량 및 첫 토큰 지연은 각각 어느 수준인가?
• 처리하려는 이미지·영상·추론 요청은 modify의 15,600토큰 문맥과 요청당 이미지 1개·영상 1개 및 페이로드 제한 안에 들어가는가?
• 사용자 정의 학습이 필요한 경우, BF16 활용과 JumpStart의 LoRA 어댑터 미지원 제약을 어떻게 반영할 것인가?