🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

마이크로소프트는 Hugging Face의 주요 오픈 가중치 모델을 선별·검증해 Foundry 카탈로그에 제공하고, 사전 배치된 가중치와 관리형 런타임을 통해 기업이 Foundry Managed Compute에 한 번의 흐름으로 배포하도록 지원한다.

📌 핵심 요약

• Foundry Managed Compute는 오픈소스 및 사용자 지정 모델을 위한 관리형 GPU 플랫폼으로, 사용자는 매개변수 규모·컨텍스트 길이·지연시간 또는 처리량 목표를 선택하고 하부 GPU 구성과 유지 관리는 마이크로소프트에 맡길 수 있다.
• Hugging Face Models on Foundry는 매주 갱신되는 선별형 오픈 가중치 모델 카탈로그로, 모델 가중치를 Azure에 미리 배치하고 마이크로소프트가 구축·검사한 런타임과 기업용 보안·거버넌스·관측성·통합 결제를 함께 제공한다.
• 모델은 라이선스와 실행 코드 위험을 검토받고, SafeTensors 형식과 지원 런타임을 기반으로 API 호환성 및 지연시간·처리량 등의 성능 검증을 통과한 뒤 카탈로그에 게시된다.
• vLLM, SGLang, TEI, llama.cpp, TensorRT-LLM, NIM, hf-serve를 모델 유형과 하드웨어에 맞게 적용해 언어 모델뿐 아니라 임베딩·비전·음성·분할·이미지 생성 등 여러 모달리티를 지원한다.
• 배포 템플릿은 런타임, 가속기 종류와 수, 컨텍스트 길이, 양자화 및 세부 튜닝을 버전이 지정된 자산으로 묶어 제공하며, 사용자는 포털·CLI·SDK·REST로 배포한 뒤 동일한 Foundry 엔드포인트에서 모델을 호출할 수 있다.

🧩 주요 포인트

1. Foundry Managed Compute는 오픈소스 및 사용자 지정 모델을 위한 관리형 GPU 플랫폼으로, 사용자는 매개변수 규모·컨텍스트 길이·지연시간 또는 처리량 목표를 선택하고 하부 GPU 구성과 유지 관리는 마이크로소프트에 맡길 수 있다.
2. Hugging Face Models on Foundry는 매주 갱신되는 선별형 오픈 가중치 모델 카탈로그로, 모델 가중치를 Azure에 미리 배치하고 마이크로소프트가 구축·검사한 런타임과 기업용 보안·거버넌스·관측성·통합 결제를 함께 제공한다.
3. 모델은 라이선스와 실행 코드 위험을 검토받고, SafeTensors 형식과 지원 런타임을 기반으로 API 호환성 및 지연시간·처리량 등의 성능 검증을 통과한 뒤 카탈로그에 게시된다.
4. vLLM, SGLang, TEI, llama.cpp, TensorRT-LLM, NIM, hf-serve를 모델 유형과 하드웨어에 맞게 적용해 언어 모델뿐 아니라 임베딩·비전·음성·분할·이미지 생성 등 여러 모달리티를 지원한다.
5. 배포 템플릿은 런타임, 가속기 종류와 수, 컨텍스트 길이, 양자화 및 세부 튜닝을 버전이 지정된 자산으로 묶어 제공하며, 사용자는 포털·CLI·SDK·REST로 배포한 뒤 동일한 Foundry 엔드포인트에서 모델을 호출할 수 있다.

🧠 상세 정리

1. Foundry에 통합된 Hugging Face 오픈 모델

마이크로소프트는 Build 2026에서 Foundry Managed Compute와 Hugging Face Models on Foundry를 발표했다. 이는 Hugging Face 생태계의 오픈 가중치 모델 가운데 기업 환경에 적합한 일부를 선별한 카탈로그로, 매주 새로운 모델을 반영하고 한 번의 배포 흐름으로 Managed Compute에 올릴 수 있게 한다. 모델 가중치는 Azure에 사전 배치되며, 추론 런타임은 마이크로소프트가 직접 구축하고 보안 검사를 수행한다. 카탈로그에 포함된 모델에는 Foundry의 다른 모델과 동일한 기업용 보안, 거버넌스, 관측성, 인증 및 결제 체계가 적용된다. 핵심 목적은 공개 모델을 발견하는 단계와 실제 기업 서비스로 운영하는 단계 사이에 존재했던 인프라·보안·배포상의 간극을 관리형 플랫폼으로 줄이는 것이다.

2. 에이전트 애플리케이션을 위한 통합 플랫폼

Microsoft Foundry는 에이전트형 AI 애플리케이션을 구축하고 운영하기 위한 플랫폼으로 설명된다. Microsoft, OpenAI, Anthropic, Meta, Mistral, DeepSeek, Hugging Face 등의 프런티어 모델, 오픈소스 모델, 사용자 지정 가중치를 단일 엔드포인트와 Python·C#·JavaScript·Java용 공통 SDK에서 이용하도록 구성한다. 상위 계층의 Foundry Agent Service는 다중 에이전트 오케스트레이션, 내장 메모리, Foundry IQ를 통한 지식 근거화, 에이전트 프로토콜 기반 도구 연결을 지원한다. 운영 단계에서는 종단 간 추적, 실시간 모니터링, 지속적인 평가와 평가 결과에 따른 프롬프트 최적화를 제공한다. 여기에 콘텐츠 안전 필터, 작업 준수 가드레일, 적대적 테스트용 AI Red Teaming Agent, 통합 RBAC, 사설 네트워크 및 Azure Policy 연동이 포함된다.

3. Managed Compute의 배포 및 운영 방식

Foundry Managed Compute는 사용량에 따른 토큰 과금과 프로비저닝된 처리량에 이은 세 번째 Foundry 배포 옵션이며, 오픈소스 및 사용자 지정 모델을 위한 관리형 GPU 서비스다. 사용자는 GPU 장비 자체보다 모델의 매개변수 규모, 필요한 컨텍스트 길이, 지연시간 또는 처리량 최적화 목표를 중심으로 인스턴스를 정의한다. 실제 배포가 단일 가속기인지 여러 가속기의 조합인지는 Foundry가 하부에서 처리하므로, 용량 계획을 모델 중심으로 수행할 수 있다. 지원 런타임의 컨테이너 업데이트, 런타임 업그레이드, 보안 패치는 모델을 다시 배포하지 않아도 자동 적용된다. 반면 모델 구성, 배포 동작과 요청 라우팅은 사용자가 계속 통제하며, 글로벌 배포와 데이터 상주·주권을 고려한 Data Zone 배포 중에서 목적에 맞는 방식을 선택할 수 있다.

4. 배포 옵션을 관통하는 일관된 개발 경험

토큰 단위 과금, 프로비저닝된 처리량, Managed Compute는 서로 다른 운영 특성을 가지지만 개발자 인터페이스는 공통으로 유지된다. 세 방식 모두 하나의 엔드포인트, 동일한 SDK, 동일한 인증, 동일한 관측성 및 하나의 청구 체계를 공유한다. 따라서 오픈소스 모델도 프런티어 모델과 같은 방식으로 Foundry Agents에 연결할 수 있으며, 하나의 에이전트 안에서 서로 다른 유형의 모델을 혼합해도 별도의 통합 경로가 필요하지 않다. 글로벌 배포는 폭넓은 용량과 유리한 가격을 목표로 하고, Data Zone 배포는 데이터 상주와 주권 요구에 대응한다. 할당량도 특정 GPU 모델 하나가 아니라 가속기 제품군에 맞춰지므로, 현재 H100 계열을 기준으로 세운 계획을 향후 새로운 하드웨어 세대가 도입될 때 이어갈 수 있도록 설계됐다.

5. 오픈 모델의 이점과 기존 운영 장벽

원문은 Hugging Face를 1,500만 명의 개발자, 40만 개 조직, 300만 개 이상의 공개 모델이 모인 오픈 AI 생태계의 중심으로 소개한다. 오픈 가중치 모델은 여러 벤치마크에서 폐쇄형 프런티어 모델과 경쟁할 수준에 도달했으며, 전체 가중치를 이용한 미세 조정, 증류, 양자화와 LoRA 적용으로 도메인·데이터·지연시간·비용 목표에 맞게 조정할 수 있다. 또한 사용자의 테넌트와 네트워크 경계 안에서 모델을 호스팅하고, 가속기 시간 단위 비용과 유휴 시 0까지의 확장, 특정 모델에 맞춘 GPU 선택으로 비용 구조를 조절할 수 있다. 특정 모델 버전을 고정해 평가·배포한 뒤 자체 일정에 따라 업그레이드하거나 롤백할 수 있다는 점도 장점이다. 다만 발견, 라이선스 검토, 보안 검사, 런타임 선정, GPU 규모 결정, 이미지 구축, 취약점 패치와 기업용 엔드포인트 운영은 별도의 부담이었으며, Foundry는 바로 이 운영 계층을 제공하려 한다.

6. 선별형 컬렉션과 다단계 게시 절차

Hugging Face Collection은 텍스트·비전·오디오·멀티모달 전반에서 인기 있는 모델을 Foundry Model Catalog로 가져오며, 커뮤니티 동향에 따라 매주 갱신된다. 후보는 커뮤니티 신호, 파트너 요청과 고객 수요를 바탕으로 선정되고, 라이선스가 마이크로소프트의 기업 배포 정책에 부합하는지 검토된 뒤 관련 메타데이터가 모델 카드에 보존된다. 저장소에 trust_remote_code 방식이나 사용자 지정 실행 코드가 있는지도 검사하며, 로드 과정에서 제3자 Python 코드를 실행해야 하는 모델은 문제를 해소하거나 컬렉션에서 제외한다. 허용된 가중치는 SafeTensors 형식으로 제공되고, Hugging Face에서 한 번 가져온 뒤 게시된 모델 카드와 대조하여 검증한 다음 서비스 지역의 마이크로소프트 관리형 Azure 저장소에 보관한다. 이 절차는 Hugging Face의 방대한 공개 모델 전체를 그대로 노출하는 대신, 기업 환경에서 배포 가능한 모델만 체계적으로 선별하는 데 초점을 둔다.

7. 런타임 구축·검사와 모델별 최적화

마이크로소프트는 모델 특성에 맞춰 vLLM, SGLang, TensorRT-LLM, NIM, TEI, llama.cpp 등의 추론 컨테이너 이미지를 구축하고 CVE를 검사한 뒤 서명하여 관리형 레지스트리에 게시한다. vLLM은 오픈 대규모 언어 모델의 고처리량 GPU 서빙에, SGLang은 언어·멀티모달 모델과 JSON·정규식·문법 제약 출력에 사용된다. TEI는 임베딩·재순위화·시퀀스 분류에, llama.cpp는 GGUF 양자화 모델의 CPU 및 소형 GPU 배포에 대응한다. TensorRT-LLM과 NIM은 특정 모델 계열에서 NVIDIA 최적화가 지연시간이나 처리량을 유의미하게 개선할 때 채택되며, hf-serve는 비전·오디오·분할 등 LLM과 임베딩 외의 Transformers 기반 파이프라인을 담당한다. 지원되는 새 버전과 패치는 Foundry에 반영되고 기존 배포에도 재배포 없이 적용되므로, 사용자가 각 런타임의 업데이트 작업을 직접 반복할 필요가 없다.

8. 검증된 템플릿을 이용한 실제 배포

모델과 런타임, 가속기 조합은 카탈로그 게시 전에 채팅 완성, 임베딩, 재순위화 등 해당 API의 규격 준수 여부와 지연시간, 처리량, 첫 토큰까지의 시간, 토큰 간 디코딩 시간에 대한 검증을 거친다. 검증된 모델은 템플릿, 런타임 이미지, 가중치와 함께 카탈로그에 게시되며, 사용자는 모델 선택, 배포 템플릿 선택, 인스턴스 수 설정, 배포, 통합 엔드포인트 호출의 다섯 단계로 이용한다. 배포는 포털뿐 아니라 CLI, SDK 또는 REST로 수행할 수 있고, 마법사에서 자동화에 필요한 모델 ID, 배포 템플릿 ID와 acceleratorType도 확인할 수 있다. 배포 템플릿은 런타임, 가속기 제품군과 수량, 컨텍스트 길이, 양자화 및 모델별 튜닝을 이름과 버전이 있는 자산으로 고정한다. 가중치와 이미지가 마이크로소프트 관리 저장소에 미리 준비돼 있으므로 Hugging Face Hub로 나가는 외부 네트워크 연결 없이 사설 네트워크 안에서 프로덕션 배포를 수행할 수 있다.

🧾 핵심 주장 / 시사점

• Foundry의 핵심 가치는 모델 선택 폭 자체보다 공개 모델을 라이선스 검토, 코드 위험 제거, 이미지 보안 검사, 성능 검증과 사설 네트워크 배포까지 연결하는 표준 운영 절차에 있다.
• 배포 템플릿은 복잡한 GPU·런타임 튜닝을 버전이 지정된 선택지로 추상화하면서도 컨텍스트 길이, 지연시간, 처리량과 가속기 구성을 명시적으로 비교할 수 있게 하는 운영 단위다.
• 프런티어 모델과 오픈 가중치 모델이 동일한 엔드포인트·SDK·인증·관측성·에이전트 통합 방식을 공유하므로, 조직은 모델 유형을 바꾸거나 혼합할 때 별도의 서빙 체계를 새로 구축하지 않아도 된다.

✅ 액션 아이템

• 주요 모델군을 매개변수 규모·컨텍스트 길이·지연/처리량 목표로 선별해 Foundry Managed Compute 전환 적합성을 판단한다.
• 주간 카탈로그 갱신 모델은 라이선스·실행 코드 위험, SafeTensors, API 호환성, 지연·처리량 게이트로 게시 조건을 점검한다.
• 배포 템플릿을 런타임·가속기·컨텍스트 길이·양자화·튜닝 단위로 버전화해 포털·CLI·SDK·REST 경로별 배포 정합성을 점검한다.

❓ 열린 질문

• 어떤 모델군에서 매개변수 규모와 컨텍스트 길이, 지연·처리량 목표의 우선순위를 어떻게 설정해야 하는가?
• Azure 사전 배치형 운영에서 라이선스·코드 위험·보안·거버넌스 요구를 어느 임계값으로 통합 결제 정책에 맞출 것인가?
• 멀티모달(임베딩·비전·음성·이미지 생성)별로 vLLM·SGLang·TEI·TensorRT-LLM·NIM 조합의 성능 우위를 어떤 기준으로 판별할 것인가?