🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Hugging Face와 FriendliAI는 Hugging Face Hub의 “Deploy this model” 버튼 안에 FriendliAI Endpoints를 통합해 생성형 AI 모델 배포와 추론 운영을 더 빠르고 간단하게 만들었다.

📌 핵심 요약

• Hugging Face와 FriendliAI는 2025년 1월 22일 파트너십을 발표하고, Hugging Face Hub에서 FriendliAI의 추론 인프라를 직접 선택할 수 있도록 통합했다.
• 이번 통합의 핵심은 모델 카드의 “Deploy this model” 흐름 안에서 FriendliAI Endpoints를 선택해 고성능·비용 효율적인 생성형 AI 추론 환경으로 배포할 수 있게 한 점이다.
• FriendliAI는 연속 배치, 네이티브 양자화, 오토스케일링 같은 기술을 바탕으로 처리 속도 향상, 지연시간 감소, 대규모 배포 비용 절감을 제공한다고 설명된다.
• 사용자는 Friendli Suite 계정을 통해 Hugging Face Hub의 모델 카드에서 FriendliAI 배포 페이지로 이동하고, NVIDIA H100 GPU 기반 Dedicated Endpoints에 오픈소스 또는 커스텀 모델을 배포할 수 있다.
• FriendliAI는 Dedicated Endpoints 외에도 Serverless Endpoints를 통해 최적화된 오픈소스 모델을 API로 추론하거나 배포 페이지에서 직접 채팅해 테스트할 수 있는 경험을 제공한다.

🧩 주요 포인트

1. Hugging Face와 FriendliAI는 2025년 1월 22일 파트너십을 발표하고, Hugging Face Hub에서 FriendliAI의 추론 인프라를 직접 선택할 수 있도록 통합했다.
2. 이번 통합의 핵심은 모델 카드의 “Deploy this model” 흐름 안에서 FriendliAI Endpoints를 선택해 고성능·비용 효율적인 생성형 AI 추론 환경으로 배포할 수 있게 한 점이다.
3. FriendliAI는 연속 배치, 네이티브 양자화, 오토스케일링 같은 기술을 바탕으로 처리 속도 향상, 지연시간 감소, 대규모 배포 비용 절감을 제공한다고 설명된다.
4. 사용자는 Friendli Suite 계정을 통해 Hugging Face Hub의 모델 카드에서 FriendliAI 배포 페이지로 이동하고, NVIDIA H100 GPU 기반 Dedicated Endpoints에 오픈소스 또는 커스텀 모델을 배포할 수 있다.
5. FriendliAI는 Dedicated Endpoints 외에도 Serverless Endpoints를 통해 최적화된 오픈소스 모델을 API로 추론하거나 배포 페이지에서 직접 채팅해 테스트할 수 있는 경험을 제공한다.

🧠 상세 정리

1. 파트너십 발표와 통합의 핵심

글은 Hugging Face와 FriendliAI가 생성형 AI 모델 서빙을 단순화하고 가속하기 위해 협력한다는 발표로 시작한다. FriendliAI의 추론 인프라는 Hugging Face Hub의 “Deploy this model” 버튼에서 선택할 수 있는 배포 옵션으로 통합되었다. 이로써 개발자는 별도의 복잡한 경로를 거치지 않고 Hub 안에서 고성능 추론 인프라로 모델 배포를 시작할 수 있다. 원문은 이 통합이 워크플로를 줄이고, AI 커뮤니티가 더 쉽게 최신 도구를 활용하도록 돕는 파트너십이라고 설명한다.

2. FriendliAI가 제공하는 추론 성능과 비용 효율

FriendliAI는 가속화된 생성형 AI 추론 분야의 기업으로 소개되며, Artificial Analysis에서 가장 빠른 GPU 기반 생성형 AI 추론 제공자로 평가받았다고 언급된다. 원문은 FriendliAI의 핵심 기술로 연속 배치, 네이티브 양자화, 우수한 오토스케일링을 들고 있다. 이러한 기술은 추론 처리 속도를 높이고 지연시간을 줄이며, 대규모 생성형 AI 모델 배포 비용을 낮추는 데 초점을 둔다. Hugging Face 사용자와 FriendliAI 고객은 오픈소스 모델이나 커스텀 모델을 더 효율적이고 안정적으로 배포할 수 있다는 점이 강조된다.

3. 기존 Friendli Suite 통합에서 Hub 내부 배포로 확장

원문은 FriendliAI가 이미 전년도에 Hugging Face 통합을 도입해 Friendli Suite 플랫폼 안에서 Hugging Face 모델을 배포할 수 있게 했다고 설명한다. 당시 사용자는 Hugging Face의 수많은 지원 오픈소스 모델에 접근할 수 있었고, 비공개 모델도 손쉽게 배포할 수 있었다. 이번 발표는 그 기능을 Hugging Face Hub 내부로 더 직접적으로 가져온 것이다. 사용자는 모델 카드에서 Friendli Suite 계정을 사용해 1클릭에 가까운 방식으로 배포 흐름을 시작할 수 있으며, 이는 기존 플랫폼 중심 통합을 Hub 중심 사용자 경험으로 확장한 변화다.

4. 모델 카드에서 FriendliAI 배포 페이지로 이어지는 흐름

사용자가 Hugging Face Hub에서 Friendli Endpoints를 선택하면 FriendliAI의 모델 배포 페이지로 이동한다. 이 페이지에서는 NVIDIA H100 GPU 기반으로 모델을 배포할 수 있고, 동시에 최적화된 오픈소스 모델과 상호작용할 수 있다. 배포 페이지는 생성형 AI 추론을 위한 관리형 서비스인 Friendli Dedicated Endpoints 설정을 직관적으로 진행하도록 구성되어 있다고 설명된다. 또한 배포가 처리되는 동안에도 페이지에서 오픈소스 모델과 직접 채팅할 수 있어, 사용자가 모델 기능을 탐색하고 테스트하는 흐름이 함께 제공된다.

5. Dedicated Endpoints와 H100 기반 관리형 배포

Friendli Dedicated Endpoints는 FriendliAI의 GPU 최적화 추론 엔진을 바탕으로 빠르고 비용 효율적인 관리형 추론 서비스를 제공한다. 개발자는 모델 배포 페이지에서 “Deploy now”를 클릭해 오픈소스 또는 커스텀 모델을 NVIDIA H100 GPU 위에 배포할 수 있다. 원문은 H100 GPU가 강력하지만 대규모 운영 시 비용이 커질 수 있다는 점을 인정한다. FriendliAI의 최적화 서비스는 필요한 GPU 수를 줄이면서도 높은 성능을 유지하도록 설계되어 비용 절감에 기여하며, 동시에 인프라 관리의 복잡성도 줄여준다고 설명한다.

6. Serverless Endpoints와 향후 협력 방향

Friendli Serverless Endpoints는 오픈소스 모델을 효율적으로 추론하려는 개발자를 위한 서비스로 제시된다. 이 서비스는 FriendliAI가 최적화한 모델에 대해 사용하기 쉬운 API를 제공하며, 낮은 비용과 높은 성능을 함께 목표로 한다. 사용자는 모델 배포 페이지에서 이러한 오픈소스 모델과 직접 채팅하면서 기능을 확인할 수 있다. 글의 마지막은 Hugging Face와 FriendliAI의 협력이 오픈소스 AI 접근성을 높이고, 사용자가 인프라 관리보다 혁신에 집중하도록 돕는 방향으로 이어질 것이라고 정리한다.

🧾 핵심 주장 / 시사점

• 이번 통합의 핵심 가치는 새로운 모델 발표가 아니라, Hugging Face Hub 안에서 배포 선택지를 직접 제공해 모델 탐색과 운영 배포 사이의 단계를 줄인 데 있다.
• 원문이 반복해서 강조하는 차별점은 속도, 지연시간, 비용, 인프라 관리 단순화이며, FriendliAI의 Dedicated Endpoints와 Serverless Endpoints는 각각 커스텀 배포와 오픈소스 추론 사용 사례를 나눠 담당한다.
• 배포가 진행되는 동안 같은 페이지에서 오픈소스 모델과 채팅할 수 있게 한 점은 단순한 인프라 연결을 넘어, 배포·테스트·탐색 경험을 하나의 흐름으로 묶으려는 제품 방향을 보여준다.

✅ 액션 아이템

• 2025년 1월 22일 통합 발표 맥락에 맞춰 Hub 모델 카드의 ‘Deploy this model’에서 FriendliAI Endpoints 선택 흐름을 실거래 기준으로 정리한다.
• FriendliAI가 제시한 연속 배치, 네이티브 양자화, 오토스케일링의 처리속도·지연시간·비용 절감 효과를 배포 전략 비교 지표로 정의한다.
• Friendli Suite 계정 경로를 기준으로 Dedicated Endpoints와 Serverless Endpoints를 오픈소스/커스텀 모델군별로 분리해 적용 대상을 정한다.

❓ 열린 질문

• 기존 배포 방식 대비 FriendliAI 통합이 처리 속도 개선과 지연시간 감소를 실제로 어느 정도 보장하는가?
• NVIDIA H100 기반 Dedicated Endpoints에서 오픈소스와 커스텀 모델 각각의 성능 안정성 한계는 어디에서 확인할 수 있는가?
• Serverless Endpoints의 채팅 테스트가 실제 API 운영 전환 기준으로 적절한가, 어느 지표가 그 판단에 필요한가?