🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Hugging Face는 Intel Gaudi 하드웨어 지원을 Text Generation Inference(TGI) 본체에 네이티브로 통합해, 별도 포크 없이 Gaudi 기반 LLM 추론 배포를 사용할 수 있게 했습니다.

📌 핵심 요약

• TGI는 PR #3091을 통해 Intel Gaudi 지원을 메인 코드베이스에 통합했으며, 이전의 별도 tgi-gaudi 포크를 더 이상 중심 경로로 유지하지 않아도 됩니다.
• 이번 통합은 TGI의 멀티 백엔드 아키텍처를 활용해 Gaudi1, Gaudi2, Gaudi3 하드웨어에서 LLM 추론을 지원하고, 사용자가 최신 TGI 기능을 더 빠르게 활용할 수 있도록 합니다.
• Gaudi 백엔드는 하드웨어 선택지 확대, 특정 워크로드에서의 가격 대비 성능, TGI의 동적 배칭과 스트리밍 응답 같은 운영 기능, 인기 모델 실행 지원을 주요 장점으로 내세웁니다.
• 사용자는 Gaudi 장비에서 공식 Docker 이미지를 실행하고 Hugging Face 토큰과 모델 ID를 지정해 TGI 서버를 띄운 뒤, HTTP 요청으로 텍스트 생성을 호출할 수 있습니다.
• Hugging Face는 Llama, Mistral, Mixtral, Falcon, Qwen2, Starcoder, Gemma, Llava, Phi-2 등 여러 모델을 Gaudi의 단일·멀티 카드 구성에 맞게 최적화했으며, 향후 DeepSeek-r1/v3와 QWen-VL 같은 모델 지원도 예고했습니다.

🧩 주요 포인트

1. TGI는 PR #3091을 통해 Intel Gaudi 지원을 메인 코드베이스에 통합했으며, 이전의 별도 tgi-gaudi 포크를 더 이상 중심 경로로 유지하지 않아도 됩니다.
2. 이번 통합은 TGI의 멀티 백엔드 아키텍처를 활용해 Gaudi1, Gaudi2, Gaudi3 하드웨어에서 LLM 추론을 지원하고, 사용자가 최신 TGI 기능을 더 빠르게 활용할 수 있도록 합니다.
3. Gaudi 백엔드는 하드웨어 선택지 확대, 특정 워크로드에서의 가격 대비 성능, TGI의 동적 배칭과 스트리밍 응답 같은 운영 기능, 인기 모델 실행 지원을 주요 장점으로 내세웁니다.
4. 사용자는 Gaudi 장비에서 공식 Docker 이미지를 실행하고 Hugging Face 토큰과 모델 ID를 지정해 TGI 서버를 띄운 뒤, HTTP 요청으로 텍스트 생성을 호출할 수 있습니다.
5. Hugging Face는 Llama, Mistral, Mixtral, Falcon, Qwen2, Starcoder, Gemma, Llava, Phi-2 등 여러 모델을 Gaudi의 단일·멀티 카드 구성에 맞게 최적화했으며, 향후 DeepSeek-r1/v3와 QWen-VL 같은 모델 지원도 예고했습니다.

🧠 상세 정리

1. TGI에 Gaudi 지원을 직접 통합

글의 핵심 발표는 Intel Gaudi 하드웨어 지원이 Hugging Face의 Text Generation Inference, 즉 TGI에 네이티브로 들어갔다는 점입니다. 이전에는 Gaudi 장치를 위해 별도의 tgi-gaudi 포크를 유지했지만, 이 방식은 사용자에게 번거롭고 최신 TGI 기능을 출시 시점에 함께 제공하기 어렵게 만들었습니다. 이번 PR #3091 통합으로 Gaudi 지원은 TGI 메인 코드베이스의 일부가 되었고, 사용자는 별도 저장소를 다루지 않아도 됩니다. 글은 이를 TGI의 새로운 멀티 백엔드 아키텍처가 가능하게 한 변화로 설명하며, 오픈소스 AI 커뮤니티에 더 넓은 배포 선택지를 제공하는 업데이트로 제시합니다.

2. 지원되는 Intel Gaudi 하드웨어 범위

이번 통합은 Intel의 Gaudi 하드웨어 라인 전반을 대상으로 합니다. 본문은 Gaudi1, Gaudi2, Gaudi3를 각각 언급하며, Gaudi1은 AWS EC2 DL1 인스턴스에서 사용할 수 있고 Gaudi2는 Intel Tiber AI Cloud와 Denvr Dataworks에서 제공된다고 설명합니다. Gaudi3는 Intel Tiber AI Cloud, IBM Cloud, 그리고 Dell, HP, Supermicro 같은 OEM을 통해 접근할 수 있다고 정리되어 있습니다. 이 목록은 TGI가 특정 단일 장비만 겨냥하는 것이 아니라 여러 세대의 Gaudi 가속기를 대상으로 추론 배포 경로를 넓히려는 방향임을 보여줍니다.

3. 운영 환경에서의 의미와 장점

본문은 Gaudi 백엔드가 LLM 운영 배포에서 갖는 의미를 다섯 가지로 나눠 설명합니다. 첫째, 기존 GPU 중심의 선택지 외에 Gaudi라는 하드웨어 옵션을 제공해 배포 다양성을 높입니다. 둘째, 특정 워크로드에서는 Gaudi 하드웨어가 매력적인 가격 대비 성능을 낼 수 있다고 강조합니다. 셋째, TGI가 제공해 온 동적 배칭, 스트리밍 응답 같은 프로덕션 기능을 Gaudi에서도 사용할 수 있게 됩니다. 여기에 Llama 3.1, Mixtral, Mistral 같은 인기 모델 지원과 멀티 카드 추론, 비전-언어 모델, FP8 정밀도 같은 고급 기능도 함께 제시됩니다.

4. Docker 기반 시작 방법

글은 Gaudi에서 TGI를 실행하는 가장 쉬운 방법으로 공식 Docker 이미지를 사용하는 절차를 소개합니다. 사용자는 Gaudi 하드웨어가 있는 머신에서 habana 런타임을 지정해 컨테이너를 실행하고, 모델 가중치를 반복 다운로드하지 않도록 로컬 볼륨을 컨테이너의 /data에 연결합니다. 예시는 Hugging Face 액세스 토큰을 환경 변수로 넘기고 HABANA_VISIBLE_DEVICES를 all로 설정한 뒤, ghcr.io/huggingface/text-generation-inference:3.2.1-gaudi 이미지를 실행하는 흐름을 보여줍니다. 서버가 올라간 후에는 127.0.0.1:8080/generate 엔드포인트에 POST 요청을 보내 입력 문장과 max_new_tokens 같은 파라미터를 전달해 추론을 호출할 수 있습니다.

5. 최적화된 모델과 고급 기능

본문은 Gaudi에서 단일 카드와 멀티 카드 구성을 모두 고려해 최적화한 모델 목록을 상당히 구체적으로 제시합니다. Llama 3.1의 8B와 70B, Llama 3.3 70B, Llama 3.2 Vision 11B, Mistral 7B, Mixtral 8x7B, CodeLlama 13B, Falcon 180B, Qwen2 72B 등이 포함됩니다. 또한 Starcoder와 Starcoder2, Gemma 7B, Llava-v1.6-Mistral-7B, Phi-2도 지원 대상으로 언급됩니다. Hugging Face는 모델링 코드를 Gaudi 하드웨어에 맞게 최적화해 성능을 최대화하고 Gaudi의 기능을 충분히 활용하도록 했다고 설명하며, Intel Neural Compressor를 통한 FP8 양자화도 고급 최적화 기능으로 소개합니다.

6. 향후 확장과 커뮤니티 참여 요청

마지막 부분은 앞으로의 모델 확장과 커뮤니티 참여를 강조합니다. Hugging Face는 DeepSeek-r1/v3, QWen-VL, 더 강력한 모델들을 향후 라인업에 추가하겠다고 예고하며, Gaudi 기반 TGI가 다양한 AI 애플리케이션을 지원할 수 있기를 기대한다고 말합니다. 동시에 사용자가 Gaudi 하드웨어에서 TGI를 직접 시험해 보고 피드백을 제공해 달라고 요청합니다. 문서는 별도의 Gaudi 백엔드 문서로 안내되며, 기여에 관심 있는 사용자는 기여 가이드를 확인하거나 GitHub 이슈를 열어 의견을 남길 수 있다고 정리됩니다.

🧾 핵심 주장 / 시사점

• 이번 변화의 실질적 가치는 새로운 하드웨어 지원 자체보다도, 별도 포크를 없애 TGI의 최신 기능과 Gaudi 지원을 같은 릴리스 흐름 안에서 받을 수 있게 했다는 데 있습니다.
• 본문은 Gaudi를 GPU의 단순 대체재로만 설명하지 않고, 동적 배칭·스트리밍·샤딩·FP8·비전-언어 모델 지원까지 포함한 프로덕션 추론 백엔드로 자리매김시키고 있습니다.
• 최적화 모델 목록과 Docker 실행 예시를 함께 제시한 점은 발표가 개념적 통합 소개에 그치지 않고, 사용자가 실제 Gaudi 장비에서 바로 시험할 수 있는 배포 경로를 제공하려는 의도를 보여줍니다.

✅ 액션 아이템

• PR #3091 기반 TGI 본체 통합 경로를 우선 채택해 Gaudi 추론 배포는 별도 tgi-gaudi 포크 대신 공식 단일 채널로 전환한다.
• Gaudi1·Gaudi2·Gaudi3에서 단일·멀티 카드 구성을 분기해 공식 Docker 이미지 실행, HF 토큰, 모델ID 지정, HTTP 생성 호출을 점검한다.
• 지원 모델군을 Llama·Mistral·Mixtral·Falcon·Qwen2·Starcoder·Gemma·Llava·Phi-2로 정리하고 향후 DeepSeek-r1/v3·QWen-VL까지 실행 우선순위를 반영한다.

❓ 열린 질문

• Gaudi1·Gaudi2·Gaudi3 각각에서 단일·멀티 카드 조합이 비용 대비 성능 이점을 가장 크게 끌어올리는 워크로드는 무엇인가?
• 동적 배칭과 스트리밍 응답이 결합된 운영에서 최대 동시 요청량 및 토큰 길이 제한은 어느 지점에서 성능 저하로 전환되는가?
• 공식 Docker 기반 HF 토큰·모델ID 호출 방식은 DeepSeek-r1/v3와 QWen-VL 추가 시 기존 모델 대비 어떤 인증·스케일링 요건이 필요한가?