Fine-tune Any LLM from the Hugging Face Hub with Together AI

🖼️ 인포그래픽

Fine-tune Any LLM from the Hugging Face Hub with Together AI 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Together AI는 Hugging Face Hub의 호환 LLM을 자사 인프라에서 쉽게 파인튜닝하고 배포·다운로드·허브 재업로드까지 할 수 있는 기능을 발표했다.

📌 핵심 요약

글은 Hugging Face Hub에 매일 수많은 오픈소스 모델이 등장하지만, 이를 실제 용도에 맞게 추가 파인튜닝하려면 복잡하고 비싼 인프라와 DevOps 역량이 필요하다는 문제에서 출발한다.
Together AI와 Hugging Face의 새 통합은 Hub의 호환 모델을 Together AI 플랫폼에서 파인튜닝할 수 있게 하며, 공개 모델뿐 아니라 적절한 토큰이 있으면 비공개 저장소 모델도 사용할 수 있다.
사용자는 Together API로 학습 파일을 업로드하고, Together 공식 카탈로그의 기본 모델 템플릿과 실제 Hugging Face 모델을 함께 지정해 파인튜닝 작업을 시작할 수 있다.
이 방식은 기본 모델을 인프라·GPU·메모리·학습 파이프라인·추론 설정을 위한 템플릿으로 쓰고, 실제 학습 대상은 from_hf_model로 지정한 Hugging Face 모델이 되는 구조다.
개발팀은 도메인 적응, 반복적 모델 개선, 커뮤니티 모델 특화, 새 아키텍처 실험을 더 빠르게 수행할 수 있으며, 기사에는 Slingshot AI와 Parsed의 초기 활용 사례가 소개된다.

🧩 주요 포인트

글은 Hugging Face Hub에 매일 수많은 오픈소스 모델이 등장하지만, 이를 실제 용도에 맞게 추가 파인튜닝하려면 복잡하고 비싼 인프라와 DevOps 역량이 필요하다는 문제에서 출발한다.
Together AI와 Hugging Face의 새 통합은 Hub의 호환 모델을 Together AI 플랫폼에서 파인튜닝할 수 있게 하며, 공개 모델뿐 아니라 적절한 토큰이 있으면 비공개 저장소 모델도 사용할 수 있다.
사용자는 Together API로 학습 파일을 업로드하고, Together 공식 카탈로그의 기본 모델 템플릿과 실제 Hugging Face 모델을 함께 지정해 파인튜닝 작업을 시작할 수 있다.
이 방식은 기본 모델을 인프라·GPU·메모리·학습 파이프라인·추론 설정을 위한 템플릿으로 쓰고, 실제 학습 대상은 from_hf_model로 지정한 Hugging Face 모델이 되는 구조다.
개발팀은 도메인 적응, 반복적 모델 개선, 커뮤니티 모델 특화, 새 아키텍처 실험을 더 빠르게 수행할 수 있으며, 기사에는 Slingshot AI와 Parsed의 초기 활용 사례가 소개된다.

🧠 상세 정리

1. Hugging Face Hub 확산과 파인튜닝의 병목

글은 Hugging Face Hub가 오픈소스 AI 혁신의 중심이 되었다는 설명으로 시작한다. 매일 수백 개의 새 모델이 올라오며, 그중에는 Llama나 Qwen 같은 인기 기반 모델의 특화 변형도 있고 특정 도메인을 위해 처음부터 훈련된 모델도 있다. 예시로는 임상 데이터 기반 의료 AI, 특정 프로그래밍 언어에 최적화된 코딩 어시스턴트, 문화적 맥락에 맞게 조정된 다국어 모델이 언급된다. 하지만 좋은 모델을 찾는 것만으로는 충분하지 않으며, 실제 사용 사례에 맞춰 마지막 10%를 조정하려면 기존 파인튜닝 인프라가 복잡하고 비싸며 상당한 DevOps 전문성을 요구한다는 문제가 제기된다.

2. Together AI와 Hugging Face 통합의 핵심 발표

기사의 중심 발표는 Hugging Face Hub 전체를 Together AI 인프라에서 파인튜닝 대상으로 활용할 수 있게 하는 새 기능이다. 이를 통해 Meta 같은 대형 주체가 올린 모델뿐 아니라 개인 기여자가 올린 호환 LLM도 Together 플랫폼의 안정성과 편의성을 사용해 파인튜닝할 수 있다고 설명한다. 글은 이 기능이 모델 발견과 실제 커스터마이징 사이의 간극을 줄이는 데 초점을 둔다. 즉, 사용자는 특정 목적에 거의 맞는 모델을 찾은 뒤 별도의 복잡한 학습 시스템을 직접 구축하지 않고도 Together AI의 API와 인프라를 이용해 자신에게 맞는 버전을 만들 수 있다.

3. API 기반 시작 흐름과 결과물 처리

실행 예시는 Together Python SDK를 설치하고 API 키로 클라이언트를 만든 뒤, JSONL 형식의 지도학습 예시 파일을 업로드하는 흐름을 보여준다. 이후 fine_tuning.create 호출에서 Together의 기본 모델, 실제 Hugging Face 모델, 업로드한 학습 파일, epoch 수, learning rate 등을 지정해 작업을 시작한다. 비공개 Hugging Face 저장소를 사용할 때는 hf_api_token을 넣을 수 있고, 학습이 끝난 모델을 Hub에 다시 올리고 싶다면 hf_output_repo_name을 지정할 수 있다. 결과적으로 파인튜닝된 모델은 Together 인프라에서 학습된 뒤 추론용으로 배포하거나 다운로드하거나 Hugging Face Hub로 업로드할 수 있다고 설명한다.

4. 기본 모델 템플릿과 실제 커스텀 모델의 분리

이 통합 방식에서 사용자는 두 종류의 모델을 지정한다. model 파라미터는 Together 공식 카탈로그에 있는 기본 모델로, 실제 학습 대상이라기보다 인프라 구성, 학습 최적화, 추론 설정을 제공하는 템플릿 역할을 한다. from_hf_model 파라미터는 사용자가 실제로 파인튜닝하려는 Hugging Face 모델이다. 글은 기본 모델을 GPU 자원 할당, 메모리 사용, 학습 파이프라인, 추론 준비를 위한 ‘훈련 템플릿’으로 비유하며, 최적 결과를 위해 커스텀 모델이 기본 모델과 유사한 아키텍처, 대략적인 크기, 시퀀스 길이를 가져야 한다고 설명한다.

5. 호환성, 양방향 연동, 개발자에게 주는 의미

기사에 따르면 이 통합은 양방향으로 작동한다. Together AI는 호환되는 공개 Hugging Face 모델을 가져와 학습할 수 있고, 적절한 API 토큰이 있으면 비공개 저장소의 모델도 다운로드해 사용할 수 있다. 학습 이후에는 hf_output_repo_name을 지정한 경우 파인튜닝된 모델을 다시 Hub에 자동으로 올려 팀이나 더 넓은 커뮤니티와 공유할 수 있다. 일반적으로 100B 파라미터 미만의 CausalLM 모델이 작동하도록 의도되어 있으며, 개발자 입장에서는 유망한 모델을 찾은 뒤 며칠씩 인프라를 꾸리는 대신 몇 번의 API 호출로 실험과 프로덕션 적용까지 이어갈 수 있다는 점이 강조된다.

6. 팀 활용 사례와 주요 이점

초기 사용자 사례로 Slingshot AI와 Parsed가 소개된다. Slingshot AI는 이 기능을 모델 개발 파이프라인에 통합해, Together의 모델 카탈로그에만 묶이지 않고 자체 인프라에서 학습한 모델을 Hub에 올린 뒤 Together AI 파인튜닝 플랫폼에서 계속 개선하는 흐름을 만들었다고 설명된다. Parsed는 잘 선별된 데이터셋으로 작은 오픈소스 모델을 파인튜닝하면 훨씬 큰 폐쇄형 모델보다 나은 성능을 낼 수 있음을 보여준 사례로 제시된다. 글은 공통 사용 방식으로 도메인 적응, 반복적 모델 개선, 커뮤니티 모델 특화, 새 아키텍처 탐색을 들며, 팀들이 가장 크게 얻는 장점은 가치 실현 속도, 비용 효율, 오픈소스 커뮤니티의 축적된 성과를 출발점으로 삼을 수 있다는 점이라고 정리한다.

🧾 핵심 주장 / 시사점

이 글의 핵심은 ‘모델 선택의 자유’와 ‘학습 인프라의 추상화’를 결합해, Hugging Face Hub의 커뮤니티 모델을 실제 서비스용 커스텀 모델로 전환하는 장벽을 낮추는 데 있다.
Together AI의 방식은 모든 설정을 완전히 자동화한다고 주장하기보다, 공식 카탈로그 모델을 템플릿으로 삼고 실제 Hugging Face 모델과의 아키텍처·크기·시퀀스 길이 유사성을 요구해 호환성 조건을 분명히 둔다.
팀 관점에서 가장 큰 변화는 처음부터 모델을 만들거나 특정 플랫폼의 지원 모델만 기다리는 대신, 이미 공개된 특화 모델을 빠르게 실험하고 이어서 계속 개선하는 반복 루프를 만들 수 있다는 점이다.