[한영자막] 지능을 빌리는 건 그만: 특화 AI의 학습부터 배포까지

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

범용 AI의 지능을 빌리는 데서 벗어나려면, 오픈소스 모델을 업무에 맞게 학습하고 배포·관측·재학습을 반복하는 특화 AI 운영 체계를 갖춰야 한다.

📌 핵심 요점

1. 오픈소스 전환의 관건은 업무별 품질이다. 발표자는 비용과 성능을 이유로 전환을 검토하는 고객이 늘고 있으며, 범용 모델 사이의 격차를 맞춤 학습으로 좁힐 수 있다고 설명한다.
2. 추론 최적화는 실제 워크로드에서 출발한다. 입력·출력 토큰 수, 프롬프트 캐시 적중률, 목표 지연시간에 맞춰 Fire Attention과 CUDA 커널을 조정하고, 추측 디코딩·양자화 등의 기법을 적용한다.
3. 학습 도구는 사용자의 통제 수준에 따라 나뉜다. 학습 에이전트는 모델 선택과 데이터 정리 등을 돕고, 관리형 학습은 설정과 실행을 단순화하며, Training API는 학습 루프와 손실함수의 직접 정의를 지원한다.
4. 품질 개선에는 데이터와 평가 설계가 필요하다. 발표자는 GenSpark 사례에서 데이터 정리와 평가함수 설계를 포함한 RFT 이후 품질이 12% 개선됐다고 소개한다. 다만 학습 에이전트는 발표 시점에 RFT를 지원하지 않는다.
5. 학습의 결과는 운영에서 다시 검증해야 한다. 배포 후 토큰·캐시·추측 모델 지표와 사용자 피드백을 모아 재학습하고, 새 체크포인트를 핫 로딩하는 순환 구조가 발표의 최종 메시지다.

🧩 배경과 문제 정의

발표는 ChatGPT나 Anthropic 같은 폐쇄형 모델을 사용하면서 비용 부담을 느끼는 청중에게 질문하는 것으로 시작한다. Fireworks의 응용 머신러닝 담당자인 발표자는 오픈소스 모델로 전환할 때 발생하는 품질 격차를 어떻게 줄이고, 학습한 모델을 실제 서비스에 빠르고 저렴하게 배포할 수 있는지 설명한다.

문제의 범위는 일회성 모델 서빙을 넘어선다. 새 데이터와 사용자 피드백에 따라 학습·호스팅을 반복하는 운영 구조를 전제로, 추론 최적화와 세 가지 학습 제품, 배포·관측·재학습을 연결하는 데이터 플라이휠을 소개한다. 내용은 Fireworks의 제품 설명과 고객 사례, 학습·배포 데모로 구성된다.

🕒 시간순 섹션별 상세정리

1. 폐쇄형 모델의 비용 문제와 오픈소스 전환

• 발표자는 폐쇄형 모델의 비용 부담을 출발점으로 삼고, 오픈소스 모델의 강점과 품질 격차를 줄이는 방법을 다루겠다고 보여준다. [00:47]
• 오픈소스 모델의 실서비스 활용 가능성, 맞춤 학습의 차별화 효과, 일회성 서빙에서 지속적 학습·추론 순환으로의 이동을 세 가지 전제로 제시한다. [02:08]
• Fireworks는 이러한 학습과 대규모 호스팅을 더 쉽고 비용 효율적으로 연결하는 플랫폼이라고 보여준다. [02:25]

2. 운영 규모와 고객 성과 사례

• 약 30조 토큰 처리 규모, 전 세계 1만 개 이상 기업 지원, 초당 약 20만 요청 처리를 보여준다. 토큰 집계 기간은 전사에서 명확하지 않다. [03:24]
• Cursor의 Composer 2를 플랫폼에서 학습·호스팅했으며 추론 속도가 13배 빨라졌다고 보여준다. Vercel 사례에서는 미세조정과 호스팅을 통한 지연시간 40배 개선을 주장한다. [04:03]
• GenSpark의 오픈소스 전환 과정에서는 데이터 정리와 평가함수 설계를 포함한 RFT를 수행해 품질이 12% 개선됐다고 보여준다. [04:41]

3. Fire Attention과 워크로드별 추론 최적화

• 자체 추론 엔진인 Fire Attention과 CUDA 커널을 소개하고, 고객의 워크로드와 성능 목표에 맞춰 추론 스택을 최적화한다고 보여준다. [05:39]
• 입력·출력 토큰 수, 프롬프트 캐시 적중률, 목표 지연시간을 주요 조건으로 삼아 비용과 성능을 함께 조정한다. [06:06]
• 추측 디코딩, 분리 처리, 양자화를 적용하며, 고객 데이터로 초안 모델을 학습해 주 모델의 지연시간과 처리량을 개선할 수 있다고 보여준다. [06:49]

4. 품질 격차를 줄이는 학습 에이전트

• 폐쇄형 모델에서 오픈소스 모델로 전환할 때 가장 큰 병목은 품질이며, 이를 해결하기 위해 세 가지 학습 제품을 제공한다고 보여준다. [07:19]
• 제품 관리자와 개발자를 위한 학습 에이전트는 UI에서 데이터셋과 작업 설명을 받아 모델 선택, 데이터 정리, 하이퍼파라미터 조정을 돕는다. [08:03]

5. 관리형 학습과 직접 제어하는 Training API

• 관리형 학습은 API와 UI를 제공하며, 사용자가 모델·데이터셋·하이퍼파라미터를 지정해 학습을 시작하는 방식이다. [08:38]
• 대시보드에서 에포크별 학습 상태와 손실을 확인하고, Weights & Biases로 관측 지표를 내보낼 수 있다고 보여준다. [09:09]
• Training API는 머신러닝 엔지니어가 학습 루프와 손실함수를 직접 정의해 관리형 학습보다 세밀하게 작업을 구성하도록 지원한다. [09:48]

6. 학습 방식의 선택과 RFT 지원 제한

• 학습 제품군에서 SFT, RFT, DPO를 다룬다고 설명하며, RFT에서 평가함수·데이터 정리·하이퍼파라미터 선택의 중요성을 강조한다. [10:26]
• 다만 학습 에이전트 자체는 RFT를 지원하지 않아, RFT용 데이터 정리나 하이퍼파라미터 조정도 에이전트에 맡길 수 없다고 명시한다. [10:39]

7. 배포와 피드백을 연결하는 데이터 플라이휠

• 새 데이터와 사용자 피드백이 들어올 때마다 학습과 호스팅을 반복하는 흐름을 플랫폼의 핵심 운영 방식으로 제시한다. [11:30]
• 학습한 모델을 배포한 뒤 토큰 수, 캐시 적중률, 추측 모델의 동작 상태 등을 관측할 수 있다고 보여준다. [11:57]
• 수집한 지표와 피드백을 활용해 기존 체크포인트에서 새 체크포인트로 재학습하는 순환을 보여준다. [12:10]

8. 핫 로딩과 학습·추론 사이의 수치적 일관성

• 클라우드·네오클라우드 사업자와의 협력을 통해 학습 연산과 대규모 호스팅에 필요한 GPU 자원을 제공한다고 보여준다. [12:29]
• Cursor를 위해 구현한 핫 로딩은 새 체크포인트의 가중치를 운영 중인 배포에 중단 없이 교체하는 기능으로 묶인다. [13:07]
• 서로 다른 플랫폼에서 학습과 호스팅을 수행할 때 수치 호환성으로 품질 문제가 생길 수 있다며, 같은 플랫폼에서 학습·추론·배포를 연결하는 장점을 강조한다. [13:58]

9. 학습 에이전트 데모와 결과 확인

• 학습·평가 데이터셋을 입력하면 에이전트가 모델과 하이퍼파라미터를 제안한다. 데모에서는 Qwen-3-8B를 선택한 이유와 SFT 계획을 보여준다. [15:04]
• 사용자가 계획을 승인하면 에이전트가 단계를 실행하고, 진행 상황과 최종 설정·기반 모델·하이퍼파라미터를 요약한다. [15:39]
• 학습 완료 후 정확도와 F1 점수를 제시하고, 수행 내용과 권장 다음 단계를 안내한다. [16:05]

10. 관리형 학습 실행부터 배포 설정까지

• 모델과 데이터셋을 선택하고 평가 설정 및 선택적 하이퍼파라미터를 지정한 뒤, 생성 버튼으로 학습 작업을 시작하는 과정을 보여준다. [17:09]
• 작업 상세 화면에서 데이터셋·하이퍼파라미터·학습 손실을 확인하고, 실행을 복제해 다른 설정으로 재현할 수 있다고 보여준다. [17:31]
• 미세조정한 모델을 배포 대상으로 선택하고, 처리량·지연시간·첫 토큰까지의 시간 등을 고려한 배포 템플릿을 사용할 수 있다고 보여준다. [18:07]

11. Training API 안내와 발표 마무리

• Training API는 고객별 설정이 달라 전체 데모를 제공하지 않으며, 자체 학습 루프와 손실함수를 구성하려는 사용자를 웹사이트의 예제로 안내한다. [18:30]
• 학습부터 추론까지 이어지는 전체 순환에 대한 소개를 마무리하고 질의응답으로 넘어간다. [18:42]

🧾 결론

• 특화 AI 구축은 모델을 고르는 작업에서 끝나지 않는다. 학습 데이터, 평가 기준, 추론 환경, 운영 피드백을 연결해야 한다.
• 품질과 추론 성능은 각각 관리해야 한다. 맞춤 학습으로 업무 정확도를 높이고, 워크로드 최적화로 지연시간과 처리량을 개선하는 접근이다.
• Fireworks는 학습부터 배포까지 같은 플랫폼에서 처리해 전환 과정을 단순화하고 수치적 일관성을 확보한다고 설명한다. 실제 효과는 자체 데이터와 운영 조건에서 확인해야 한다.

📈 투자·시사 포인트

• AI 인프라의 가치가 학습과 추론의 연결로 확장된다. 지속적인 재학습을 전제로 하면 배포·관측·체크포인트 교체를 연결하는 기능도 플랫폼 선택의 기준이 된다.
• 추론 경쟁력은 업무별 최적화 능력과 연결된다. 발표 사례는 같은 모델을 제공하더라도 토큰 구성, 캐시 활용, 커널 최적화에 따라 고객이 경험하는 성능이 달라질 수 있음을 시사한다.
• 기업의 데이터와 평가 체계가 특화 모델의 차별화 기반이 된다. RFT 사례에서도 학습 방식뿐 아니라 데이터 정리와 평가함수 설계가 함께 강조된다.
• 고객 성과 수치는 검증 조건과 함께 봐야 한다. Cursor의 추론 속도 13배, Vercel의 지연시간 40배 개선 주장은 비교 기준과 비용 조건이 제시되지 않아 플랫폼 전반의 성과로 일반화하기 어렵다.

⚠️ 불확실하거나 확인이 필요한 부분

• Cursor의 추론 속도 13배, Vercel의 지연시간 40배, GenSpark의 품질 12% 개선은 발표자가 소개한 고객 사례다. 비교 모델, 하드웨어, 트래픽 조건, 평가 지표와 측정 방식은 전사에 제시되지 않는다.
• 약 30조 토큰 처리 규모는 집계 기간이 명확하지 않다. 이후 언급한 하루 최소 5조 토큰 증가도 발표자의 추정 표현이므로 확정된 운영 수치로 합산하면 안 된다.
• 전사에는 Firework와 Fireworks, GenSpark와 Genpact처럼 표기가 혼재한다. 모델 버전과 투자 유치 관련 표현도 원음이나 발표 자료를 통한 확인이 필요하다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 전환할 업무를 하나 정하고, 기존 모델 대비 품질·지연시간·처리량·비용의 합격 기준을 먼저 작성한다.
• 학습 데이터와 평가 데이터를 분리하고, 업무 성공 여부를 판별할 평가함수와 정확도·F1 등 적절한 지표를 정한다.
• 필요한 통제 수준에 따라 학습 에이전트, 관리형 학습, Training API 중 도구를 선택한다. RFT가 필요하면 에이전트의 지원 제한을 확인한다.
• 실제 입력·출력 토큰 분포와 캐시 적중률을 기준으로 추론 설정을 비교하고, 학습 후 배포 환경에서도 품질을 다시 측정한다.

❓ 열린 질문

• 자체 업무에서 오픈소스 모델의 품질 격차를 줄이는 데 데이터 정리, SFT, RFT 중 어떤 접근이 가장 효과적인가?
• 학습 비용과 운영 부담까지 포함하면 기존 폐쇄형 모델 대비 비용 우위는 어느 사용 규모에서 나타나는가?
• 핫 로딩과 수치적 일관성은 어떤 모델·배포 설정까지 지원하며, 체크포인트 교체 전후 품질은 어떻게 검증하는가?