Post-Training Is How You Keep Your Taste

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Post-Training Is How You Keep Your Taste를 중심으로, 생성형 AI로 앱 제작에 필요한 인력과 시간이 크게 줄면서, 애플리케이션 구현 자체는 복제하기 어려운 경쟁력이 되기 힘들어졌다를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. 생성형 AI로 앱 제작에 필요한 인력과 시간이 크게 줄면서, 애플리케이션 구현 자체는 복제하기 어려운 경쟁력이 되기 힘들어졌다.
2. 지속적인 차별화는 실제 사용자 상호작용, 고품질 운영·합성 데이터, 고객과 도메인에 대한 판단을 자체 모델 지능으로 전환하는 데서 나온다.
3. 동적인 사실은 RAG, 출력 행동과 구조는 지도 미세조정, 주관적인 품질은 선호 학습, 취약한 전문 문제는 강화학습, 고비용 모델의 역량 이전은 증류로 다뤄야 한다.
4. 데이터의 양보다 품질이 중요하며, 제품팀의 직관을 명시적인 평가 기준과 다차원 보상 루브릭으로 바꿔야 품질을 반복 검증하고 보상 해킹을 줄일 수 있다.
5. 제품·시장 적합성 이후에는 학습 결과를 실제 서비스에 배포해 A/B 테스트로 검증하고, 포스트트레이닝으로 추론 비용과 단위 경제성을 개선하는 순환 구조가 필요하다.

🧩 배경과 문제 정의

• 생성형 AI가 제품 개발에 필요한 인력과 시간을 수십 명·수개월에서 한 명·수주 수준으로 줄이면서, 애플리케이션 자체만으로는 지속적인 경쟁 우위를 지키기 어려워졌다.
• 기업의 차별점은 고유한 판단 기준과 취향, 고객·도메인에 대한 이해에 있지만, 범용 비공개 API에만 의존하면 이런 특성이 모델 공급자의 공통 지능에 묻힐 수 있다.
• 포스트트레이닝은 실제 제품 데이터와 사용자 선호, 전문 지식을 모델에 내재화해 제품의 고유한 품질을 유지하고 비용 효율적인 사업 구조를 만드는 수단이다.

🕒 시간순 섹션별 상세정리

1. 앱 개발 비용의 붕괴와 차별화 위기

• 과거에는 강한 제품 엔지니어와 PM 수십 명이 여러 분기에 걸쳐야 했던 제품을 이제는 한 사람이 코드를 몰라도 몇 주 안에 구현할 수 있어, 애플리케이션 시장의 진입 장벽이 크게 낮아졌다. [01:51]
• 기업 고유의 판단과 취향, 고객 이해를 범용 API 위에 얹는 데 그치지 않고 자체 지능에 내재화해야 복제하기 어려운 지속적 경쟁력을 만들 수 있다. [03:28]

2. 데이터를 모델과 제품 성과로 연결하는 소유권

• 지능은 데이터에서 파생되며, 공통 작업에 맞춰진 공개·라벨 데이터만으로는 개별 기업의 특수한 문제를 충분히 풀기 어렵다. 고품질 운영 데이터와 합성 데이터를 함께 관리하는 것이 자체 지능의 출발점이다. [04:38]
• 데이터를 기존 모델의 가중치에 반영한 뒤 실제 서비스에 배포하고, A/B 테스트로 제품 지표가 개선되는지 확인하며 다시 데이터를 축적하는 순환 구조가 필요하다. [05:23]

3. 단계별 도입과 문제에 맞는 기법 선택

• 초기에는 프롬프트와 퓨샷으로 아이디어를 빠르게 검증하고, RAG와 컨텍스트 엔지니어링으로 모델 출력을 기업 내부 데이터에 연결한다. [05:53]
• 데이터가 쌓이면 지도 미세조정으로 출력 방식을 교정하고, 사용자 반응에서 얻은 선호 정보로 제품의 취향을 학습하며, 강화학습으로 법률·금융·의료 같은 세부 도메인의 전문성을 높인다. [07:08]

4. 데이터 품질과 제품팀의 역할 확대

• 포스트트레이닝에서는 데이터 양보다 품질이 중요하며, 많은 데이터를 무작정 투입해도 좋은 결과를 보장하지 않는다. 실제 제품 기준을 아는 제품팀이 데이터 품질을 가장 정확하게 판단할 수 있다. [10:30]
• 생성형 AI 이전에는 제품팀과 연구·머신러닝팀의 역할이 분리돼 있었지만, 이제 제품팀도 데이터 선별과 품질 판단에 깊이 참여해야 모델 결과가 제품 의도와 일치한다. [10:58]

5. 반복 가능한 평가와 보상 해킹 방지

• 창업자의 직관적인 품질 판단도 명시적인 평가 기준으로 변환할 수 있으며, 이를 반복 가능한 평가 체계로 만들면 소프트웨어의 단위·통합 테스트처럼 모델 품질을 지속적으로 검증할 수 있다. [11:44]
• 강화학습 환경이 현실을 제대로 반영하지 못하면 모델은 잘못된 시뮬레이션의 점수만 높이거나 의도하지 않은 방식으로 보상 함수를 공략한다. [12:09]

6. 학습 결과와 실제 서비스의 정렬

• 모델 학습 자체가 실험의 끝은 아니며, 최종 모델을 서비스 환경에 배포한 뒤 A/B 테스트를 통해 실제 제품 지표가 움직이는지 확인해야 한다. [13:16]
• 학습과 서빙에서 서로 다른 라이브러리·수치 표현·최적화를 사용하면 행렬 계산 결과가 달라져 품질이나 정밀도가 떨어질 수 있으므로 두 스택의 계산 방식을 맞춰야 한다. [13:53]

7. 커서의 모델 공급망과 품질 경쟁

• 커서는 모델 공급을 직접 통제하고 풍부한 사용자 참여·선호 데이터를 활용하기 위해 미드트레이닝과 포스트트레이닝을 일찍 시작했으며, 수개월 단위로 새로운 모델을 내놓았다. [14:50]
• 컴포저 2와 2.5는 프런티어 모델 수준에 맞추거나 이를 넘어서는 품질을 목표로 하며, 집중된 데이터와 적절한 도구가 있으면 애플리케이션 기업도 자체 모델로 경쟁할 수 있다. [15:23]

8. 의료와 보안 코딩의 전문 모델

• 독시미티의 임상 AI는 증상과 약물·부작용을 연결하는 의료 질의를 처리하며, 포스트트레이닝을 반복해 스탠퍼드·하버드 임상 안전성 벤치마크에서 최고 성과를 냈다. [16:03]
• 팩토리는 오류 허용도가 낮은 보안 코딩에 집중해 모델을 조정했고, 보안 영역 벤치마크에서 선두 수준의 결과를 달성했다. [16:33]

9. 코딩에서 범용·산업별 코워크로 확장

• 코딩 기업들이 프런티어 연구소와 동등하거나 더 높은 품질을 추구한 데 이어, 법률·금융·마케팅·채용·영업·고객지원 등 범용 및 산업별 코워크 제품도 자체 지능을 확보하기 시작했다. [17:44]
• 젠스파크의 전문가용 심층 리서치와 슬라이드 생성 모델은 프런티어 모델보다 품질이 소폭 높으면서 비용은 5~10분의 1 수준이어서, 빠른 사용량 증가를 감당할 사업 구조를 만든다. [18:11]

10. 포스트트레이닝을 채택하는 세 가지 유형

• 프런티어 에이전트 개발사는 범용 하네스 대신 맞춤형 하네스를 만들고, 시스템과 도구를 함께 최적화하기 위해 포스트트레이닝을 활용한다. [19:11]
• 대기업은 방대한 고객 트래픽 때문에 AI 기능의 추론 비용이 급증하며, 재무 책임자가 출시를 막을 정도의 비용 부담을 포스트트레이닝으로 완화할 수 있다. [19:54]

11. 수백만 개의 전문 모델과 조기 실험

• 제품·시장 적합성을 확보한 뒤에는 포스트트레이닝이 전문 지능을 만드는 핵심 수단이 되며, 장기적으로는 하나의 애플리케이션·용도마다 특화된 모델이 생겨 수백만 개 규모로 늘어날 수 있다. [20:34]
• 데이터를 모델로 전환할 때 보상 신호와 보상 함수 설계가 결과를 좌우하므로, 작은 실험을 일찍 시작하고 반복하면서 실전 경험을 축적해야 한다. [21:09]

12. 팀 역량에 맞춘 제어 수준

• 커서나 코그니션처럼 전문 연구진을 보유한 팀은 모든 변수를 직접 조절하기 위해 저수준 강화학습 롤아웃만 제공받고 트레이너를 자체적으로 통제한다. [22:27]
• 제품 엔지니어나 머신러닝 엔지니어 중심의 팀은 핵심 설정을 제어하되 저수준 구현 부담을 줄일 수 있는 트레이닝 SDK를 활용한다. [22:49]

13. 다차원 보상 기준에 담기는 기업의 취향

• 보상은 코드로 구현할 수 있으며, 하나의 총점만 두기보다 결과를 여러 차원에서 채점하는 루브릭으로 구성해야 한다. [23:47]
• 채용 에이전트라면 후보자의 적성뿐 아니라 집요함과 실행 속도, 실제 진척 능력 등을 각각 평가해 서로 다른 품질 요소를 분리할 수 있다. [24:22]

14. 제품·시장 적합성 이후의 도입 시점과 경제성

• AI 사업에서는 제품·시장 적합성 확보와 지속 가능한 확장이 별개의 단계다. 초기에는 프런티어 모델로 빠르게 적합성을 검증하고 복잡한 모델 운영보다 제품 수요 확인에 집중할 수 있다. [26:23]
• 적합성 확보 이후에는 실제 사용자 상호작용에서 의미 있는 고품질 데이터가 쌓이며, 이를 모델에 내재화하면 쉽게 복제되는 애플리케이션 화면 대신 고유한 취향과 전문 지식을 경쟁 장벽으로 보존할 수 있다. [27:55]

🧾 결론

• 포스트트레이닝은 일회성 모델 튜닝이 아니라 데이터 수집, 학습, 배포, A/B 테스트, 데이터 재축적을 반복하는 제품 운영 체계다.
• 기업의 취향은 추상적인 감각에 머무르지 않고 데이터 선별 기준, 평가 항목, 보상 점수의 결합 비율에 구체적으로 담긴다.
• 제품팀과 연구·머신러닝팀이 함께 데이터 품질과 모델 결과를 판단해야 자체 지능이 실제 제품 의도와 정렬될 수 있다.
• 모델 학습만 성공해서는 충분하지 않으며, 학습·서빙 스택의 계산 방식과 실제 제품 지표까지 일치해야 최종 성과로 인정할 수 있다.

📈 투자·시사 포인트

• 앱 구현 역량의 희소성이 낮아질수록 독점적인 사용자 데이터, 평가 체계, 보상 설계와 도메인 지식이 더 중요한 경쟁 자산이 될 수 있다.
• 풍부한 사용자 참여와 선호 데이터를 반복적으로 축적하는 기업은 범용 API 의존도를 낮추고 자체 모델의 품질 차별화를 시도할 기반을 갖는다.
• 포스트트레이닝으로 추론 비용을 5~10배 낮출 수 있다는 주장이 실제 환경에서도 성립한다면, 같은 예산으로 처리할 수 있는 트래픽과 AI 사업의 단위 경제성이 크게 개선될 수 있다.
• 애플리케이션과 용도별 전문 모델이 확산될수록 데이터 관리, 평가, 보상 엔지니어링, 학습 SDK와 학습·서빙 정렬 역량의 중요성이 함께 커질 가능성이 있다.

⚠️ 불확실하거나 확인이 필요한 부분

• 독시미티와 팩토리의 벤치마크 성과는 언급됐지만, 구체적인 벤치마크 명칭, 평가 조건, 비교 모델과 원자료가 제시되지 않아 독립적인 확인이 필요하다.
• 젠스파크의 비용이 프런티어 모델의 5~10분의 1이고 포스트트레이닝이 추론 비용을 5~10배 낮춘다는 수치는 작업 유형, 품질 기준, 트래픽, 하드웨어 조건에 따라 달라질 수 있다.
• 애플리케이션과 용도마다 특화된 모델이 생겨 수백만 개 규모로 증가한다는 전망은 장기적인 방향성으로 제시됐으며, 실현 시기와 규모는 확인되지 않았다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 초기에는 프런티어 모델과 프롬프트·퓨샷으로 제품·시장 적합성을 검증하고, 복잡한 자체 모델 운영은 실제 수요가 확인된 뒤 시작한다.
• 사용자 상호작용, 선호, 운영 데이터와 합성 데이터를 분류하고 제품 기준을 아는 담당자가 데이터 품질을 직접 검토하도록 한다.
• 동적 사실, 출력 행동, 주관적 품질, 전문 추론, 비용 절감 과제를 구분해 각각 RAG, 지도 미세조정, 선호 학습, 강화학습, 증류에 연결한다.
• 창업자와 제품팀의 품질 판단을 여러 평가 차원으로 나눈 루브릭으로 만들고, 보상 함수가 의도하지 않은 지름길을 허용하는지 점검한다.

❓ 열린 질문

• 제품 고유의 취향을 대표하면서도 반복 측정할 수 있는 핵심 평가 항목과 제품 지표는 무엇인가?
• 현재 축적되는 사용자 데이터 가운데 선호 학습이나 강화학습에 사용할 만큼 품질이 높은 데이터는 무엇인가?
• 다차원 보상 점수의 비율이 실제 고객 가치와 일치하는지, 보상 해킹 없이 어떻게 지속적으로 검증할 것인가?