How are large language models trained?

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

How are large language models trained를 중심으로, 공개된 대규모 텍스트를 입력과 정답으로 나누면 수작업 라벨링 없이 다음 토큰 예측 데이터셋을 만들 수 있으며, 이를 통해 사전훈련를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. 공개된 대규모 텍스트를 입력과 정답으로 나누면 수작업 라벨링 없이 다음 토큰 예측 데이터셋을 만들 수 있으며, 이를 통해 사전훈련을 자기지도학습 방식으로 확장할 수 있다.
2. 다음 토큰을 예측하는 동안 모델은 언어 구조와 글쓰기 형식, 일부 세계 지식을 암묵적으로 습득하지만, 모델과 페타바이트급 데이터를 수천 개의 GPU에 분산하고 장애 복구·전처리 파이프라인까지 운영해야 한다.
3. 사전훈련만 마친 모델은 지식과 생성 능력이 있어도 응답이 예측 불가능하거나 인간의 의도와 어긋날 수 있으므로, 안전성·정확성·형식·유용성을 개선하는 사후훈련이 필요하다.
4. 지도 미세조정은 모범 답안과 도구 호출 구문을 학습해 기본 행동 형식을 만들고, 강화학습은 보상 모델의 점수를 바탕으로 다양한 응답을 탐색해 성능의 상한을 높인다.
5. 사전훈련은 다음 단어 예측 성능으로 비교하기 쉽지만, 사후훈련은 지시 준수·안전성·친절함·유용성 같은 정렬 품질을 테스트셋, 자동 채점용 LLM, 사람의 표본 점검으로 평가해야 한다.

🧩 배경과 문제 정의

• ‘대규모 텍스트 학습’과 ‘다음 토큰 예측’이라는 표현만으로는 LLM이 실제로 훈련되는 과정을 이해하기 어렵다.
• 유용한 AI 비서는 방대한 지식을 습득하는 사전훈련뿐 아니라 지시 준수, 도구 사용, 안전성, 응답 품질을 다듬는 사후훈련까지 필요하다.
• 훈련 성과를 객관적으로 측정하지 못하면 막대한 연산 자원을 쓰고도 모델이 실제로 개선됐는지 판단하기 어렵다.

🕒 시간순 섹션별 상세정리

1. 다음 토큰 예측을 통한 사전훈련

• 공개된 대규모 텍스트를 입력과 정답으로 나누면 별도의 수작업 라벨링 없이 다음 토큰 예측용 데이터셋을 만들 수 있어, 사전훈련은 자기지도학습 방식으로 확장된다. [00:47]
• 다양한 문장의 다음 단어를 정확히 예측하는 과정에서 언어 구조와 글쓰기 형식뿐 아니라 식물의 특성 같은 일부 세계 지식까지 암묵적으로 습득한다. [01:18]
• 사전훈련만 거친 모델은 폭넓은 지식과 생성 능력을 갖추더라도 응답이 예측 불가능하거나 인간의 의도와 어긋날 수 있어 그대로 서비스에 투입하기 어렵다. [02:35]
• 사후훈련은 응답의 안전성·정확성·형식·유용성을 개선하며, 모범 답안을 학습하는 지도 미세조정과 보상 점수로 행동을 개선하는 강화학습을 주로 결합한다. [02:51]

2. 모범 답안으로 행동 형식을 익히는 지도 미세조정

• 질문에 대한 친절한 모범 답안을 정답으로 두고 모델의 실제 응답과 비교해 손실을 계산하면, 가중치가 원하는 대화 방식에 맞게 조정된다. [04:01]
• 도구 호출이 필요한 프롬프트와 올바른 호출 구문을 짝지으면 도구 사용을, 수학 문제와 해답을 활용하면 문제 해결 능력을 강화할 수 있다. [04:21]
• 모델이 과제와 관련된 프롬프트에 여러 응답을 생성하면 별도의 보상 모델이 이를 채점하고, 그 점수에 따라 가중치가 갱신되면서 성능이 향상된다. [04:57]
• 지도 미세조정이 목록·코드 블록·질의응답 같은 기본 역량의 하한을 확보한다면, 강화학습은 수백만 가지 응답을 탐색해 고득점 결과를 남기며 기존 모범 답안보다 효율적이고 명확한 방식을 찾을 수 있다. [05:23]

3. 평가 기준과 자동 채점으로 개선 여부 확인

• 사전훈련은 다음 단어 예측 성능으로 비교적 단순하게 측정할 수 있지만, 사후훈련은 지시 준수·안전성·친절함·유용성 같은 정렬 품질을 평가해야 해 기준 설계가 더 어렵다. [06:40]
• 관련 프롬프트로 테스트셋을 구성하고 사전에 정의한 기준으로 응답을 채점하며, 대규모 평가는 자동 채점용 LLM이 담당하고 사람이 일부 결과를 점검한다. [08:15]

4. 자동 평가로 사후훈련의 진척 추적

• 오토레이터는 모델의 응답을 미리 정의한 기준에 따라 평가하고 점수화한다. [08:39]
• 데이터셋과 훈련 전략을 바꿔가며 평가 결과를 비교하면 모델이 올바른 방향으로 개선되는지 판단할 수 있다. [08:47]
• 프로덕션 배포 전에는 자동 평가 결과를 사람이 표본 점검하고 더 강건한 테스트도 수행해야 한다. [08:57]
• 관련성 높은 프롬프트와 명확한 기준을 활용한 자동 평가는 모델 역량을 빠르게 수치화해 사후훈련 전반의 진척을 추적하게 해준다. [09:11]

5. 사전훈련에서 정렬된 언어 모델까지

• 사전훈련에서는 방대한 텍스트의 다음 토큰을 예측하며 데이터에 내재된 패턴·특징·관계에 대한 폭넓은 이해를 얻는다. [09:29]
• 사후훈련은 응답의 품질·일관성·정렬을 다듬어 모델을 대화하기 편한 어시스턴트로 만들고 추론과 도구 사용 같은 역량을 향상시킨다. [09:43]
• 이 전 과정에 대량의 데이터와 실험, 연산 자원이 투입된 끝에 하나의 훈련된 대규모 언어 모델이 완성된다. [09:53]
• 발표자는 다음에 다뤘으면 하는 주제를 댓글로 남겨달라고 요청하며 마무리한다. [09:55]

🧾 결론

• LLM 훈련은 대규모 텍스트를 학습시키는 단일 단계가 아니라 사전훈련, 지도 미세조정, 강화학습, 평가가 이어지는 다단계 과정이다.
• 사전훈련이 지식과 생성 능력의 폭을 만들고, 지도 미세조정이 기본 행동의 하한을 확보하며, 강화학습이 더 효율적이고 명확한 응답을 탐색한다.
• 모델 개선 여부를 입증하려면 연산량을 늘리는 것만으로는 부족하며, 목적에 맞는 평가 기준과 자동·인간 검증 체계가 함께 구축되어야 한다.

📈 투자·시사 포인트

• 수천 개의 GPU, 페타바이트급 데이터, 장애 자동 복구, 대규모 전처리가 필요하다는 점에서 LLM 경쟁력은 모델 알고리즘뿐 아니라 분산 연산과 데이터 파이프라인 운영 역량에도 좌우된다.
• 사후훈련에는 모범 답안, 올바른 도구 호출 데이터, 보상 모델이 필요하므로 고품질 학습 데이터와 정렬 운영 역량이 프로덕션 품질을 구분하는 핵심 요소가 된다.
• 자동 채점용 LLM과 사람의 표본 점검을 결합해야 하므로 평가 기준의 설계와 검증 체계가 반복 실험의 속도와 신뢰도를 결정하는 중요한 기반이 된다.

⚠️ 불확실하거나 확인이 필요한 부분

• 지도 미세조정과 강화학습을 어떤 비율로 결합해야 최적의 결과가 나오는지는 아직 표준이 없다.
• 보상 모델과 자동 채점용 LLM의 오류를 어떻게 측정·보정하는지, 사람이 어느 정도의 결과를 점검해야 하는지는 구체적으로 제시되지 않았다.
• 모델별 데이터 구성, 정확한 GPU 규모, 훈련 기간, 비용이 제시되지 않아 설명된 훈련 구조를 특정 모델의 자원 요구량으로 일반화하기는 어렵다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• LLM을 비교할 때 사전훈련 성능과 사후훈련의 지시 준수·안전성·친절함·유용성을 구분해 평가한다.
• 프로덕션 도입 전 도구 호출, 응답 형식, 정확성, 안전성을 포함한 목적별 테스트셋과 채점 기준을 정의한다.
• 자동 채점 결과의 일부를 사람이 점검해 평가용 LLM과 보상 모델의 편향이나 오판 가능성을 확인한다.

❓ 열린 질문

• 지도 미세조정과 강화학습의 최적 비율은 과제와 모델 규모에 따라 어떻게 달라지는가?
• 자동 채점용 LLM과 사람의 판단이 다를 때 어떤 기준으로 최종 평가를 확정해야 하는가?
• 지도 미세조정 데이터에 없던 변형 과제에 대한 일반화 한계를 강화학습이 어느 정도까지 보완할 수 있는가?