Testing Fine Tuned Open Source Models in LangSmith
Quick Summary
이 글은 LangSmith를 사용해 파인튜닝한 오픈소스 Llama2 모델들을 구조화된 SQL 출력 과제로 평가하고, 모델 크기·학습 데이터·응답 시간·GPT 3.5와의 경쟁력을 비교한 사례를 설명한다.
🖼️ 인포그래픽
🖼️ 4컷 인포그래픽
💡 한 줄 요약
이 글은 LangSmith를 사용해 파인튜닝한 오픈소스 Llama2 모델들을 구조화된 SQL 출력 과제로 평가하고, 모델 크기·학습 데이터·응답 시간·GPT-3.5와의 경쟁력을 비교한 사례를 설명한다.
📌 핵심 요약
- 글은 오픈소스 모델의 성능이 높아지면서 애플리케이션에서 여러 모델과 파인튜닝 버전을 빠르게 교체·비교해야 하는 상황이 늘고 있다고 설명한다.
- 작성자는 LangSmith를 활용해 평가 데이터셋을 만들고, 여러 모델을 같은 입력과 정답 기준으로 테스트해 성능을 비교하는 방식을 소개한다.
- 실험은 Hugging Face의 sql-create-context 데이터셋을 JSONL로 변환하고, GPT-4 Code Interpreter로 일부 데이터를 샘플링한 뒤, 훈련 데이터와 겹치지 않는 1,000개 검증 SQL 행을 LangSmith에 업로드하는 흐름으로 진행됐다.
- Llama2-7b-chat은 78,000개 SQL 행으로, Llama2-13b-chat은 비용 통제를 위해 10,000개 행으로 풀 파라미터 파인튜닝했으며, 파인튜닝과 추론은 Replicate 및 8xA40 클러스터에서 수행됐다.
- LangSmith 평가 결과, 더 큰 13b 모델이 적은 학습 데이터에도 7b 모델보다 좋은 정확도를 보였고 GPT-3.5-turbo-base에 근접했으며, 7b 모델은 정확도와 응답 시간 효율의 균형이 좋았다고 정리한다.
🧩 주요 포인트
- 글은 오픈소스 모델의 성능이 높아지면서 애플리케이션에서 여러 모델과 파인튜닝 버전을 빠르게 교체·비교해야 하는 상황이 늘고 있다고 설명한다.
- 작성자는 LangSmith를 활용해 평가 데이터셋을 만들고, 여러 모델을 같은 입력과 정답 기준으로 테스트해 성능을 비교하는 방식을 소개한다.
- 실험은 Hugging Face의 sql-create-context 데이터셋을 JSONL로 변환하고, GPT-4 Code Interpreter로 일부 데이터를 샘플링한 뒤, 훈련 데이터와 겹치지 않는 1,000개 검증 SQL 행을 LangSmith에 업로드하는 흐름으로 진행됐다.
- Llama2-7b-chat은 78,000개 SQL 행으로, Llama2-13b-chat은 비용 통제를 위해 10,000개 행으로 풀 파라미터 파인튜닝했으며, 파인튜닝과 추론은 Replicate 및 8xA40 클러스터에서 수행됐다.
- LangSmith 평가 결과, 더 큰 13b 모델이 적은 학습 데이터에도 7b 모델보다 좋은 정확도를 보였고 GPT-3.5-turbo-base에 근접했으며, 7b 모델은 정확도와 응답 시간 효율의 균형이 좋았다고 정리한다.
🧠 상세 정리
1. 오픈소스 모델 비교가 필요한 배경
글은 Mistral 7b와 Llama2 계열 같은 최근 모델을 예로 들며, 오픈소스 모델이 실제 애플리케이션에 점점 더 적합해지고 있다고 출발한다. 모델 성능이 빠르게 바뀌면서 개발자는 하나의 모델을 고정해 쓰기보다, 더 나은 모델을 애플리케이션에 쉽게 갈아 끼우는 방식으로 운영해야 하는 상황에 놓인다. 여기에 파인튜닝 버전까지 더해지면 비교해야 할 후보가 크게 늘어난다. 따라서 핵심 문제는 어떤 모델이 특정 작업에 가장 적합한지 판단하기 위한 평가 과정을 어떻게 운영 가능한 형태로 만들 것인가이다.
2. LangSmith를 통한 평가 데이터셋 구성
작성자는 LangSmith가 여러 모델을 같은 기준으로 테스트하고, 다양한 축에서 성능을 직접 비교할 수 있는 평가 데이터셋 생성 도구를 제공한다고 설명한다. 데이터는 Python API나 사용자 인터페이스를 통해 업로드할 수 있으며, 예시에서는 SQL 출력 검증에 적합한 Key/Value 형식의 데이터셋을 사용했다. 코드 예시는 LangSmith Client로 데이터셋을 만들고, 검증 파일의 각 줄을 읽어 사용자 프롬프트와 정답 SQL 출력을 채팅 예제로 등록하는 방식을 보여준다. 이 과정은 평가 입력과 기준 정답을 LangSmith 안에 구조화해 이후 자동 평가에 활용하기 위한 준비 단계다.
3. SQL 데이터 준비와 검증 세트 분리
실험의 출발점은 Hugging Face의 sql-create-context 데이터셋으로 Llama2-7b와 Llama2-13b 모델을 파인튜닝하는 것이었다. 원래 JSON 형태였던 데이터는 채팅 파인튜닝에 맞게 JSONL 형식으로 변환됐고, GPT-4 Code Interpreter는 데이터셋에서 10,000개 행을 선택하는 데 사용됐다. 검증을 위해서는 훈련 데이터와 겹치지 않는 1,000개의 고유 SQL 행을 별도로 골랐다. 이 검증 세트를 LangSmith에 업로드함으로써, 모델 출력이 알려진 정답과 일치하는지를 자동으로 반복 평가할 수 있는 기반을 마련했다.
4. Llama2 모델 파인튜닝 방식
주요 목표는 Llama2-7b-chat과 Llama2-13b-chat이 특정 SQL 출력을 더 잘 생성하도록 개선하는 것이었다. 작성자는 Llama2-7b-chat을 78,000개 SQL 데이터 행으로 파인튜닝했고, Llama2-13b-chat은 비용을 통제하기 위해 10,000개 행으로 파인튜닝했다고 밝힌다. 두 모델의 파인튜닝과 추론은 모두 8xA40 클러스터에서 수행됐으며, LoRA가 아니라 풀 파라미터 튜닝을 사용했다. 모델 호스팅과 파인튜닝 플랫폼으로는 Replicate를 사용했고, 예시 코드에서는 Replicate API로 Llama2-13b-chat 버전을 학습시키는 흐름을 보여준다.
5. LangSmith 평가 실행과 판정 방식
평가 단계에서는 LangSmith를 사용해 각 모델에 1,000개의 프롬프트를 실행하고, 모델의 출력이 이미 알고 있는 정답 SQL과 맞는지 비교했다. 작성자는 이 판정을 GPT-4가 수행하도록 했으며, LangSmith의 평가 설정에서는 chain of thought question answer 계열의 내장 평가기를 사용한 예시를 제시한다. 코드에서는 Replicate 모델을 테스트 대상으로 지정하고, LangSmith의 arun_on_dataset을 통해 데이터셋 전체에 대해 평가를 실행한다. LangSmith UI에서는 평가 결과를 확인할 수 있고, 필요한 경우 사용자가 직접 평가기를 작성할 수도 있다고 설명한다.
6. 결과 해석과 오픈소스 모델의 가능성
결과 관찰에서 작성자는 모델 파라미터 수와 학습 데이터 양 사이의 관계를 강조한다. Llama2-7b-chat-ft-78k는 더 작은 모델이지만 좋은 성능을 보였고, 더 많은 파라미터를 가진 Llama2-13b-chat-ft-10k가 이를 앞섰다고 설명한다. 또한 정확도뿐 아니라 p50과 p99 같은 응답 시간도 모델 효율을 평가할 때 중요하며, 7b 모델은 정확도와 응답 시간 양쪽에서 균형이 좋았다고 언급한다. 특히 Llama2-13b-chat-ft-10k의 정확도가 GPT-3.5-turbo-base에 가까웠다는 점을 들어, 특정 도메인에서는 최적화된 오픈소스 모델이 기존 상용 모델과 경쟁할 수 있음을 보여준다고 정리한다.
🧾 핵심 주장 / 시사점
- 모델 평가를 일회성 스크립트가 아니라 데이터셋·정답·평가 실행·UI 비교가 연결된 체계로 만들면, 여러 파인튜닝 후보를 더 안정적으로 비교할 수 있다.
- 이 사례에서는 학습 데이터가 더 많은 작은 모델과 파라미터가 더 많은 큰 모델을 함께 비교해, 모델 크기와 데이터 규모를 별도로 보지 말고 함께 평가해야 함을 보여준다.
- 특정 SQL 출력처럼 범위가 분명한 과제에서는 파인튜닝된 오픈소스 모델이 GPT-3.5 계열 모델에 가까운 성능을 낼 수 있으며, 정확도뿐 아니라 응답 시간과 실행 환경도 함께 고려해야 한다.
✅ 액션 아이템
- LangSmith에서 동일 입력과 정답 기준으로 비교하려는 흐름을 기준으로, SQL 데이터셋을 JSONL로 정제해 1,000개 검증행을 업로드하는 절차를 정리한다.
- Llama2-7b-chat 78,000행과 13b-chat 10,000행 설정처럼 학습 데이터량, 모델 크기, 비용 제약을 함께 반영해 정량 비교 실험 설계를 정한다.
- 정확도에서 13b 우세와 7b의 정확도·응답시간 균형, GPT-3.5-turbo-base 근접도 결과를 바탕으로 모델 채택 기준을 명시한다.
❓ 열린 질문
- 동일 입력·정답 기준 실험에서 검증셋을 몇 개수와 빈도로 갱신해야 신뢰도 있는 비교가 가능한가?
- 훈련 데이터와 겹치지 않는 1,000개 검증행으로 13b 성능 우세를 결론 내려도 과적합 우려를 충분히 해소할 수 있는가?
- 정확도는 13b가 우세하고 7b는 속도 효율이 좋을 때, 비용 제약 하에서 어떤 운영 구간에서 어떤 모델을 채택해야 하는가?
