How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Dharma-AI는 Qwen3-4B 기반 포르투갈어 논술 채점기의 어휘를 VocabX로 특화해 측정 추론 비용을 77.0% 줄이고 품질 점수를 높였다고 보고했으며, 수치는 심사 중인 논문의 잠정 결과다.

📌 핵심 요약

• 포르투갈어 논술 채점기는 단일 언어와 JSON 응답 형식을 사용하지만, 기존 Qwen3-4B 토크나이저는 151,669개 어휘를 유지해 반복 출력의 토큰 분절과 불필요한 출력 계층 연산을 유발했다.
• 측정한 채점기에서는 출력 토큰의 비용이 입력 토큰의 7.4배였다. VocabX는 시스템 프롬프트·사용자 메시지·모델 응답별 비용을 반영해 서브워드와 반복 구간을 통합한 매크로 토큰을 선택하며, 출력 계층은 약 152,000행에서 약 65,000행으로 줄었다.
• 동일한 기반 모델·데이터·학습 방식·시드로 학습한 7개 버전을 RTX 5090과 vLLM에서 동일한 500개 요청으로 비교했다. 평균 응답은 350토큰에서 101토큰으로, 실행 시간으로 계산한 비용은 77.0% 감소했으며, 채점 및 부적절한 논술 판별 정확도를 결합한 bench 점수는 0.703에서 0.810으로 상승했다.
• 점수를 JSON 구조와 하나의 매크로 토큰으로 묶은 초기 버전은 bench 점수가 0.689로 하락했다. 점수를 별도 토큰으로 분리하자 응답당 2토큰이 추가됐지만, 품질이 회복되고 비용 절감률도 73.3%에서 77.0%로 개선됐다.
• 계약서 코퍼스에서는 표본에 없는 후보의 이득을 통계적으로 추정해 토큰 감소율이 44.7%에서 52.8%로 높아졌다. 추가 비교는 5개 공개 도메인과 Qwen3·Llama-3.1·Gemma-3를 대상으로 했지만, 제공된 원문은 결과 설명 도중 끊겼으며 논문 수치도 출판 전에 바뀔 수 있다.

🧩 주요 포인트

1. 출력 토큰의 높은 비용 → 전체 토큰 수보다 입력·출력별 비용과 어휘 크기를 함께 고려해야 실제 추론 비용을 설명할 수 있다.
2. 서브워드·매크로 토큰의 공동 최적화와 표본 밖 후보 추정 → 반복 구조와 드문 표현까지 비용 절감 후보로 활용할 수 있다.
3. 점수 토큰 분리 후 품질과 비용의 동시 개선 → 핵심 판단을 보존하는 토큰 경계가 최대 압축률보다 중요할 수 있다.

🧠 상세 정리

1. 운영 중인 채점기에서 발견한 어휘 특화의 기회

Dharma-AI는 일반 공개 모델을 특정 업무에 맞게 미세조정해도 토크나이저는 범용 모델의 것을 그대로 물려받는 경우가 많다는 문제에서 출발한다. 실제 운영 중인 포르투갈어 논술 채점기는 40억 매개변수의 Qwen3-4B를 기반으로 하며, 논술과 출제문, 참고 지문을 입력받아 역량별 점수와 논평을 JSON으로 반환한다. 모델은 이미 작고 업무에 맞게 학습돼 있었지만, 여러 언어와 다양한 텍스트를 위한 어휘는 단일 언어와 정해진 응답 형식에 최적화돼 있지 않았다. 그 결과 매번 쓰는 표현이 여러 토큰으로 나뉘고, 생성 단계마다 거의 사용하지 않는 항목까지 포함한 151,669개 어휘에 점수를 계산했다. 저자들은 기반 모델과 데이터, 학습 방식을 유지하면서 VocabX로 어휘를 재구성했으며, 토크나이저를 학습 이전에 결정되는 중요한 비용 조절 수단으로 제시한다.

2. 토큰 수보다 입력과 출력의 비용 차이가 중요한 이유

범용 어휘가 만드는 첫 번째 낭비는 반복 표현의 분절로, 채점기의 JSON 외곽 구조와 역량명, 평가 문구처럼 자주 등장하는 구간도 여러 토큰을 요구한다. 그러나 저자들은 토큰 수를 줄이는 것만으로 실제 비용 절감을 충분히 설명할 수 없으며, 입력을 읽는 단계와 출력을 생성하는 단계의 차이를 봐야 한다고 주장한다. 프리필에서는 전체 입력을 한 번에 처리하면서 GPU 메모리에서 읽은 가중치를 여러 입력 토큰에 재사용하지만, 디코드에서는 토큰 하나를 생성할 때마다 전체 순전파가 필요해 메모리 대역폭이 병목이 된다. 이 현상은 적당한 크기의 배치로 제공되는 소형 모델에서 특히 두드러지며, 배치를 늘려도 가중치 읽기와 문맥에 따라 커지는 KV 캐시 접근 비용이 남는다. 측정한 채점기에서 출력 토큰은 입력 토큰보다 7.4배 비쌌지만, 이 비율은 하드웨어와 배치 크기, 문맥 길이 등에 따라 달라지므로 모든 환경에 적용되는 상수는 아니다.

3. 어휘 자체의 비용과 기존 방법의 한계

두 번째 낭비는 업무에서 거의 쓰지 않는 어휘도 출력 단계마다 비용을 발생시킨다는 점으로, 최종 출력 계층인 LM head는 가능한 모든 토큰에 대한 점수를 계산한다. Qwen3-4B 정도의 모델에서는 이 행렬이 전체 매개변수의 거의 10%를 차지하며, 입력 계층이 필요한 행만 조회하는 것과 달리 LM head는 생성할 때마다 전체 행렬을 읽고 곱한다. 따라서 새 토큰을 추가해 문장을 짧게 만들더라도 어휘 행렬이 커지면 실제 비용은 오를 수 있으며, VocabX는 선택 기준에 이 비용 항을 직접 넣는 대신 작은 도메인 어휘로 교체하고 매크로 토큰에 고정 예산을 적용한다. 기존의 fast vocabulary transfer인 FVT, multi-word tokenization인 MWT, Liquid AI의 in-place BPE도 분절을 줄이지만, 저자들의 실험에서는 입력과 출력의 비용 차이보다 출현 빈도를 기준으로 후보를 고른다는 한계가 있었다. 또한 이 세 방법은 서브워드 조정과 전체 구절 통합을 같은 기준으로 함께 수행하지 않아, 긴 JSON 구조처럼 여러 부분이 반복되는 구간의 낭비를 충분히 다루지 못했다고 설명한다.

4. 비용 가중치와 두 계층의 토큰 재구성

VocabX는 후보가 몇 개의 토큰을 줄이는지 대신 그 감소가 어느 필드에서 발생하며 비용과 시간을 얼마나 절약하는지를 기준으로 삼는다. 시스템 프롬프트와 사용자 메시지, 모델 응답에 서로 다른 비용을 부여하므로, 측정한 채점기에서는 출력에서 줄인 한 토큰이 입력에서 줄인 한 토큰보다 7.4배 높은 가치를 갖는다. 서브워드 계층에서는 도메인 단어의 분절 방식을 다시 만들고, 다중 단어 계층에서는 짧은 표현부터 문장과 JSON 외곽 구조까지 반복 구간 전체를 매크로 토큰 하나로 바꾸며, 두 계층에 같은 비용 기준과 각각의 예산을 적용한다. 반복 구간은 긴 단어, 전체 행, 표현, 완전한 문장, JSON·태그 같은 문장부호 구조를 담당하는 다섯 탐색기로 찾는다. 8개 코퍼스 평균에서는 문장부호 구조 탐색기의 기여가 가장 컸고 Python 코드에서는 이것만으로 17.5%포인트를 기여했으며, 다섯 탐색기가 없으면 채점기의 토큰 감소율은 55.6%포인트 낮아진다고 보고한다.

5. 표본에 나타나지 않는 후보의 가치를 추정하는 방법

비용 기준으로 토큰을 순차 선택하려면 이미 선택한 토큰과 겹치는 절감분을 제외하고 각 후보가 추가로 얼마나 기여하는지 계산해야 한다. 선택할 때마다 전체 코퍼스를 다시 처리하는 방식은 수만 번의 반복이 필요하므로, 문서 표본으로 평가하는 접근이 가능하지만 표본에 없는 후보의 이득을 0으로 처리하는 문제가 생긴다. 예를 들어 50,000개 문서에서 37번 등장하는 표현이 400개 문서 표본에 나타날 확률은 약 26%이고, 계약서 코퍼스에서는 후보의 16.6%만 이 크기의 표본에 나타났다. VocabX는 전체 코퍼스에서의 절감량은 정확히 계산하고, 이미 선택한 토큰이 아직 덮지 않은 절감분의 비중만 추정하도록 문제를 나눈다. 표본에 보이지 않는 후보에도 관측 가능한 후보의 행동에 근거한 통계적 추정치를 부여했으며, 동일한 표본과 예산에서 이 변경만으로 계약서 코퍼스의 토큰 감소율이 44.7%에서 52.8%로 높아졌다.

6. 동일 조건의 운영 실험에서 확인한 비용과 품질

실제 효과를 측정하기 위해 저자들은 기반 모델과 데이터, 학습 방식, 시드를 같게 유지하고 토크나이저만 바꾼 채점기 7개 버전을 학습했다. 모든 버전은 RTX 5090 GPU와 vLLM 추론 서버를 갖춘 동일한 장비에서 같은 500개 요청을 처리했으며, 비용은 측정한 실행 시간을 바탕으로 계산했다. 최종 비교에서 평균 응답 길이는 350토큰에서 101토큰으로 줄었고, 추론 비용은 77.0% 감소했다. 채점 정확도와 주제 이탈 또는 규칙 위반 논술을 판별하는 정확도를 결합한 bench 점수는 기존 0.703에서 0.810으로 상승했다. 채점기의 출력 계층도 약 152,000행에서 약 65,000행으로 줄었으므로, 이 결과는 응답 토큰 감소와 더 작은 어휘를 함께 적용한 구성에서 관측된 성과로 이해해야 한다.

7. 점수까지 압축한 초기 설계가 보여준 반례

최종 결과에 이르기까지 가장 압축률이 높은 구성이 항상 좋은 것은 아니라는 수정 과정이 있었다. 초기 어휘는 각 역량의 점수와 주변 JSON 구조를 하나의 매크로 토큰으로 합쳤지만, bench 점수가 0.689로 내려가 기존 운영 채점기의 0.703보다 낮아졌다. 점수를 구조 안에 넣으면 점수와 형식의 조합마다 별도 토큰이 생기고, 모델이 형식과 채점 결정을 한 단계에서 함께 선택하게 된다는 것이 저자들의 설명이다. 점수에 독립된 토큰을 부여하자 응답당 2토큰이 늘었지만 bench 점수는 0.810으로 높아졌고, 측정 비용 절감률도 결합 버전의 73.3%보다 높은 77.0%를 기록했다. 저자들은 모델이 수행해야 할 핵심 판단을 압축 구간에 넣으면 품질 손실이 발생할 수 있으므로, 중요한 판단 토큰을 보존하는 범위 안에서 가장 저렴한 어휘를 찾아야 한다고 결론짓는다.

8. 다른 도메인으로의 비교와 공개 결과의 한계

저자들은 채점기에서 얻은 효과가 특정 사례에만 국한되는지 살펴보기 위해 계약서, 의학 논문, 과학 논문, 뉴스, Python 코드라는 5개 공개 도메인으로 비교를 넓혔다. 모델 계열은 Qwen3, Llama-3.1, Gemma-3의 세 가지였으며, VocabX와 세 기준 방법에 동일한 후보 탐색 문서와 시험 문서, 같은 어휘 크기 상한을 적용했다. 제공된 원문은 15개 조합 모두에서 가장 강한 기준 방법보다 높은 압축 성능을 보였다는 설명을 시작한 뒤 문장 중간에서 끊기므로, 그 뒤의 구체적인 수치나 조건은 확인할 수 없다. 따라서 이 비교를 근거로 모든 도메인에서 추론 비용이 77.0% 감소하거나 채점기와 같은 품질 향상이 나타났다고 확대할 수는 없다. 또한 글은 곧 공개할 VocabX 논문의 결과를 미리 소개하는 성격이며, 저자들은 현재 수치가 심사 중인 논문 버전에 근거해 출판 전에 달라질 수 있다고 명시한다.

🧾 핵심 주장 / 시사점

• 어휘 특화의 효과는 텍스트를 짧게 만드는 정도뿐 아니라, 비싼 출력 토큰을 얼마나 줄이고 생성마다 처리하는 어휘 행렬을 얼마나 축소하는지에 달려 있다.
• 표본에서 관측되지 않았다는 이유로 후보 가치를 0으로 처리하면 전체 코퍼스에서 유용한 표현을 놓칠 수 있으며, 절감량의 정확한 계산과 중복분의 추정을 분리하는 접근이 이를 완화한다.
• 점수 분리 버전은 토큰 수가 조금 늘어도 품질과 측정 비용이 함께 개선될 수 있음을 보여주며, 압축률만으로 최적 구성을 판단하기 어렵다는 근거가 된다.

✅ 액션 아이템

• VocabX 적용 검토 시 출력 토큰 비용 7.4배라는 측정 조건과 입력·출력별 비용 차이를 함께 검토한다.
• 점수 토큰 분리 전후의 bench 점수 0.689와 0.810, 비용 절감률 73.3%와 77.0%를 함께 비교한다.
• 77.0% 비용 절감 결과는 RTX 5090·vLLM의 500개 요청 실험과 심사 중인 잠정 수치라는 조건을 명시해 해석한다.

❓ 열린 질문

• 출력 토큰 비용이 입력의 7.4배였던 측정 조건이 달라지면 VocabX의 비용 절감률은 얼마나 달라지는가?
• 점수 토큰 분리로 bench 점수가 0.810으로 높아진 결과는 다른 핵심 판단을 보존하는 토큰 경계에도 적용되는가?
• Qwen3·Llama-3.1·Gemma-3와 5개 공개 도메인의 비교에서 구체적인 압축 성능은 어떠하며, 심사 후 잠정 수치는 어떻게 달라지는가?