Palette: teaching a small model to build decks in your design language

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Palette는 IBM Design Language로 합성한 데이터와 검사·수정 하네스로 학습·보완한 20B 오픈 웨이트 모델로, 자체 인프라에서 디자인 언어를 유지하며 슬라이드를 생성하고 PresentBench의 평가 대상 3개 영역 중 2개에서 1위를 기록했다.

📌 핵심 요약

• Palette는 프런티어 모델이 고유한 디자인 스타일로 되돌아가는 문제와 기밀 콘텐츠의 외부 반출 제약에 대응하기 위해, 자체 인프라에서 운영하고 원하는 디자인 언어로 학습할 수 있는 소형 오픈 웨이트 모델을 제안한다.
• 단일 LoRA 어댑터가 설계자와 코더 역할을 수행한다. 설계자는 구조화된 JSON 설계서를 만들고 코더는 슬라이드별 pptxgenjs 코드를 생성하며, 병렬 처리로 코딩 단계가 약 6~7배 빨라졌다.
• 약 1,000개 덱과 약 10,000장 슬라이드의 합성 데이터에 선택한 설계와 대안을 기각한 이유를 포함했다. 설계자 예제를 5배 과표집했으며, 사실 충실성을 개선할 때는 프롬프트 규칙 추가보다 참조 덱 수정이 효과적이었다.
• Palette는 12개 범주의 지시문으로 디자인 선택을 조정하고, 검사·수정 하네스로 렌더링 오류와 겹침·잘림·영역 초과를 처리한다. 검사기가 개선을 확인한 수정만 채택하며, PresentBench 131개 덱에서 하네스 적용으로 평균 3.5점이 상승했다.
• PresentBench에서 Economics와 Education은 1위, Talk는 3위였으며, 3개 영역 평균은 59.7점으로 NotebookLM의 60.8점보다 1.1점 낮은 2위였다. 평가용 계획은 별도 프런티어 모델이 작성했고, 특정 디자인 언어 준수 여부를 평가하는 벤치마크는 저자들이 아는 범위에서 없다는 한계가 있다.

🧩 주요 포인트

1. 편집 판단과 기하 배치를 설계자·코더로 분리 → 사람이 수정할 수 있는 JSON 설계서를 경계로 콘텐츠를 확정하고, 슬라이드별 병렬 생성으로 실행 효율을 높인다.
2. 대안을 비교하는 추론 데이터와 검사기 기반 수정 결합 → 선택의 이유와 오류 수정 근거를 학습시키며, 참조 덱의 품질이 사실 충실성에 직접 영향을 준다.
3. 구조화된 콘텐츠 중심 영역에서 강점, Talk와 디자인 언어 평가에는 한계 → PresentBench 종합 순위만으로 서사 중심 덱의 경쟁력이나 특정 디자인 언어 준수 수준까지 단정하기 어렵다.

🧠 상세 정리

1. 자체 디자인 언어와 기밀성을 위한 소형 모델

글은 프런티어 모델에 슬라이드 덱을 여러 번 요청하면 비슷한 기본값과 고유한 스타일이 반복되며, 사용자가 원하는 템플릿을 지정해도 모델이 자기 스타일로 되돌아간다는 문제에서 출발한다. 여기에 콘텐츠가 기밀이어서 조직의 시스템 밖으로 나갈 수 없는 상황까지 고려하면, 자체 인프라에서 실행하고 자체 디자인 언어로 학습할 수 있는 오픈 웨이트 모델이 대안이 된다. 그러나 실제 자체 호스팅을 고려할 만한 소형 모델은 제목이 배경에 묻히거나 텍스트가 슬라이드를 벗어나고 도형이 겹치는 등 덱 제작 품질이 낮다는 제약이 있다. Palette는 이런 모델도 디자인 언어에 맞춘 합성 데이터로 학습하고 검사 하네스로 보완하면 프런티어 시스템과 경쟁할 수 있다는 가설을 시험한다. 연구진은 IBM Design Language를 따르는 데이터로 20B 모델을 미세 조정하고, 데이터 생성·학습·출력 검사를 하나의 과정으로 구성했다.

2. 설계자와 코더로 판단을 분리하는 구조

소형 모델은 렌더링 결과를 보지 못한 채 좌표·크기·글꼴 크기를 코드로 지정해야 하며, 동시에 내용의 취사선택과 시각적 표현 방식까지 결정해야 한다. Palette는 사람이 이야기 구성을 정한 뒤 슬라이드를 만드는 방식에 따라, 단일 LoRA 어댑터가 설계자와 코더라는 두 역할을 수행하도록 했다. 설계자는 팔레트와 타이포그래피 체계, 슬라이드별 레이아웃·정확한 내용·짧은 설계 근거를 담은 JSON 설계서를 작성하고, 코더는 한 슬라이드의 명세를 받아 추론과 pptxgenjs JavaScript 코드를 생성한다. 이 설계서는 사람이거나 에이전트가 읽고 수정할 수 있어 전체 덱을 다시 생성하지 않고도 특정 슬라이드의 레이아웃을 바꿀 수 있으며, 코드 생성 전에 문맥이 확정되므로 슬라이드별 병렬 호출이 가능해 코딩 단계가 약 6~7배 빨라졌다. 전체 미세 조정 대신 LoRA를 선택해 기반 모델의 지식을 크게 건드리지 않으면서 형식과 기술을 가르치고 실험 비용을 낮췄으며, 코더 예제가 설계자 예제보다 약 5배 길어 생기는 학습 불균형은 설계자 예제의 5배 과표집으로 보완했다.

3. 선택 이유와 수정 근거를 담은 합성 데이터

완성된 덱은 많지만 계획·디자인 판단·생성 코드를 함께 제공하는 공개 말뭉치가 없었기 때문에, 연구진은 대형 오픈 교사 모델로 약 1,000개 덱과 약 10,000장 슬라이드를 생성했다. 각 덱은 장르·길이·레이아웃·사용자 지시를 정하는 생성 조건에서 출발하며, 입력 계획도 정돈된 개요부터 가공되지 않은 콘텐츠 묶음까지 다양하게 구성해 모델이 내용을 줄이고 압축하도록 했다. 모든 예제에는 대안을 검토한 뒤 왜 기각했는지를 설명하는 추론을 넣어, 모델이 최종 선택뿐 아니라 그 선택을 만든 규칙도 배우도록 했다. 예를 들어 설계자는 정확한 수치보다 분기별 상승 추세가 중요하므로 표 대신 막대 차트를 택했다고 설명하고, 코더는 제목 길이와 줄바꿈 때문에 글꼴 크기를 낮춘 이유를 설명한다. 생성한 덱은 추론 시 사용하는 것과 같은 검사기로 렌더링·검사하고, 문제가 있는 슬라이드를 수정하면서 원래 배치의 오류와 수정이 유효한 이유까지 추론에 다시 반영했다.

4. 사실 충실성은 규칙보다 참조 예제에서 개선

합성 데이터 생성에서 가장 어려웠던 문제는 입력에 없는 사실이 슬라이드에 들어가는 현상이었으며, 연구진은 이를 가장 나쁜 실패로 보았다. 이런 문제는 단순히 사실을 지어내지 말라는 프롬프트 규칙만으로 막을 수 없었고, 설계서가 제공된 내용보다 더 많은 정보를 요구할 때 특히 드러났다. 원문은 세 개의 글머리표만 주어진 상태에서 6×5 표를 요구하면, 코더가 나머지 칸을 채우기 위해 내용을 만들어내게 된다는 사례를 제시한다. 연구진이 효과를 확인한 방법은 규칙을 계속 추가하는 것이 아니라 교사 모델에 보여주는 참조 덱을 수정하는 것이었다. 교사 모델은 지시문보다 프롬프트 안의 소수 참조 덱을 훨씬 강하게 모방했으므로, 예제 자체를 바로잡는 것이 출력의 사실 충실성을 안정적으로 바꾸는 수단이었다.

5. 자연어 지시문으로 세부 디자인 선택 조정

Palette는 사용자가 차트와 표의 선택, 특정 색상, 더 어두운 표지처럼 세부적인 디자인 결정을 조정할 수 있도록 계획 안에 짧은 자연어 지시문을 넣는 방식을 제공한다. 지시문은 로 감싸며, 설계자는 이를 설계서에 반영하고 코더는 해당 명세에 따라 슬라이드를 그린다. 원문의 출시 계획 예시에서는 여러 달에 걸친 이정표에 make this a timeline을 붙이면, 지시문이 없을 때 합리적인 선택이었던 표 대신 타임라인을 생성한다. 이러한 동작은 프롬프트에 기능을 선언해서만 얻은 것이 아니라, 학습 데이터의 생성 조건에 12개 범주의 지시문을 포함해 학습시킨 결과다. 레이아웃·어조·독자·순서·생략·강조 등의 범주마다 여러 표현을 사용해, 모델이 고정된 문구를 암기하기보다 사용자의 의도를 따르도록 했다.

6. 검사로 개선이 확인된 수정만 채택하는 하네스

학습이 잘된 모델도 배경과 같은 색의 제목이나 서로 포개진 상자를 만들 수 있으므로, Palette는 생성 결과를 바로 반환하지 않고 모든 덱을 검사·수정 하네스에 통과시킨다. 먼저 잘못된 색상 코드 때문에 모든 슬라이드가 검게 변하는 사례처럼 이미 알려진 오류를 단순 규칙으로 처리한 뒤, 각 슬라이드를 렌더링하고 기하 검사기로 텍스트 겹침·잘림·슬라이드 영역 초과를 측정한다. 문제가 표시된 슬라이드는 별도의 편집 모델이 코드를 다시 작성하지만, 검사기가 개선을 확인한 경우에만 수정본을 채택하고 그렇지 않으면 원본을 유지한다. 원문은 이 채택 규칙을 하네스를 모든 덱에 적용할 수 있게 하는 핵심으로 제시하며, 제목과 설명이 겹친 카드들을 2×2 격자로 재배치한 사례를 보여준다. 효과를 측정할 때는 PresentBench의 각 덱을 한 번씩 생성한 뒤 하네스 적용 전후를 평가했으며, 총 131개 덱에서 평균 3.5점의 상승을 얻었다.

7. PresentBench 성과와 평가 범위의 한계

PresentBench는 기본 완성도·시각 디자인·완전성·정확성·충실성이라는 다섯 기준으로 생성된 덱을 평가하며, 연구진은 이 가운데 세 개 영역의 결과를 보고하고 비교 시스템의 수치는 PresentBench 논문에서 가져왔다. 벤치마크가 계획이 아닌 원본 문서를 제공하기 때문에, 이번 평가에서는 별도의 프런티어 모델이 문서를 계획으로 바꾸고 Palette가 그 계획으로 덱을 생성했다. Palette는 구조화된 콘텐츠와 수치 정확성이 점수에 크게 작용하는 Economics와 Education에서 1위를 기록했지만, 서사와 발표 흐름 중심인 Talk에서는 두 폐쇄형 시스템에 뒤져 3위였다. 세 영역 평균은 59.7점으로 NotebookLM의 60.8점보다 1.1점 낮은 2위였으며, 원문은 이를 단일 20B 오픈 웨이트 모델의 성과로 강조한다. 다만 PresentBench는 덱의 전반적인 품질을 측정할 뿐 특정 디자인 언어의 준수 여부를 평가하지 않으며, 저자들은 자신들이 아는 범위에서 이를 측정하는 벤치마크가 없다는 공백을 인정한다.

8. 검사 신호를 학습에 활용하는 후속 방향과 교훈

현재 하네스가 계산하는 렌더링 가능 여부, 겹침과 영역 초과, 각 사실이 설계서로 추적되는지 등의 저렴하고 검증 가능한 신호는 생성 후 수정에 쓰이지만, 연구진은 이를 강화학습 보상으로 활용해 오류 자체를 줄이고자 한다. 코더가 한 번에 한 슬라이드만 처리하므로 각 생성 과정이 짧고 독립적으로 검증 가능하며, 원문은 이를 GRPO 방식 학습에 적합한 구조로 본다. 그림이 많은 덱의 격차를 줄이기 위해 Docling 같은 도구로 원본 문서에서 그림을 추출해 하네스로 배치하는 방안과, 기존 .pptx 파일 한두 개를 바탕으로 재학습 없이 출력의 외형을 바꾸는 방안도 탐색하고 있다. 연구진이 정리한 교훈은 기각한 대안까지 포함한 추론을 데이터에 넣고, 규칙을 추가하기 전에 참조 예제를 고치며, 측정 가능한 개선이 있을 때만 수정을 채택하고, 검사기를 먼저 구축하라는 것이다. 이러한 방법은 결과물의 구조를 코드로 검사할 수 있는 차트·다이어그램·UI 레이아웃 같은 작업으로도 자연스럽게 확장할 수 있다는 것이 글의 주장이다.

🧾 핵심 주장 / 시사점

• Palette에서 설계서는 편집 판단과 기하 배치를 연결하는 명시적 경계다. 이 경계가 특정 슬라이드 수정과 병렬 코드 생성을 함께 가능하게 한다.
• 검사기는 출력 보정뿐 아니라 합성 데이터의 오류를 찾아 수정 근거가 포함된 학습 예제로 바꾸는 역할도 한다. 원문은 이 검증 구조를 향후 강화학습 보상으로도 확장하려 한다.
• PresentBench 성과는 영역별 강점을 보여주지만, 평가 계획을 별도 프런티어 모델이 만들었다는 조건과 디자인 언어 준수 평가의 부재를 함께 고려해야 한다.

✅ 액션 아이템

• Palette의 자체 인프라 운영 방식과 원하는 디자인 언어 학습 방식이 기밀 콘텐츠의 외부 반출 제약에 부합하는지 검토.
• 설계자·코더 분리와 JSON 설계서가 슬라이드 수정 및 코딩 단계의 약 6~7배 가속에 기여하는 방식 확인.
• PresentBench 59.7점과 영역별 순위를 별도 프런티어 모델의 계획 작성 조건 및 디자인 언어 준수 평가의 한계와 함께 해석.

❓ 열린 질문

• Palette의 자체 인프라 운영과 원하는 디자인 언어 학습은 기밀 콘텐츠의 외부 반출 제약을 어떻게 충족하는가?
• 설계자·코더 분리에서 JSON 설계서는 슬라이드별 수정과 병렬 생성에 각각 어떤 역할을 하는가?
• PresentBench에서 Economics·Education 1위와 Talk 3위라는 차이는 구조화된 콘텐츠와 서사 중심 덱의 어떤 요구 차이를 보여주는가?