Ettin Suite: SoTA Paired Encoders and Decoders

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

에틴은 동일한 공개 데이터 2조 토큰, 모델 구조, 학습 절차를 적용한 1,700만~10억 매개변수 규모의 인코더·디코더 쌍으로, 두 아키텍처를 공정하게 비교하면서 양쪽 모두에서 공개 데이터 기반 최고 수준의 성능을 달성한 모델군이다.

📌 핵심 요약

• 에틴은 마스크 언어 모델링을 사용하는 인코더와 인과 언어 모델링을 사용하는 디코더를 동일한 조건에서 학습해, 기존 비교에서 뒤섞였던 데이터·구조·학습법의 차이를 통제했다.
• 모델은 1,700만~10억 매개변수의 여섯 가지 크기로 제공되며, 1.7조 토큰 사전학습, 2,500억 토큰 문맥 확장, 1,000억 토큰 감쇠 학습의 세 단계를 거친다.
• 인코더 모델은 모든 평가 과제와 모델 크기에서 모던버트를 능가했고, 디코더 모델은 라마 3.2와 스몰엘엠2 같은 기존 기준 모델을 능가하거나 대등한 성능을 보였다.
• 동일 조건 비교에서 인코더는 분류·검색에, 디코더는 생성에 뚜렷한 우위를 보였으며, 매개변수가 더 많은 모델이 항상 더 좋은 결과를 내는 것은 아니었다.
• 반대 학습 목표로 500억 토큰을 추가 학습해도 원래 아키텍처의 격차를 완전히 해소하지 못했고, 성별 편향 분석에서도 학습 목표와 아키텍처에 따른 행동 차이가 확인됐다.

🧩 주요 포인트

1. 에틴은 마스크 언어 모델링을 사용하는 인코더와 인과 언어 모델링을 사용하는 디코더를 동일한 조건에서 학습해, 기존 비교에서 뒤섞였던 데이터·구조·학습법의 차이를 통제했다.
2. 모델은 1,700만~10억 매개변수의 여섯 가지 크기로 제공되며, 1.7조 토큰 사전학습, 2,500억 토큰 문맥 확장, 1,000억 토큰 감쇠 학습의 세 단계를 거친다.
3. 인코더 모델은 모든 평가 과제와 모델 크기에서 모던버트를 능가했고, 디코더 모델은 라마 3.2와 스몰엘엠2 같은 기존 기준 모델을 능가하거나 대등한 성능을 보였다.
4. 동일 조건 비교에서 인코더는 분류·검색에, 디코더는 생성에 뚜렷한 우위를 보였으며, 매개변수가 더 많은 모델이 항상 더 좋은 결과를 내는 것은 아니었다.
5. 반대 학습 목표로 500억 토큰을 추가 학습해도 원래 아키텍처의 격차를 완전히 해소하지 못했고, 성별 편향 분석에서도 학습 목표와 아키텍처에 따른 행동 차이가 확인됐다.

🧠 상세 정리

1. 동일 조건의 인코더·디코더 모델군

에틴은 인코더 전용 모델과 디코더 전용 모델을 하나의 통제된 학습 환경에서 만든 쌍 모델군이다. 두 계열은 동일한 2조 토큰 데이터, 동일한 모델 형태, 동일한 학습 절차를 사용하고, 주의 패턴과 학습 목표만 다르게 설정됐다. 인코더는 마스크된 토큰을 복원하는 마스크 언어 모델링을 사용하고, 디코더는 앞선 토큰을 바탕으로 다음 토큰을 예측하는 인과 언어 모델링을 사용한다. 기존 연구에서는 데이터 구성과 구조, 학습법이 서로 달라 아키텍처 자체의 효과를 분리하기 어려웠지만, 에틴은 이러한 변수를 통제해 직접 비교할 수 있게 했다. 동시에 두 계열 모두 공개 데이터 기반 모델 가운데 최고 수준의 성능을 목표로 하며, 실험용 비교 대상에 그치지 않고 실제 작업에 사용할 수 있는 모델로 제공된다.

2. 인코더와 디코더의 구조적 차이

대규모 언어 모델 분야는 생성 능력이 뛰어난 지피티, 라마, 큐원 같은 디코더 전용 모델을 중심으로 발전해 왔다. 그러나 버트 계열 인코더는 분류, 검색, 임베딩 같은 판별 작업에서 여전히 생산 시스템의 핵심을 맡고 있으며, 이러한 작업에서는 더 빠르고 메모리 효율적이고 정확한 경우가 많다. 인코더는 양방향 주의를 사용하므로 각 토큰이 문장 안의 다른 모든 토큰을 볼 수 있지만, 디코더는 자동회귀 생성을 위해 현재 토큰보다 앞선 토큰만 볼 수 있다. 디코더 기술이 빠르게 발전한 것과 달리 인코더 개발은 한동안 정체됐고, 모던버트와 같은 시도가 디코더에서 발전한 현대적 기법을 인코더에 도입하며 이를 갱신하기 시작했다. 에틴은 이 구조적 차이만 남긴 채 나머지 조건을 맞춤으로써 어느 아키텍처가 어떤 작업에서 유리한지를 검증한다.

3. 여섯 가지 모델 크기와 3단계 학습

에틴은 1,700만 개부터 10억 개까지 여섯 가지 매개변수 규모로 학습돼, 기기 내 추론용 소형 모델과 더 강력한 대형 모델을 함께 제공한다. 첫 번째 단계에서는 1.7조 토큰의 다양한 고품질 데이터를 사용하고, 1,024토큰의 비교적 짧은 문맥으로 기본 지식과 언어 능력을 형성한다. 두 번째 단계에서는 더 엄격하게 선별한 2,500억 토큰을 사용하면서 문맥 길이를 8,000토큰으로 확장해 긴 문서와 복잡한 관계를 처리하도록 한다. 마지막 단계에서는 과학 논문, 교과서, 선별 콘텐츠를 포함한 고품질 데이터 1,000억 토큰을 학습하고 학습률을 점진적으로 낮춘다. 세 단계를 합치면 약 2조 토큰이 되며, 같은 과정이 인코더와 디코더 모두에 적용되므로 규모별 성능 변화와 학습 목표별 차이를 같은 기준에서 살펴볼 수 있다.

4. 모던버트 계승과 공개 데이터 재현성

학습 절차는 디코더 모델의 현대적 기법을 인코더 학습에 도입한 모던버트의 방법을 기반으로 한다. 에틴의 인코더는 이러한 현대적 구조 요소와 속도상의 이점을 이어받아 이전 세대 인코더보다 훨씬 빠르게 동작하도록 설계됐다. 중요한 차이는 에틴이 전체 학습에 공개 데이터를 사용해 학습 구성을 재현할 수 있도록 했다는 점이다. 사용자는 공개된 모델을 새로운 데이터로 계속 학습하거나, 동일한 기반 위에서 개선된 학습 절차를 제안하고 시험할 수 있다. 또한 동일한 절차를 디코더에도 적용했기 때문에 특정 기법이 한 아키텍처에만 유효한지, 아니면 두 계열 모두를 강화하는지를 확인할 수 있다. 결과적으로 에틴은 성능 비교 자료이면서 후속 학습과 연구를 위한 공개 기반 모델군의 역할도 한다.

5. 인코더와 디코더의 기준 모델 대비 성능

에틴 인코더는 평가된 모든 작업과 모델 크기에서 모던버트를 능가하면서도 완전히 공개된 학습 데이터를 사용했다. 다양한 크기의 모델이 함께 제공되므로 빠른 추론이나 기기 내 실행에는 소형 모델을 선택하고, 더 높은 성능이 필요하면 10억 매개변수 인코더를 사용할 수 있다. 같은 학습 절차를 적용한 디코더도 라마 3.2와 스몰엘엠2 같은 기존 기준 모델을 능가하거나 그에 대등한 결과를 냈다. 특히 과학 지식을 평가하는 사이큐 같은 지식 집약적 과제에서 향상이 두드러졌으며, 글은 이를 고품질 데이터 혼합의 효과와 연결한다. 이 결과는 하나의 학습 절차가 인코더에만 최적화된 것이 아니라, 인코더와 디코더라는 서로 다른 패러다임에서 모두 강한 모델을 만들 수 있음을 보여준다.

6. 공정 비교에서 드러난 작업별 우위

동일한 데이터와 학습 절차를 사용한 비교에서도 인코더와 디코더의 작업별 장점은 뚜렷하게 유지됐다. 분류와 검색에서는 인코더가 우세했으며, 엠엔엘아이 분류에서 1억 5,000만 매개변수 인코더가 89.2점을 기록해 4억 매개변수 디코더의 88.2점을 앞섰다. 검색에서는 격차가 분류보다 작았지만, 디코더가 마스크 다음 토큰 예측 방식으로 학습되지 않았을 때 특히 차이가 확인됐다. 반대로 생성 작업에서는 디코더가 일관된 우위를 보였고, 모델 크기가 커질수록 양쪽의 성능 차이는 오히려 확대됐다. 또한 4억 매개변수 인코더가 분류에서 10억 매개변수 디코더를 이기고, 4억 매개변수 디코더가 생성에서 10억 매개변수 인코더를 이겼다. 이는 매개변수 수보다 과제에 맞는 주의 구조와 학습 목표가 더 중요한 경우가 있음을 실험 결과로 보여준다.

7. 반대 학습 목표로의 전환 실험

연구진은 디코더를 마스크 언어 모델링으로 계속 학습해 인코더처럼 활용하는 기존 접근의 효과를 직접 시험했다. 이를 위해 에틴 모델의 학습 목표를 서로 반대로 바꾸고 500억 토큰을 추가로 학습했다. 디코더에서 출발해 인코더 목표를 적용한 모델은 분류와 검색에서 개선 가능성을 보였지만, 전용 인코더보다 전반적으로 뒤처졌다. 인코더에서 출발해 디코더 목표를 적용한 모델은 전용 디코더보다 성능이 크게 낮았고, 특히 모델 규모가 커질수록 차이가 두드러졌다. 글은 인코더가 마스크 다음 토큰 예측이 아니라 일반적인 마스크 언어 모델링으로 처음 학습됐다는 점을 가능한 관련 요인으로 제시한다. 전체 결과는 학습 목표를 사후에 바꾸는 것만으로는 원래 아키텍처가 지닌 장점을 완전히 대체하기 어렵다는 결론을 뒷받침한다.

8. 모델 행동 분석과 실제 사용 방법

동일한 데이터로 학습된 모델 쌍은 정확도뿐 아니라 학습 목표가 모델 행동에 미치는 영향도 비교할 수 있게 한다. 위노젠더 평가에서 인코더는 60% 이상 중립 대명사를 선호한 반면, 디코더의 중립 대명사 선호는 30% 이상으로 나타났다. 두 아키텍처 모두 남성 편향을 보였지만 디코더에서 그 경향이 조금 더 강했고, 반대 학습 목표를 적용한 추가 학습도 편향 양상을 측정 가능한 방식으로 변화시켰다. 실제 사용에서는 트랜스포머스 라이브러리로 에틴 인코더를 불러와 마스크 토큰 예측, 분류, 검색, 임베딩에 활용하고, 디코더는 인과 언어 모델 클래스로 불러와 텍스트 생성에 사용할 수 있다. 글은 인코더를 문장 트랜스포머 기반 밀집 임베딩 모델로 미세조정하는 예시도 제공하며, 데이터 분할, 다중 음성 순위 손실, 평가기, 훈련기, 모델 저장까지의 절차를 보여준다.

🧾 핵심 주장 / 시사점

• 동일한 데이터와 학습 절차를 적용해도 인코더의 분류·검색 우위와 디코더의 생성 우위가 유지되므로, 관찰된 차이는 단순한 학습 데이터나 모델 크기의 차이만으로 설명되지 않는다.
• 더 큰 모델이 항상 더 작은 모델을 이기지 않았으며, 4억 매개변수의 적합한 아키텍처가 10억 매개변수의 부적합한 아키텍처를 앞선 결과는 과제에 맞는 모델 선택의 중요성을 보여준다.
• 반대 학습 목표로 500억 토큰을 추가 학습해도 전용 모델을 따라잡지 못한 결과와 성별 편향 양상의 차이는 아키텍처와 학습 목표가 성능뿐 아니라 모델 행동에도 지속적인 영향을 준다는 점을 보여준다.

✅ 액션 아이템

• 인코더와 디코더의 성능 차이를 과제군별로 세분해 분류·검색은 인코더, 생성은 디코더 기준으로 적용 범위를 정의한다.
• 1.7조 토큰 사전학습, 2,500억 토큰 문맥확장, 1,000억 토큰 감쇠학습의 세 단계를 동일 조건으로 보존해 비교 재현성을 점검한다.
• 매개변수 증가가 곧 성능 향상으로 이어지지 않는다는 점을 반영해 크기별 성능·비용 곡선을 산출해 우선 배치할 후보 모델을 정한다.

❓ 열린 질문

• 인코더의 분류·검색 우위는 도메인과 언어군별로 어디까지 유지되며 어떤 조건에서 약화되는가?
• 디코더가 라마3.2·스몰엘엠2 대비 우세 또는 대등으로 판단되는 임계 구간을 어떤 지표 조합으로 구분해야 하는가?
• 반대 학습 목표로 500억 토큰을 추가했을 때 잔존하는 성별 편향 격차는 어떤 추가 실험으로 정량화해 완화 가능성을 평가할 것인가?