The Transformers Library: standardizing model definitions

🖼️ 인포그래픽

The Transformers Library: standardizing model definitions 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

트랜스포머스는 모델 정의를 표준화해 하나의 아키텍처 구현이 학습·추론·배포·로컬 실행 도구 전반으로 빠르게 이어지는 생태계의 중심축이 되고자 한다.

📌 핵심 요약

2019년 버트 공개 직후 시작된 트랜스포머스는 자연어 처리를 넘어 오디오와 컴퓨터 비전으로 확장됐으며, 현재 300개 이상의 모델 아키텍처를 지원하고 매주 평균 약 3개를 추가하고 있다.
액솔로틀·언슬로스·딥스피드·파이토치 라이트닝 등 학습 도구뿐 아니라 브이엘엘엠·에스글랭·티지아이 같은 추론 엔진도 트랜스포머스를 모델 정의 백엔드로 활용하는 방향으로 통합되고 있다.
트랜스포머스 모델과 지지유에프 형식 간 변환, 엠엘엑스와의 세이프텐서 호환을 통해 하나의 도구에서 학습한 모델을 다른 추론 엔진이나 로컬 실행 환경으로 옮길 수 있다.
향후 모델링 코드와 핵심 API를 단순화하고 느린 토크나이저와 중복 구성 요소를 정리하며, 모듈식 모델 정의를 강화해 새 모델 기여에 필요한 코드와 파일 변경량을 크게 줄일 계획이다.
사용자는 특정 도구에 종속되지 않고 학습·추론·운영 도구 간 호환성 향상을 기대할 수 있으며, 모델 제작자는 한 번의 기여로 통합된 여러 하위 라이브러리에 모델을 제공할 수 있다.

🧩 주요 포인트

2019년 버트 공개 직후 시작된 트랜스포머스는 자연어 처리를 넘어 오디오와 컴퓨터 비전으로 확장됐으며, 현재 300개 이상의 모델 아키텍처를 지원하고 매주 평균 약 3개를 추가하고 있다.
액솔로틀·언슬로스·딥스피드·파이토치 라이트닝 등 학습 도구뿐 아니라 브이엘엘엠·에스글랭·티지아이 같은 추론 엔진도 트랜스포머스를 모델 정의 백엔드로 활용하는 방향으로 통합되고 있다.
트랜스포머스 모델과 지지유에프 형식 간 변환, 엠엘엑스와의 세이프텐서 호환을 통해 하나의 도구에서 학습한 모델을 다른 추론 엔진이나 로컬 실행 환경으로 옮길 수 있다.
향후 모델링 코드와 핵심 API를 단순화하고 느린 토크나이저와 중복 구성 요소를 정리하며, 모듈식 모델 정의를 강화해 새 모델 기여에 필요한 코드와 파일 변경량을 크게 줄일 계획이다.
사용자는 특정 도구에 종속되지 않고 학습·추론·운영 도구 간 호환성 향상을 기대할 수 있으며, 모델 제작자는 한 번의 기여로 통합된 여러 하위 라이브러리에 모델을 제공할 수 있다.

🧠 상세 정리

1. 트랜스포머스의 성장과 새로운 역할

트랜스포머스는 2019년 버트 트랜스포머 모델이 공개된 직후 만들어졌으며, 처음에는 최신 자연어 처리 아키텍처를 빠르게 지원하는 데 초점을 맞췄다. 이후 지원 범위를 오디오와 컴퓨터 비전으로 넓혔고, 글은 오늘날 이 라이브러리가 파이썬 생태계에서 대규모 언어 모델과 비전·언어 모델을 다루는 기본 라이브러리로 자리 잡았다고 설명한다. 현재 지원하는 모델 아키텍처는 300개가 넘으며 매주 평균 약 3개의 신규 아키텍처가 추가된다. 라마·큐원·지엘엠처럼 수요가 큰 모델에는 공개 당일부터 사용할 수 있는 지원을 제공하는 것도 중요한 목표였다. 이제 팀은 개별 모델을 실행하는 라이브러리를 넘어, 여러 프레임워크가 공통으로 참조하는 모델 정의의 중심축으로 트랜스포머스를 발전시키려 한다.

2. 학습과 추론 생태계를 잇는 모델 정의

트랜스포머스는 다양한 모델을 폭넓게 제공하면서 머신러닝 생태계의 핵심 구성 요소가 됐다. 액솔로틀, 언슬로스, 딥스피드, 완전 샤딩 데이터 병렬화, 파이토치 라이트닝, 티알엘, 나노트론 등 여러 학습 프레임워크가 이미 이를 통합하고 있다. 최근에는 브이엘엘엠, 에스글랭, 티지아이 같은 주요 추론 엔진이 트랜스포머스를 백엔드로 사용하도록 공동 작업도 진행하고 있다. 이 구조에서는 모델이 트랜스포머스에 추가되는 즉시 통합된 추론 엔진에서도 해당 모델을 사용할 수 있고, 각 엔진이 제공하는 추론 최적화·전용 커널·동적 배치 기능도 활용할 수 있다. 따라서 모델 구현을 도구마다 반복하는 대신 하나의 표준 정의를 여러 학습 및 추론 환경이 공유하는 것이 핵심 방향이다.

3. 추론 엔진에서의 즉각적인 활용

글은 브이엘엘엠에서 트랜스포머스 백엔드를 사용하는 간단한 예를 제시한다. 새 모델 이름을 지정하고 모델 구현 방식으로 트랜스포머스를 선택하면, 해당 모델을 브이엘엘엠의 고속·운영급 서빙 환경에서 실행할 수 있다는 설명이다. 모델 아키텍처 자체는 트랜스포머스가 제공하고, 실제 서비스 과정에서는 브이엘엘엠이 보유한 추론 최적화 기능을 활용하는 역할 분담이 이뤄진다. 이 방식은 새 모델의 지원 범위를 넓히기 위해 추론 엔진마다 동일한 모델 정의를 처음부터 별도로 작성해야 하는 부담을 줄인다. 트랜스포머스가 모델 정의의 기준점이 되면 새로운 아키텍처를 추가한 결과가 여러 통합 도구로 더 빠르게 전파될 수 있다.

4. 라마닷씨피피와 엠엘엑스 간 호환성

트랜스포머스 팀은 라마닷씨피피와 엠엘엑스의 모델 구현이 원활하게 오갈 수 있도록 양측 프로젝트와 긴밀히 협력하고 있다. 공동체의 기여를 통해 지지유에프 파일을 트랜스포머스에 불러와 추가 미세조정하기가 쉬워졌고, 반대로 트랜스포머스 모델을 지지유에프 파일로 변환해 라마닷씨피피에서 사용할 수도 있다. 엠엘엑스에서는 트랜스포머스의 세이프텐서 파일을 모델에서 직접 호환해 사용할 수 있다. 이에 따라 언슬로스로 학습하고 에스글랭으로 배포한 뒤 라마닷씨피피용으로 내보내 로컬에서 실행하는 식의 도구 간 이동이 가능해진다. 다만 댓글에서 저자가 명확히 했듯 라마닷씨피피는 별도의 백엔드와 자체 구현을 유지하므로 자동적인 공개 당일 지원이 보장되는 것은 아니며, 호환성 향상과 직접 협업을 통해 지원까지 걸리는 시간을 줄이는 것이 목표다.

5. 모델 기여 절차의 단순화

트랜스포머스를 모델 정의의 참조점으로 쓰기 쉽게 만들기 위해 팀은 공동체가 새 모델을 기여할 때 마주하는 장벽을 더 낮추려 한다. 우선 각 모델의 모델링 코드를 단순화하고, 키·값 캐시와 다양한 어텐션 함수, 커널 최적화 같은 핵심 구성 요소에는 명확하고 간결한 API를 제공할 계획이다. 또한 중복된 구성 요소를 폐기해 같은 기능을 사용하는 방식을 하나로 정리하고, 느린 토크나이저 대신 효율적인 토큰화 방식을, 기존 비전 처리 방식 대신 빠른 벡터화 비전 프로세서를 장려한다. 모듈식 모델 정의도 계속 강화해 새로운 모델이 기존 구성 요소를 재사용하고 최소한의 코드 변경만으로 추가되도록 할 방침이다. 팀은 신규 모델 하나를 위해 6천 줄의 코드를 작성하고 20개 파일을 수정하던 대규모 기여 방식은 과거의 일이 되어야 한다고 강조한다.

6. 사용자와 모델 제작자에게 미치는 영향

모델 사용자는 앞으로 학습·추론·운영에 사용하는 도구들이 더 원활하게 함께 작동하는 환경을 기대할 수 있다. 이는 실험을 반드시 트랜스포머스 안에서만 수행하도록 사용자를 묶어 두겠다는 뜻이 아니라, 표준화된 모델 정의를 통해 서로 다른 도구의 효율적인 연계를 지원하겠다는 의미다. 모델 제작자는 트랜스포머스에 한 번 모델을 기여하면 그 구현을 통합한 여러 하위 라이브러리에서도 모델을 제공할 수 있어, 출시 때마다 중요한 라이브러리에 개별적으로 대응하는 시간과 부담을 줄일 수 있다. 팀은 공동체가 함께 모델 구현을 표준화하면 라이브러리별 분산과 파편화 위험을 완화하고 전반적인 기여 장벽도 낮출 수 있다고 본다. 마지막으로 이러한 방향과 필요한 변경 사항에 관한 의견을 허브의 트랜스포머스 공동체 지원 공간에서 공유해 달라고 요청한다.

🧾 핵심 주장 / 시사점

트랜스포머스가 지향하는 표준화의 핵심은 모든 기능을 한 라이브러리에 가두는 것이 아니라, 공통 모델 정의와 각 도구의 학습·추론·서빙 강점을 결합하는 데 있다.
신규 모델 기여 코드를 모듈화하고 중복 API를 정리하면 모델 제작자의 통합 비용뿐 아니라 하위 학습·추론 도구가 새 아키텍처를 지원하는 데 필요한 반복 작업도 줄어든다.
호환성 수준은 도구마다 다르므로 트랜스포머스 백엔드를 직접 채택한 추론 엔진의 빠른 지원과, 자체 구현을 유지하는 라마닷씨피피의 파일 변환·협업 기반 지원을 구분해 이해해야 한다.

✅ 액션 아이템

트랜스포머스가 2019년 BERT 공개 후 자연어를 넘어 오디오·비전으로 확장한 뒤 300개 이상 아키텍처와 주당 3개 추가 흐름을 기준으로 성장 정착도를 추적한다.
액솔로틀·언슬로스·딥스피드·파이토치 라이트닝, 브이엘엘엠·에스글랭·티지아이의 통합 범위를 점검해 학습과 추론 도구 간 종속 완화 효과를 확인한다.
트랜스포머스 모델-지지유에프 변환과 엠엘엑스 세이프텐서 호환으로 학습 모델을 추론 엔진·로컬 실행으로 이행하는지를 점검하고 기여 비용 절감 여지를 확인한다.