Deploy frontier AI models on AWS Trainium with SGLang-Neuron
Quick Summary
Amazon은 기존 SGLang 인터페이스로 AWS Trainium에서 모델 서빙과 강화학습(RL) 롤아웃 생성을 지원하는 SGLang Neuron을 공개했다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
Amazon은 기존 SGLang 인터페이스로 AWS Trainium에서 모델 서빙과 강화학습(RL) 롤아웃 생성을 지원하는 SGLang-Neuron을 공개했다.
📌 핵심 요약
- SGLang-Neuron은 RadixArk가 Annapurna Labs와 협력해 출시했으며 AWS Deep Learning Container로 이용할 수 있다. 원문은 AWS Trainium이 대규모 AI 학습과 추론에서 높은 경제성을 제공한다고 설명한다.
- SGLang-Neuron은 외부 플러그인 방식으로 Trainium을 연결한다. SGLang 코어는 API 서버, 요청 수명주기, RadixAttention과 접두사 캐시 관리를 담당하고, 플러그인은 Trainium 전용 모델·어텐션·MoE·그래프 실행을 구현한다.
- TorchNeuron은 Trainium을 네이티브 PyTorch 장치로 등록한다. SGLang-Neuron은 표준 PyTorch 연산과 Neuron Kernel Interface(NKI) 커널을 사용하며, torch.compile로 실행 프로그램을 컴파일한다.
- PD disaggregation도 지원한다. 프리필 서버가 프롬프트의 KV 캐시를 계산해 NIXL과 Elastic Fabric Adapter(EFA)를 통해 디코드 서버로 전송하면, 디코드 서버가 나머지 토큰을 생성한다.
- 실행 예시는 Trainium3 Amazon EC2 인스턴스에서 컨테이너로 openai/gpt-oss-120b를 서빙한다. 텐서 병렬화와 전문가 병렬화 크기는 각각 8, KV 캐시 형식은 fp8_e4m3, 컨텍스트 길이는 10240이며, 지원 모델·기능·검증된 구성은 프로젝트 문서에서 확인하도록 안내한다.
🧩 주요 포인트
- 서버 인터페이스와 생성 API 유지 → 기존 SGLang 사용 흐름으로 AWS Trainium에서 모델 서빙과 RL 롤아웃 생성 가능.
- SGLang 코어와 Trainium 전용 구현 분리 → 양측이 독립적으로 개발되고 더 빠르게 개선될 수 있는 구조.
- 구체적인 Trainium3 실행 예시 제공 → 초기 실행 경로는 제시되지만, 실제 적용 범위는 지원 모델과 검증된 구성 확인이 필요.
🧠 상세 정리
1. SGLang-Neuron 공개와 기존 사용 흐름의 유지
Amazon은 RadixArk가 Annapurna Labs와 협력해 출시한 SGLang-Neuron을 공개했으며, AWS Deep Learning Container를 통해 이용할 수 있다고 밝혔다. 이를 사용하면 AWS Trainium에서 기존 SGLang 인터페이스로 모델을 서빙하고 강화학습(RL) 롤아웃을 생성할 수 있다. 모델은 익숙한 SGLang 서버 인터페이스로 실행하며, 엔드포인트 호출에도 동일한 생성 API를 사용한다. 원문은 Trainium을 대규모 AI 학습과 추론에서 높은 경제성을 제공하는 AWS AI 칩 제품군으로 소개하고, 그 위에 기존 SGLang 사용 흐름을 연결한다는 점을 강조한다.
2. 외부 플러그인을 통한 코어와 하드웨어 구현의 분리
SGLang-Neuron은 SGLang 코어 외부에서 개발되는 플러그인으로, SGLang과 AWS Trainium을 연결한다. 설치 시 SGLang의 플러그인 진입점을 통해 neuron 플랫폼을 등록하고, 서버 시작 시 SGLANG_PLATFORM=neuron을 설정하면 해당 플랫폼이 선택된다. SGLang 코어는 API 서버, 요청 수명주기, RadixAttention과 접두사 캐시 관리 역할을 계속 담당한다. 플러그인은 Trainium 전용 모델, 어텐션, 전문가 혼합(MoE), 그래프 실행기를 구현한다. 원문은 이러한 분리 구조 덕분에 Trainium 지원과 SGLang 코어가 독립적으로 개발되고 더 빠르게 개선될 수 있다고 설명한다.
3. 네이티브 PyTorch와 NKI 커널을 활용한 실행
실행 기반에서는 TorchNeuron이 Trainium을 네이티브 PyTorch 장치로 등록한다. SGLang-Neuron은 모델 실행 경로에 표준 PyTorch 연산을 사용하며, 성능을 위해 Neuron Kernel Interface(NKI)로 작성된 커널을 함께 활용한다. 이러한 연산과 커널은 torch.compile을 통해 실행 가능한 프로그램으로 컴파일된다. 그래프 실행기는 서빙 과정에서 해당 프로그램을 준비하고 실행한다. 따라서 사용자가 접하는 SGLang 인터페이스 아래에서는 네이티브 PyTorch와 Trainium 전용 실행 경로가 결합되며, 하드웨어별 구현은 플러그인이 담당하는 구조다.
4. 프리필과 디코드 분리 및 KV 캐시 전송
SGLang-Neuron은 프리필과 디코드 단계를 서로 다른 서버로 나누는 PD disaggregation을 지원한다. 이 구성에서 프리필 서버는 입력 프롬프트의 KV 캐시를 계산한 뒤, NIXL을 사용해 Elastic Fabric Adapter(EFA)를 통해 디코드 서버로 전송한다. 디코드 서버는 전달받은 캐시를 바탕으로 나머지 토큰을 생성한다. 각 서버는 계속 SGLang의 스케줄러와 요청 수명주기를 사용하고, 플러그인은 Trainium 실행과 KV 캐시 전송 경로를 관리한다. 원문은 이처럼 단계별 역할과 전송 방식을 설명하지만, 해당 구성의 처리량이나 지연시간에 관한 정량적 결과는 제시하지 않는다.
5. Trainium3에서의 실행 예시와 문서 확인
실습은 Trainium3 Amazon EC2 인스턴스에서 시작하며, 본문은 pytorch-inference-sglang-neuronx 컨테이너를 안내하고 실행 명령에는 public.ecr.aws/neuron/pytorch-inference-sglang-neuron:v0.1.0-neuron-py314-sdk-2.33.0-ubuntu26.04 이미지를 제시한다. 컨테이너 안에서 SGLANG_PLATFORM=neuron으로 openai/gpt-oss-120b 서버를 실행하며, 텐서 병렬화와 전문가 병렬화 크기는 각각 8로 지정한다. KV 캐시 형식은 fp8_e4m3, 컨텍스트 길이는 10240, 청크 단위 프리필 크기는 8192로 설정한다. 최대 동시 실행 요청은 64, 최대 총 토큰은 655360, mem-fraction-static은 0.8이며 서버 주소는 127.0.0.1:30000이다. 이어 /v1/chat/completions에 하늘이 파랗게 보이는 이유를 묻는 요청을 보내며 temperature는 0, max_tokens는 128로 지정한다. 원문은 추가 설치 절차는 시작 가이드에서, 지원 모델·기능·검증된 구성은 저장소 문서에서 확인하도록 안내한다. 마지막으로 지원 모델을 실제 워크로드에 적용하고 저장소 기여와 피드백을 통해 향후 모델·기능 지원에 참여할 것을 권한다.
🧾 핵심 주장 / 시사점
- 기존 SGLang 인터페이스를 유지하면서 Trainium 전용 구현을 플러그인으로 분리한 점은 사용 흐름의 연속성과 하드웨어 지원의 독립적 개발을 함께 겨냥한다.
- 네이티브 PyTorch 연산과 NKI 커널을 함께 사용하는 구조이므로, 표준 연산 경로와 Trainium 성능을 위한 전용 커널이 결합된다.
- 원문은 Trainium의 경제성을 강조하지만 비용이나 성능의 정량 비교는 제시하지 않는다. 실행 예시와 지원 범위를 구분해 실제 워크로드에 대한 적합성을 판단할 필요가 있다.
✅ 액션 아이템
- 기존 SGLang 인터페이스를 활용한 AWS Trainium 모델 서빙과 RL 롤아웃 생성의 적용 가능성 검토.
- Trainium3에서 openai/gpt-oss-120b를 실행하기 위한 지원 모델·검증된 구성과 제시된 병렬화·KV 캐시 설정 확인.
- PD disaggregation의 NIXL·EFA 기반 KV 캐시 전송 구성이 적용 대상 워크로드에 적합한지 검토.
❓ 열린 질문
- AWS Trainium의 대규모 AI 학습·추론 경제성은 적용 대상 워크로드에서 어느 정도인가?
- openai/gpt-oss-120b 외에 SGLang-Neuron이 지원하는 모델과 검증된 구성은 무엇인가?
- PD disaggregation의 NIXL·EFA 기반 KV 캐시 전송은 적용 대상 워크로드에 어떤 영향을 주는가?