Jalapeño’s first results show industry-leading speed and efficiency in AI inference

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

OpenAI는 첫 자체 추론 칩 Jalapeño가 공개 모델 3종에서 비교 시스템보다 전력당 처리량과 응답 지연을 함께 개선했으며, 연말까지 내부 인프라에 배포를 시작할 계획이라고 밝혔다.

📌 핵심 요약

• Jalapeño는 GPT‑OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T에서 최대 처리량 기준 전력당 성능이 비교 시스템의 1.5~1.9배였고, 종단 간 지연 시간은 비교 시스템 대비 약 1/1.7~1/3.6 수준이었다.
• 평가는 SemiAnalysis의 공개 벤치마크 InferenceX를 사용했으며, 각 가속기의 공시 칩 전력으로 결과를 정규화했다. Jalapeño의 정격 전력은 700와트이고, 시험 중 측정된 지속 전력은 550와트 이하였다.
• Jalapeño는 칩·메모리·네트워크·소프트웨어·랙 규모 시스템을 함께 설계하고, KV 캐시 등 모델 상태의 지역성을 유지해 프리필과 디코드의 서로 다른 병목에 대응한다.
• AI를 활용해 초기 설계부터 테이프아웃까지 9개월에 진행했으며, Codex와 GPT‑Astra로 당초 생산 계획에 없던 공개 가중치 모델 3종을 2개월 안에 높은 성능으로 구동했다. 일부 GPT‑OSS 블록의 AI 생성 구현은 인간 전문가 구현보다 1.5~1.8배 빨랐으며, 이는 전체 모델 성능 수치가 아니다.
• OpenAI는 연말까지 Jalapeño 배포를 시작할 계획이며, 2세대는 개발이 상당히 진행됐고 3세대는 구체화 중이다. 생산 적격성 검증, 소프트웨어 성숙도 개선, 대규모 운영 준비와 추가 모델 검증을 진행하면서 NVIDIA 등 파트너 가속기도 계속 도입할 예정이다.

🧩 주요 포인트

1. 전력당 처리량과 지연 시간의 동시 개선 → 순차 작업이 많은 에이전트의 응답성과 동일 전력에서의 수요 처리 능력을 함께 높일 가능성.
2. 공시 칩 전력에 따른 정규화와 공개 모델 3종의 비교 → 결과를 해석할 때 전력 산정 기준과 시험한 모델·운영 범위를 함께 고려할 필요.
3. 통합 시스템 설계와 AI 기반 구현 최적화 → 하드웨어 효율과 새 모델 지원 속도를 함께 개선했지만, 모델군별 커널 개발과 최적화는 여전히 필요.

🧠 상세 정리

1. 첫 자체 추론 칩의 성능 결과

OpenAI는 첫 자체 추론 칩 Jalapeño와 이를 중심으로 구성한 시스템을 시험한 결과, 단위 전력으로 처리하는 AI 작업량을 늘리면서 응답 시간도 단축했다고 밝혔다. 기존 하드웨어 시스템이 처리량과 지연 시간 사이에서 절충하는 경우가 많은 반면, Jalapeño는 하나의 아키텍처로 두 지표를 함께 개선했다는 설명이다. GPT‑OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T에서 최대 처리량 기준 전력당 성능은 비교 시스템의 1.5~1.9배였으며, 종단 간 지연 시간은 약 1/1.7~1/3.6 수준이었다. 상호작용성이 높은 작업에서는 2.1~4.1배의 성능을 보고했다. OpenAI는 이러한 개선이 더 빠른 응답과 에이전트의 반응성 향상, 수요 증가에 따른 접근성 확보로 이어질 수 있다고 설명했다.

2. 사용자 경험과 전력을 맞춘 평가 방식

평가는 고객과 대화형 에이전트가 요구하는 지연 시간을 충족하면서 단위 전력당 얼마나 많은 유용한 AI 작업을 완료하는지에 초점을 맞췄다. 여러 단계를 순차적으로 수행하는 에이전트에서는 개별 지연이 전체 작업에 누적될 수 있으므로, 처리량뿐 아니라 응답 시간도 함께 살폈다. 사용한 도구는 AI 요청 처리 전 과정을 측정하는 SemiAnalysis의 공개 벤치마크 InferenceX이며, 높은 처리량을 목표로 하는 운영부터 지연 시간이 짧은 대화형 운영까지 비교했다. 결과는 각 가속기의 공시 칩 전력으로 정규화했고, Jalapeño에는 시험에서 측정된 지속 전력 550와트 이하가 아니라 정격 전력 700와트를 적용했다. OpenAI는 시험한 공개 모델 3종의 운영 범위에서 Jalapeño가 전력당 성능과 지연 시간의 조합상 파레토 경계에 위치한다고 보고했다.

3. 프리필과 디코드를 함께 지원하는 구조

Jalapeño는 현대 및 미래 언어 모델, 특히 대화형 에이전트의 추론을 주된 작업으로 삼아 칩부터 랙 규모 시스템까지 함께 설계했다. 프롬프트를 처리하는 프리필은 연산 집약적이고, 토큰을 순차 생성하는 디코드는 메모리 대역폭의 제약을 더 크게 받으며, 코어와 칩 사이의 통신도 대기 시간을 발생시킬 수 있다. 이에 따라 응답 생성에 쓰는 KV 캐시를 포함한 모델 상태를 명시적으로 배치하고 가까운 곳에 유지하면서 각 추론 단계에 필요한 연산·메모리·네트워크 조합을 활용하도록 했다. 네트워크 역시 아키텍처의 일부로 설계해 전체 작업을 하나의 연결된 시스템 안에 유지하고 데이터 이동과 통신 지연을 줄이도록 했다. 원문은 이러한 구조가 프리필과 디코드 모두를 지원하고, 에이전트 작업에서 두 단계의 비중이 달라지거나 모델 아키텍처가 바뀌는 상황에도 대응하도록 설계됐다고 설명한다.

4. AI를 활용한 칩 설계와 프로그래밍 구조

AI는 Jalapeño 개발 과정에 직접 참여했으며, 팀은 초기 설계부터 테이프아웃까지 9개월에 진행했다고 밝혔다. 구체적으로 구현 대안을 탐색하고 설계·측정·검증의 반복 주기를 단축했으며, 모델 작업을 바탕으로 지속적으로 개선하는 데 AI를 활용했다. 산술 회로 최적화에도 AI가 기여해 일정 안에서 칩에 더 많은 연산 성능을 담을 수 있었다는 설명이다. 프로그래밍 측면에서는 인간과 AI 모두가 다루기 쉽도록 지역 텐서, 명시적인 통신, 예측 가능한 동기화를 통해 작업을 기술하게 했다. AI는 이 구조를 바탕으로 작업의 매핑·배치·스케줄링과 시스템 전반의 조정을 최적화하며, OpenAI는 이러한 명확성과 예측 가능성이 병렬 프로그래밍 문제를 AI가 다루는 데 도움이 된다고 설명했다.

5. 새 모델 지원과 블록 최적화의 성과 및 한계

Jalapeño에서도 새로운 모델군을 지원하려면 새로운 커널과 모델별 최적화가 필요하다는 점을 원문은 명시한다. 팀은 Codex와 GPT‑Astra를 활용해 원래 생산 계획에 포함되지 않았던 공개 가중치 모델 3종을 2개월 안에 높은 성능으로 구동했다. OpenAI는 이를 아키텍처의 유연성과 AI를 활용한 프로그래밍 속도를 보여주는 결과로 제시했다. 선택된 GPT‑OSS 어텐션 및 전문가 혼합 블록에서는 AI가 생성한 구현이 기존 인간 전문가 구현보다 1.5~1.8배 빨랐지만, 이 수치는 전체 모델이 아닌 해당 블록에만 적용된다. 별도의 내부 시험에서는 최첨단 OpenAI 모델에서 Jalapeño의 우위가 더 커졌다고 밝혔으며, 원문은 이를 작업이 커지고 요구 수준이 높아질수록 아키텍처의 가치가 커질 가능성을 시사하는 결과로 설명했다.

6. 추론 효율 개선의 제품 및 경제적 의미

원문은 AI 인프라의 가치를 실제로 수행할 수 있는 유용한 작업에서 찾으며, 같은 전력과 하드웨어로 더 많은 작업을 처리하는 것이 수요 대응과 성공적인 결과의 제공 비용 절감에 도움이 될 수 있다고 설명한다. OpenAI는 유용한 작업량과 매출이 서비스 제공 비용보다 빠르게 증가할 수 있다면 운영 효율이 개선되고, 보급 확대와 모델·제품·인프라에 대한 지속적인 투자에도 기여할 수 있다고 제시했다. 더 빠른 추론은 반복 작업의 속도를 높이고 새로운 활용 사례를 가능하게 할 수 있다는 설명도 포함된다. 운영 모드별로는 기존 고속 모드 수준의 효율을 초고속 모드에서, 기존 일괄 처리 모드 수준의 효율을 고속 모드에서 제공하고, 일괄 처리 모드 자체의 효율도 높인다고 밝혔다. 이러한 내용은 성능 개선이 가져올 수 있는 효과에 대한 설명이며, 실제 비용 절감액이나 매출 증가 규모는 제시하지 않았다.

7. 배포 준비와 후속 세대 개발

OpenAI는 연말까지 자체 컴퓨팅 인프라 안에서 Jalapeño 배포를 시작할 계획이라고 밝혔다. Jalapeño는 여러 세대에 걸친 플랫폼의 첫 세대이며, 2세대는 개발이 상당히 진행됐고 3세대는 구체화되는 단계라고 설명했다. 배포를 준비하면서 생산 적격성 검증을 계속하고, 소프트웨어를 성숙시키며, 대규모 운영 준비와 더 많은 모델에 대한 성능 검증을 진행하고 있다. 동시에 증가하는 AI 수요를 충족하려면 여러 공급원의 연산 자원이 필요하다며 NVIDIA와 다른 파트너의 가속기를 학습 및 추론 작업에 계속 폭넓게 도입하겠다고 밝혔다. 원문은 모델·제품·서빙 소프트웨어·칩·메모리·네트워크·시스템을 함께 설계하고 실제 작업에서 얻은 교훈을 다음 세대에 반영하는 것이 속도와 효율을 지속적으로 높이는 기반이라고 설명한다.

8. 부록의 모델별 비교 수치와 적용 조건

부록은 명목상 8k/1k 및 STP 조건을 제시하고, GPT‑OSS 120B는 GB200과, DeepSeek R1 및 Kimi K2.5의 MXFP4 시험은 GB300과 비교하며, 전력 정규화에는 각각 Jalapeño 700와트, GB200 1,200와트, GB300 1,400와트를 사용한다. GPT‑OSS의 최대 혼합 토큰 처리량은 킬로와트당 85,448 대 44,960으로 약 1.9배였고, 종단 간 지연은 1.03초 대 1.80초, 최소 토큰 간 시간은 0.69밀리초 대 1.87밀리초였다. DeepSeek R1은 같은 처리량 지표에서 19,641 대 11,781로 약 1.7배였으며, 종단 간 지연은 1.65초 대 5.99초, 최소 토큰 간 시간은 1.43밀리초 대 5.90밀리초였다. Kimi K2.5는 18,195 대 11,862로 약 1.5배였고, 종단 간 지연은 1.56초 대 5.31초, 최소 토큰 간 시간은 1.44밀리초 대 5.48밀리초였다. 비교 시스템의 기존 토큰 간 시간에 맞춘 처리량 우위는 모델 순서대로 약 53.7배, 104.3배, 56.1배로 제시되며, 이는 최대 처리량 비교와 구분되는 특정 지연 조건의 결과다.

🧾 핵심 주장 / 시사점

• 여러 단계를 순차 실행하는 에이전트에서는 지연이 누적되므로, 전력당 처리량과 응답 속도를 함께 개선한 결과가 작업 전체의 효율을 판단하는 핵심이다.
• 공시 칩 전력으로 정규화한 성능과 실제 시험에서 측정된 지속 전력은 서로 다른 지표이므로, 700와트 기준의 비교 결과와 550와트 이하라는 측정값을 구분해 해석해야 한다.
• AI의 기여는 칩 설계와 소프트웨어 최적화 양쪽에서 나타났지만, 선택된 블록의 1.5~1.8배 개선을 전체 모델의 성능 향상으로 확대 해석할 수는 없다.

✅ 액션 아이템

• Jalapeño의 성능 비교에서 공시 칩 전력에 따른 정규화와 시험한 모델·운영 범위를 함께 검토.
• AI 생성 구현의 1.5~1.8배 성능 향상은 일부 GPT‑OSS 블록의 결과로 한정해 해석.
• 연말까지 Jalapeño 배포를 시작한다는 계획과 생산 적격성 검증·추가 모델 검증의 진행 상황 확인.

❓ 열린 질문

• 공개 모델 3종에서 확인한 Jalapeño의 성능 우위는 추가 모델 검증에서도 유지되는가?
• 모델군별 커널 개발과 최적화가 계속 필요한 상황에서, Codex와 GPT‑Astra의 2개월 성과는 다른 모델군에서도 재현되는가?
• 연말까지 Jalapeño 배포를 시작하기 위해 진행 중인 생산 적격성 검증과 대규모 운영 준비는 어느 단계에 있는가?