Lambda Boosts AI Factory Resiliency and Efficiency With NVIDIA Photonics
Quick Summary
Lambda는 1만 개가 넘는 GPU를 연결하는 NVIDIA Photonics CPO 스위치로 AI 팩토리의 전력 효율과 복원력을 높이고 평균 중단 간격(MTBI)을 늘린다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
Lambda는 1만 개가 넘는 GPU를 연결하는 NVIDIA Photonics CPO 스위치로 AI 팩토리의 전력 효율과 복원력을 높이고 평균 중단 간격(MTBI)을 늘린다.
📌 핵심 요약
- Lambda는 NVIDIA Photonics 공동 패키징 광학(CPO) 스위치를 사용해 1만 개가 넘는 GPU를 갖춘 NVIDIA GB300 NVL72 랙들을 연결한다.
- Lambda 테스트에서 네트워크 지연 시간은 랙 규모에서 약 4%, 포드 규모에서 최대 약 10% 감소했다. 랙·확장 단위·포드 구성의 처리량은 기존 플러거블 광학 장치와 동일하게 유지됐다.
- NVIDIA는 기존 플러거블 광학 장치 대비 최대 5배의 전력 효율과 최대 15배의 신뢰성을 제시한다. 레이저 수는 4분의 1로 줄어 고장 가능한 부품도 감소한다.
- Lambda가 사용하는 스위치는 각각 800Gb/s로 동작하는 포트 144개를 갖추고 액체 냉각을 적용한다. Lambda가 보고한 광학 장치 온도 중앙값은 36°C로, 기존 플러거블 광학 장치의 51°C보다 낮았으며 테스트에서 신호 무결성도 더 안정적이었다.
- 각 스위치에는 현장에서 교체할 수 있는 외부 광원 18개가 있다. 광학 엔진을 스위치 칩과 같은 패키지에 배치해 전기 신호 경로를 인치 단위에서 밀리미터 단위로 줄이고, 리타이머 칩을 제거해 신호 손실·전력 소비·부품 수를 줄인다.
🧩 주요 포인트
- 대규모 GPU 연결과 MTBI 개선 → 네트워크 복원력을 AI 팩토리의 생산성 조건으로 다룬다.
- 처리량 유지와 지연 시간 감소 → CPO의 성능 효과는 랙과 포드 등 구성 규모에 따라 구분해 해석해야 한다.
- 광학 엔진 통합·액체 냉각·외부 광원 교체 → 전력 효율, 신호 안정성, 유지보수성을 함께 개선하는 구조다.
🧠 상세 정리
1. 대규모 AI 클러스터를 연결하는 CPO 도입
AI 모델을 학습하려면 수천 개의 GPU가 함께 작동해야 하므로 빠르고 효율적이며 복원력 있는 네트워크가 필요하다. Lambda는 이 연결 문제에 대응하기 위해 NVIDIA Photonics 공동 패키징 광학(CPO) 스위치를 사용해 1만 개가 넘는 GPU를 갖춘 NVIDIA GB300 NVL72 랙들을 연결한다. 원문은 이 구성이 대규모 AI 팩토리에서 전력 소비를 낮추고 복원력과 평균 중단 간격(MTBI)을 높인다고 설명한다. Lambda 클라우드 서비스 부문 사장 Dave Ward는 네트워크가 커지는 AI 클러스터의 요구를 따라가야 하며, 이 규모의 CPO 배치가 차세대 AI 인프라 구축을 위한 중요한 단계라고 밝혔다.
2. 지연 시간 감소와 처리량 유지
Lambda의 테스트에서 NVIDIA Photonics 스위치를 사용한 네트워크는 데이터를 이동하는 데 걸리는 시간이 줄었다. 지연 시간 감소 폭은 랙 규모에서 약 4%였으며, 포드 규모에서는 최대 약 10%로 나타나 구성 규모에 따른 차이를 보였다. 랙, 확장 단위, 포드 구성 모두에서 처리량은 기존 플러거블 광학 장치를 사용한 경우와 동일하게 유지됐다. 따라서 원문이 제시하는 성능상의 변화는 처리량 증가보다는 동일한 처리량을 유지하면서 지연 시간을 줄였다는 데 있으며, 수치는 Lambda의 테스트 결과로 제시된다.
3. 전력 효율과 복원력이 중요한 이유
원문은 네트워크가 AI 팩토리 생산성의 중심에 있기 때문에 전력 효율과 복원력이 중요하다고 설명한다. 대규모 학습에서는 링크 하나의 중단이 수천 개 GPU의 작업을 멈추게 할 수 있고, 에이전트형 추론에서는 네트워크 장애가 여러 에이전트에 연쇄적인 지연을 일으킬 수 있다. 또한 네트워크에 쓰는 전력은 그만큼 연산에 사용할 수 없으므로 중단 시간과 전력 소비가 모두 생산성에 영향을 준다. NVIDIA는 플러거블 트랜시버를 스위치 패키지의 광학 엔진으로 대체해 기존 방식 대비 최대 5배의 전력 효율과 최대 15배의 신뢰성을 제공한다고 설명한다. 레이저 수도 4분의 1로 줄여 고장 가능한 구성 요소를 줄인다는 것이 원문의 주장이다.
4. 액체 냉각과 광학 장치의 온도
Lambda의 배치에 사용되는 NVIDIA Photonics 스위치는 각각 800Gb/s로 동작하는 포트 144개를 갖춘다. 액체 냉각은 스위치 칩과 광학 엔진에서 발생하는 열을 제거하며, Lambda가 보고한 광학 장치 온도 중앙값은 기존 플러거블 광학 장치의 51°C와 비교해 낮은 36°C였다. Lambda의 테스트에서는 신호 무결성도 더 안정적으로 나타났다고 한다. 원문은 이러한 냉각 구성과 관측 결과를 복원력을 높이는 설명의 일부로 제시하지만, 온도 차이가 신뢰성이나 평균 중단 간격을 얼마나 바꾸는지에 대한 별도의 정량 수치는 제시하지 않는다.
5. 교체 가능한 광원과 짧아진 전기 신호 경로
NVIDIA Photonics는 전기 신호를 광신호로 바꾸는 지점을 스위치 칩 가까이 배치하며, 광학 엔진은 칩과 같은 패키지에서 광섬유로 데이터를 전달할 빛을 만든다. 각 스위치에는 광학 엔진에 빛을 공급하는 탈착식 외부 광원 18개가 있으며, 기술자는 이 광원 모듈을 현장에서 교체할 수 있다. 이는 레이저 고장 시 모듈 전체를 교체해야 하는 기존 플러거블 광학 장치와 대비된다. 공동 패키징은 전기 신호 경로를 인치 단위에서 밀리미터 단위로 단축해 신호 손실을 줄인다. 또한 리타이머 칩이 필요 없어져 전력 소비와 신호 경로의 부품 수를 함께 줄인다.
🧾 핵심 주장 / 시사점
- 처리량이 동일하게 유지됐다는 점을 고려하면, Lambda 테스트의 성능상 의미는 랙·포드 규모의 지연 시간 감소에 있다.
- 최대 5배의 전력 효율과 최대 15배의 신뢰성은 NVIDIA가 제시한 수치이며, Lambda의 지연 시간·온도·신호 무결성 테스트 결과와 구분해 해석할 필요가 있다.
- CPO의 이점은 광학 엔진 통합 하나에만 있지 않다. 짧아진 전기 신호 경로, 줄어든 레이저와 리타이머 칩, 액체 냉각, 교체 가능한 외부 광원이 전력 소비와 복원력에 함께 관여한다.
✅ 액션 아이템
- Lambda의 랙 규모 약 4%·포드 규모 최대 약 10% 지연 시간 감소를 처리량 유지 결과와 함께 검토.
- NVIDIA가 제시한 최대 5배의 전력 효율과 최대 15배의 신뢰성이 적용되는 조건 및 MTBI 개선 수준 확인.
- NVIDIA Photonics의 외부 광원 18개 교체 구조와 리타이머 칩 제거가 유지보수성과 전력 소비에 주는 영향 평가.
❓ 열린 질문
- Lambda의 랙 규모 약 4%와 포드 규모 최대 약 10% 지연 시간 감소는 각각 어떤 테스트 조건에서 측정됐는가?
- NVIDIA가 제시한 최대 5배의 전력 효율과 최대 15배의 신뢰성은 어떤 조건을 기준으로 산출됐으며, Lambda의 MTBI 개선 폭은 얼마인가?
- NVIDIA Photonics의 외부 광원 18개를 현장에서 교체할 때 네트워크 중단에는 어떤 영향이 있는가?