8 RTX Pro 6000''s Wasn''t What I Expected

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

RTX Pro 6000 8장의 진짜 가치는 단일 응답의 압도적 속도보다 대형 모델과 여러 코딩 에이전트를 함께 돌리는 데 있었으며, PCIe 통신·전력·소프트웨어 제약이 기대와 실제 성능을 갈랐다.

📌 핵심 요점

1. Camino Grando는 RTX Pro 6000 Blackwell Server Edition 8장과 총 768GB VRAM을 수랭식 4U 섀시에 담았다. 대형 모델을 클라우드 없이 실행할 수 있지만, 모델 적재 후 문맥과 동시 세션에 쓸 메모리까지 고려해야 한다.
2. 단일 사용자 생성 속도는 모델에 따라 약 48~126토큰/초였다. GPU를 8장 사용한다고 단일 응답이 비례해 빨라지지는 않았으며, 별도 비교에서는 PCIe 통신 비용 때문에 8장 구성이 4장보다 느렸다.
3. 긴 입력 처리와 동시 에이전트 실행에서 활용 가치가 드러났다. 가장 빠른 모델은 12만 8천 토큰 입력에서 첫 토큰까지 약 14.5초가 걸렸고, 동시 사용자 8명 조건에서는 사용자당 약 82토큰/초를 기록했다.
4. 비교한 생성 성능은 GPU당 전력 제한을 300W에서 600W로 올려도 거의 달라지지 않았다. 발표자는 메모리 대역폭과 PCIe 통신을 병목으로 해석했으며, 높은 전력 설정에서는 장시간 실행 중 중단도 경험했다.
5. 도입 대상은 높은 사용률을 확보할 수 있는 개발팀에 가깝다. GPU 가격만 발표 당시 약 12만 달러이며, 소음·전원 회로·유휴 전력·모델별 실행 환경 조정까지 운영 부담에 포함된다.

🧩 배경과 문제 정의

영상은 기존 RTX Pro 6000 4장 시스템에서 8장 시스템으로 확장했을 때 무엇이 실제로 좋아지는지 살펴본다. 발표자는 로컬 LLM 사용이 한 사람이 한 모델과 대화하는 형태에서 여러 코딩 에이전트가 큰 문맥을 동시에 보내는 형태로 바뀌었다고 설명한다.

따라서 핵심 질문은 모델이 메모리에 들어가는지뿐 아니라, 긴 입력을 얼마나 빨리 처리하고 여러 사용자가 어느 정도의 응답성을 나눠 가질 수 있는지다. 제조사에서 빌린 Camino Grando를 대상으로 하드웨어 구성, 전력과 소음, 단일·동시 사용자 성능, 운영상의 제약을 검토한다. 아래 수치는 제공 전사의 발표 내용이며, 서로 충돌하는 수치는 확정 사양으로 보정하지 않았다.

🕒 시간순 섹션별 상세정리

1. GPU 8장으로 바뀐 기대와 평가 질문

• 기존 4장 시스템에 이어 RTX Pro 6000 8장과 총 768GB VRAM을 갖춘 Camino Grando를 보여준다. 조밀한 배치를 가능하게 하는 핵심은 수랭 구조다. [00:37]
• 대형 모델 실행 능력을 넘어, 한 개발자의 여러 에이전트 또는 사무실 개발팀이 함께 사용할 때의 가치를 질문한다. [01:15]

2. 한 사람도 팀 규모의 추론 부하를 만든다

• 코딩·테스트·리뷰 에이전트가 각각 큰 문맥을 보내면 단일 개발자도 여러 요청을 동시에 발생시킨다. 발표자는 요청당 5만 토큰 사례로 부하 변화를 보여준다. [01:58]
• 장비는 구매품이 아닌 대여품이다. 발표 당시 GPU는 장당 약 1만 5천 달러이며, 4U 섀시는 랙 또는 데스크톱 형태로 설치할 수 있고 본체 무게는 121파운드다. [02:32]

3. 대용량 메모리와 수랭 설계

• AMD EPYC 9474F 48코어·96스레드, DDR5 512GB, 96GB VRAM을 가진 RTX Pro 6000 Blackwell Server Edition 8장으로 구성된다. [03:02]
• 맞춤형 구리 워터블록으로 GPU를 단일 슬롯 두께로 만들고, 분리형 연결부를 통해 냉각수를 모두 빼지 않고 카드를 교체할 수 있도록 설계했다. CPU와 GPU는 냉각 루프를 공유한다. [03:53]

4. 전원과 PCIe 확장의 현실적 제약

• 6.5kW급 전원 요구를 설명하며 여러 전원장치를 서로 다른 회로에 연결해야 한다고 강조한다. 일반적인 책상 주변 전원 환경만으로 다루기 어려운 장비다. [04:19]
• GPU 7장은 PCIe 16레인, 나머지 1장은 8레인을 사용한다. M.2 슬롯은 2개이며 NVLink가 없어 GPU 간 통신도 PCIe를 거친다. [04:58]
• GPU 8장의 정격 전력을 합하면 4,800W다. 발표자는 자신의 전원 환경과 고전력 장시간 실행 중 중단 경험 때문에 주요 시험에서 GPU당 300W 제한을 적용했다. [05:55]

5. 광고 구간과 소음·냉각 관찰

• 외부 네트워크 사용 상황을 배경으로 Surfshark의 기능과 프로모션을 소개하는 광고가 이어진 뒤 본론으로 돌아온다. [06:58]
• 제조사 안내 소음은 팬 구성에 따라 39~70dB지만, 발표자는 부하 상태에서 가까이 두고 쓰기 어렵다고 평가한다. 관찰한 최고 온도는 GPU 62°C, CPU 65°C였다. [08:05]

6. 시험 환경과 모델 크기의 선택

• Ubuntu 24.04, NVIDIA 드라이버, CUDA 13과 nightly 추론 소프트웨어를 사용하고, GPU 8장에 텐서 병렬화를 적용했다. 시험한 5개 모델은 주로 NVFP4 형식이었다. [08:38]
• GLM 5.2 가중치는 433GB로 묶인다. 발표자는 문맥과 여러 세션에 메모리를 남기기 위해 약 144~185GB 규모 모델이 이 장비의 활용에 적합하다고 보여준다. [09:16]
• GLM 5.2는 약 4분 30초에 적재되고 대부분의 VRAM을 차지했다. 다른 장비와의 비교에서는 메모리 속도와 총용량이 별개의 평가 기준임을 강조한다. [09:57]

7. 단일 사용자 생성 속도와 입력 처리

• 2,048토큰 입력·128토큰 출력 조건에서 생성 속도는 GLM 5.2 약 48, Qwen 3 235B 약 85, DeepSeek V4 Flash 약 102, GLM 5.3 계열 약 104, Qwen 3.8 Flash Next 약 126토큰/초로 드러난다. [10:54]
• 입력 처리 속도는 약 2,200~12,600토큰/초로 모델별 차이가 컸다. 짧은 입력의 첫 응답은 가장 빠른 모델에서 약 0.25초, GLM 5.2에서는 약 1초였다. [12:04]

8. 긴 문맥이 첫 응답과 생성에 미치는 영향

• 128,000토큰 입력에서 첫 토큰까지 Qwen Flash Next는 약 14.5초, DeepSeek V4 Flash는 약 26초, GLM 5.2는 약 50초가 걸렸다고 보여준다. Qwen 3 235B는 더 긴 문맥 시험을 완료하지 못했다. [13:16]
• 긴 입력은 첫 응답 대기를 늘렸지만 이후 생성 속도는 비교적 일정했다. Flash Next는 128,000토큰 문맥에서도 약 120~122토큰/초를 유지했다. [13:59]

9. 프리픽스 캐싱의 반복 대화 효과

• 약 16,000토큰의 기존 대화에 새 메시지를 추가하는 GLM 5.2 사례에서, 첫 토큰 대기가 캐싱 없이 5.9초에서 캐싱 적용 후 0.83초로 줄었다. [14:23]
• 발표자는 반복 문맥을 사용하는 에이전트 작업에서 프리픽스 캐싱을 활성화할 필요가 있다고 강조한다. [14:33]

10. 전력 제한을 올려도 생성 성능이 그대로인 이유

• 단일 사용자와 일부 동시 사용자 시험에서 GPU당 300W와 600W 제한의 생성 성능은 거의 같았다. 한 비교에서는 약 254와 252토큰/초로 차이가 미미했다. [15:18]
• 발표자는 메모리 대역폭과 PCIe 통신 때문에 GPU가 높은 전력 한도를 활용하지 못한다고 해석한다. 모델 적재 후 유휴 상태에서도 GPU 전체 소비전력은 약 700W라고 보여준다. [16:19]

11. GPU 수보다 병렬화 방식이 중요할 때

• 별도의 이전 Qwen 3 235B 시험에서는 GPU 4장으로 58토큰/초, 8장으로 37토큰/초였다. 발표자는 PCIe를 통한 동기화 비용을 원인으로 들며, 작은 모델은 4장씩 두 인스턴스로 운영하는 방안을 제안한다. [17:14]
• GLM 5.2의 기본 결과에는 추측 디코딩이 적용되지 않았고, 이전 MTP 시험에서는 약 100토큰/초를 얻었지만 설정이 더 까다로웠다고 덧붙인다. [17:31]
• GLM 5.3 Flash는 기본 추론 이미지에서 커널 오류로 시작하지 못했다. 발표자는 모델의 어텐션 방식과 Blackwell 커널 지원의 간극을 보여준다. [18:01]

12. 네 대의 클라이언트에서 개발 작업 실행

• 테스트 작성, 대시보드 개발, 스크립트 강화, 워커 컨테이너화 작업을 네 클라이언트에서 실행하고, 각 작업의 여러 에이전트와 하위 에이전트를 같은 서버에 연결한다. [19:02]
• DeepSeek V4 Flash 실행 중 GPU 활용률은 100%, GPU당 전력은 약 185~190W, VRAM 사용량은 카드당 약 90GB로 관찰됐다. [19:38]

13. 약 1천 개 동시 에이전트까지 부하 확대

• 동시 에이전트 128개에서 약 3,000토큰/초를 관찰한 뒤 512개, 이어 네 클라이언트에 각각 256개를 설정하는 단계로 부하를 늘렸다. [20:45]
• 약 1천 개 동시 에이전트 단계에서는 총 6,000~7,000토큰/초, KV 캐시 사용률 41%, 오류 0을 보고했다. 다만 첫 응답 지연은 높았으며 초기 부하를 받아내는 데 시간이 걸렸다. [21:20]

14. 동시 사용자 수와 개인별 응답성의 교환관계

• 1~64명 동시 사용자 시험에서 Qwen Flash Next의 사용자당 생성 속도는 1명 126, 4명 90, 8명 82, 16명 61, 32명 37, 64명 20.6토큰/초로 감소했다. [22:35]
• 총처리량과 순간 생성 속도도 제시되지만 사용자당 수치와 집계 기준은 전사만으로 명확하지 않다. 처리량을 비교할 때 동일한 측정 정의가 필요하다. [23:18]
• 첫 응답 대기는 동시 사용자 8명에서 Flash 모델 약 1.5초, GLM 5.2 약 5.5초였으며, 64명에서는 GLM 5.2가 약 33초까지 늘었다. [23:51]

15. 구매 대상은 지속적으로 활용하는 개발팀

• 발표자는 적절한 모델을 선택하면 16명 또는 16개 에이전트에 약 60토큰/초와 약 2.5초 대기를 제공할 수 있다고 요약한다. 이는 앞서 제시된 모든 모델에 일괄 적용되는 수치로 보기는 어렵다. [24:24]
• 같은 장비에 대한 외부 매체 시험을 인용한 뒤, 주된 구매 대상을 중소 규모 개발팀으로 보여준다. 개인 구매자는 높은 수익이나 장비 활용도를 확보해야 한다는 판단이다. [25:12]
• 한 사람에게는 과도할 수 있지만 팀처럼 여러 에이전트를 운영한다면 활용 여지가 있다는 평가로 연결한다. [25:32]

16. 실행 레시피 조정과 최종 운영 조건

• 최신 하드웨어를 활용하려면 nightly 빌드와 실행 환경 조정에 익숙해야 한다. NVIDIA와 추론 소프트웨어의 레시피가 도움이 되지만 실제 구성에 맞게 수정해야 한다. [25:57]
• 4장용 레시피를 8장 텐서 병렬 구성으로 바꾸거나 작은 모델을 여러 인스턴스로 나누는 방안을 다시 제시하고, 기존 4장 시스템 영상을 안내하며 마무리한다. [26:20]

🧾 결론

• 이 장비는 대형 모델을 담을 수 있는 용량과 여러 요청을 처리하는 능력을 함께 제공한다. 최대 모델 크기만으로 적합성을 판단하면 실제 서비스 여유를 놓칠 수 있다.
• 모델 선택, 프리픽스 캐싱, GPU 분할 방식이 사용자 체감 성능을 크게 좌우한다. 작은 모델은 8장에 하나를 분산하기보다 4장씩 두 인스턴스를 운영하는 편이 유리할 수 있다.
• 약 1천 개 동시 에이전트 시연은 부하를 받아내는 능력을 보여줬지만, 첫 응답 지연도 커졌다. 시연 성공을 쾌적한 실무 동시 사용자 수로 해석해서는 안 된다.
• 개인에게는 과도할 수 있으며, 팀 규모의 에이전트 부하와 운영 역량이 있는 조직에서 구매 타당성을 검토할 만하다.

📈 투자·시사 포인트

• 영상의 GPU 단가를 단순 합산하면 약 12만 달러다. 이는 완제품 가격이 아니므로, 구매 판단에는 나머지 하드웨어와 설치·운영 비용을 추가해야 한다.
• 모델을 적재한 유휴 상태에서도 GPU 전체가 약 700W를 소비했다는 설명은 사용률의 중요성을 보여준다. 장비를 얼마나 지속적으로 활용하는지가 비용 효율을 좌우한다.
• 로컬 AI 인프라 비교에는 생성 속도뿐 아니라 긴 입력의 첫 응답 시간, 사용자당 처리량, 동시 세션 수를 포함해야 한다.
• 하드웨어 용량이 충분해도 커널 지원과 실행 레시피가 성능 실현을 제한할 수 있다. 소프트웨어 유지보수에 투입할 인력도 도입 비용의 일부다.

⚠️ 불확실하거나 확인이 필요한 부분

• 전사에는 전원장치가 개당 200W이면서 4개 합계 8kW라는 모순이 있다. 또한 600W 제한에서 소비전력이 카드당 1,700W라는 표현은 바로 뒤의 카드당 최대 268W 설명과 맞지 않아 원래 측정 화면 확인이 필요하다.
• 총 VRAM은 768GB로 소개되지만 모델 적재 구간에서는 가용 용량이 784GB로 언급된다. GLM 5.2의 초기 제공 문맥은 49,600토큰인데 뒤에서는 128,000토큰 입력 결과도 제시되어, 시험별 설정 차이가 불명확하다.
• Qwen 3 235B의 8장 생성 속도는 기본 비교에서 85토큰/초, 이전 TP4·TP8 비교에서는 37토큰/초로 등장한다. 같은 조건의 결과로 합치거나 직접 비교할 수 없다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 실제 사용하는 모델, 입력 길이, 동시 에이전트 수를 정하고 첫 토큰 지연과 사용자당 생성 속도의 목표를 설정한다.
• 같은 모델·문맥·소프트웨어 버전에서 TP4, TP8, 4장씩 두 인스턴스 구성을 비교한다.
• GPU당 300W와 600W 설정을 같은 작업으로 비교하고, 생성 성능뿐 아니라 입력 처리 속도·전체 시스템 전력·장시간 안정성을 기록한다.
• 반복 문맥을 사용하는 작업에서 프리픽스 캐싱 적용 전후의 첫 응답 시간을 측정한다.

❓ 열린 질문

• 실제 팀의 긴 문맥과 다양한 작업을 함께 실행할 때, 허용 가능한 지연을 유지하는 동시 에이전트 수는 얼마인가?
• 4장씩 두 인스턴스로 나누는 구성이 8장 단일 인스턴스보다 유리해지는 모델 크기와 부하 조건은 무엇인가?
• 커널 지원과 추론 소프트웨어가 개선되면 현재의 호환성 문제와 처리량은 얼마나 달라질까?