🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

The Non-NVIDIA AI Card Everyone’s Ignoring를 중심으로, Wormhole N300은 화면 출력용 GPU가 아니라 로컬 AI 추론 전용 가속기다. 2개 칩, 24GB 메모리, 약 1,400를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. Wormhole N300은 화면 출력용 GPU가 아니라 로컬 AI 추론 전용 가속기다. 2개 칩, 24GB 메모리, 약 1,400달러라는 사양을 갖췄지만 펌웨어 재설치와 버전 충돌 해결이 필요할 만큼 초기 설정 장벽이 높다.
2. Llama 3.1 8B는 워밍업 후 초당 30~31토큰을 기록했고, 요청 8개를 동시에 처리하면 전체 처리량이 초당 164토큰까지 증가했다. 단일 응답 속도보다 동시 처리에서 강점이 두드러졌다.
3. 106개 대형 코어와 코어당 5개의 RISC-V CPU, 전용 행렬 엔진, 로컬 메모리를 결합한 데이터 흐름 중심 구조를 사용한다. TT-Metalium이 저수준 제어를 제공하고 vLLM이 일반 추론의 복잡성을 감싼다.
4. QSFP 포트를 통한 카드 간 전용 연결은 소비자용 엔비디아 GPU와 구별되는 확장성 자산이다. 그러나 한 장만 사용할 때는 이점을 얻을 수 없고, 24GB 메모리와 제한된 최신 모델 지원도 활용 범위를 좁힌다.
5. 같은 시스템에서 RTX 5080은 N300보다 약 3배 빠르고 토큰당 전력 효율도 높았다. AMD R9700 역시 일부 모델에서 N300과 비슷하거나 더 빨랐지만 소비전력이 컸으며, 최종 승부를 가른 것은 실리콘보다 CUDA를 비롯한 소프트웨어 스택이었다.

🧩 배경과 문제 정의

• 로컬 고성능 AI에서는 엔비디아와 CUDA가 사실상의 기본값이며, N300이 이 조합을 대체할 실질적 선택지가 될 수 있는지가 핵심 문제다. [00:28]
• Tenstorrent Wormhole N300은 화면 출력 기능 없이 로컬 추론에 집중하는 2칩·24GB·약 1,400달러의 AI 가속 카드다. [02:06]
• 구매 가치는 단일 성능뿐 아니라 설치 난이도, 지원 모델, 전력 효율, 다중 카드 확장성과 소프트웨어 성숙도를 함께 평가해야 결정된다. [12:43]

🕒 시간순 섹션별 상세정리

1. CUDA 없는 N300과 초기 설정 장벽

• Wormhole N300은 픽셀이나 영상을 출력하는 GPU가 아니라 CUDA와 원클릭 설치 환경 없이 로컬 AI 추론만 수행하는 전용 가속기다. [00:28]
• 2개 칩과 24GB 메모리를 탑재하고 가격은 약 1,400달러로, 비용 대비 가치는 사용 방식과 향후 확장 계획에 따라 달라진다. [02:06]
• 수개월 동안 업데이트하지 않은 카드는 정상 인식되지 않았고, 강제 펌웨어 재설치와 버전 충돌 해결이 필요해 아직 플러그앤플레이 제품과는 거리가 있었다. [02:26]

2. 워밍업과 동시 처리에서 드러난 성능

• Llama 3.1 8B의 첫 요청은 초당 3.6토큰에 그쳤지만 일회성 워밍업 이후 초당 30~31토큰으로 안정화됐다. [03:16]
• 요청 8개를 동시에 실행하자 전체 처리량은 초당 164토큰으로 늘어 단일 스트림의 약 5배에 도달했고, 개인용 추론 서버에서 동시성이 강점으로 나타났다. [03:39]
• 프롬프트 입력 처리량은 초당 약 3,700~4,000토큰에 도달했으며 함수 생성도 수행했지만, 출력 품질은 카드보다 실행 모델의 역량에 더 크게 좌우됐다. [03:53]

3. RISC-V와 데이터 흐름 중심 아키텍처

• N300은 다수의 소형 코어를 사용하는 일반 GPU와 달리 온칩 네트워크로 연결된 106개 대형 코어의 격자 구조를 채택했다. [04:22]
• 각 코어의 RISC-V CPU 5개가 데이터 흐름을 조정하고 전용 행렬 엔진과 로컬 메모리가 계산을 담당해 느린 외부 메모리 접근을 줄인다. [04:49]
• 오픈소스 SDK인 TT-Metalium은 저수준 제어를 제공하며, 일반적인 추론에서는 vLLM 계층이 복잡한 하드웨어 제어를 감싸 개발 부담을 낮춘다. [05:06]

4. QSFP가 제공하는 다중 카드 확장성

• 후면 포트 2개는 영상 출력용이 아니라 QSFP 네트워크 연결용으로, 여러 가속기를 PCIe보다 빠른 전용 경로로 묶는 데 사용된다. [05:30]
• RTX 3090 이후 소비자용 엔비디아 GPU에서 NVLink가 사라져 4090과 5090은 PCIe에 의존하며, 약 30%의 성능 손실 수치는 직접 검증하지 않은 외부 사례다. [05:50]
• N300은 약 1,400달러 가격대에 카드 간 연결 기능을 제공하지만, 한 장만 사용할 때는 활용할 수 없어 다중 카드 사용자에게만 실질적 가치가 있다. [06:20]

5. 공식 성능과 모델 지원의 현실

• 실측 생성 속도는 초당 약 30토큰으로 공식 수치인 44토큰보다 낮았으며, BFP4 정밀도를 포함한 공식 테스트의 소프트웨어 최적화가 차이를 만들었을 가능성이 제시됐다. [07:15]
• 단일 칩 N150은 12GB 메모리와 초당 228GB 대역폭을, 듀얼 칩 N300은 24GB와 초당 576GB를 제공하지만 N150의 가격은 절반 수준이 아니고 실행 가능한 모델도 더 제한적이다. [08:04]
• N300 한 장에서 충분한 컨텍스트까지 고려한 현실적 모델 크기는 70억~90억 파라미터이며, 최신 Gemma와 Qwen 계열의 포팅 부족으로 현재는 Qwen 3 8B 정도가 최신권 선택지다. [08:46]

6. RTX 5080 및 AMD R9700과의 비교

• N300은 생성 중 평균 약 70W를 소비했지만 낮은 소비전력만으로 높은 토큰당 효율을 보장할 수는 없었다. [09:17]
• RTX 5080은 같은 시스템과 8비트 모델에서 초당 93토큰을 기록해 N300보다 약 3배 빨랐고, 프롬프트 처리와 모든 배치 크기의 토큰당 전력 효율에서도 앞섰다. [10:35]
• AMD R9700은 Llama 3.1 8B에서 두 카드의 중간 속도, Qwen 3 8B에서 N300과 비슷한 속도를 냈지만 약 300W를 소비해 세 카드 중 효율이 가장 낮았다. [11:40]

7. 소프트웨어 격차와 적합한 사용자

• Tenstorrent와 AMD의 실리콘에는 잠재력이 있지만 RTX 5080에는 약 15년간 누적된 CUDA 최적화가 있어, 현재의 핵심 격차는 칩보다 모델 포팅과 런타임을 포함한 소프트웨어 스택에 있다. [11:48]
• 빠르고 간편한 원클릭 로컬 AI가 당장 필요하다면 GPU나 Mac이 더 현실적이며, 현재의 N300은 속도와 효율만으로 엔비디아 제품을 대체하기 어렵다. [12:20]
• N300은 비엔비디아 시스템과 AI 실리콘을 직접 학습하려는 실험가에게 적합하며, 소프트웨어가 따라잡는다면 향후 2년 사이 비교 결과가 달라질 가능성이 있다. [12:43]

🧾 결론

• 지금 즉시 빠르고 간편한 로컬 AI 환경이 필요하다면 엔비디아 GPU나 Mac이 N300보다 현실적인 선택이다.
• N300의 현재 가치는 최고 단일 스트림 성능보다 동시 처리, 독자 아키텍처 학습, 향후 다중 카드 확장을 직접 실험하는 데 있다.
• 소프트웨어가 향후 2년 동안 개선되면 평가가 달라질 수 있지만, 현재 구매 판단은 지원 모델과 런타임 완성도, 실제 워크로드 성능을 기준으로 내려야 한다.

📈 투자·시사 포인트

• AI 가속기 시장의 경쟁력은 칩 사양만이 아니라 모델 포팅, 런타임 최적화, 개발 도구가 축적된 소프트웨어 생태계에서 결정된다.
• 약 15년간 누적된 CUDA 최적화는 엔비디아의 핵심 방어선이며, 대체 가속기의 재평가 조건은 최신 모델 지원과 성능 최적화 속도다.
• N300의 QSFP 확장 구조는 고가 데이터센터 제품에 집중된 카드 간 연결을 더 낮은 가격대로 가져오지만, 실제 수요는 다중 카드 시스템을 구축할 사용자에게 한정된다.
• 가속기 비교에서는 표시 전력이나 단일 토큰 속도만 보지 말고 워밍업, 배치 처리량, 정밀도, 전체 보드 전력과 네트워킹 소비전력을 함께 검증해야 한다.

⚠️ 불확실하거나 확인이 필요한 부분

• RTX 4090과 5090의 PCIe 기반 다중 카드 구성에서 약 30%의 성능 손실이 발생한다는 수치는 영상에서 직접 검증하지 않은 외부 사례에 근거한다.
• N300의 약 70W 측정값에는 전체 보드와 QSFP 네트워킹 소비전력이 포함되지 않아 RTX 5080 및 AMD R9700과 완전히 동등한 전력 비교가 아니다.
• 공식 초당 44토큰과 실측 약 30토큰의 차이는 BFP4 정밀도와 소프트웨어 최적화 때문일 가능성이 제시됐지만 원인이 확정되지는 않았다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 구매 전 실제로 사용할 모델과 컨텍스트 길이가 N300의 24GB 메모리 및 현재 지원 목록에 맞는지 확인한다.
• 펌웨어, 드라이버, TT-Metalium과 vLLM의 호환 버전을 기록하고 업데이트 실패 시 복구 절차를 준비한다.
• 첫 요청과 워밍업 후 성능을 분리하고, 단일 스트림·동시 요청·프롬프트 처리량을 실제 워크로드로 각각 측정한다.
• 전력 효율 비교 시 카드 수치뿐 아니라 전체 보드와 QSFP 연결을 포함한 시스템 소비전력 및 토큰당 비용을 계산한다.

❓ 열린 질문

• Gemma 4와 Qwen 3.5·3.6 같은 최신 모델이 포팅되면 N300의 실사용 가치와 모델 선택 폭은 얼마나 개선될까?
• QSFP로 여러 N300을 연결했을 때 모델 크기, 처리량, 지연시간은 카드 수에 따라 어느 정도까지 효율적으로 확장될까?
• 동일한 정밀도와 전체 시스템 전력 조건을 적용해도 N300의 동시 처리 강점이 RTX 5080 대비 비용 경쟁력으로 이어질까?