왜 광통신 진영이 메모리를 노릴까

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

광통신 진영이 메모리를 노리는 이유는 광 연결로 연산과 메모리의 물리적 결합을 풀어 HBM 중심 구조를 외부 메모리 풀과 계층형 구조로 재편할 수 있기 때문이다.

📌 핵심 요점

1. HBM이 GPU에 붙어 있어 메모리만 독립적으로 확장할 수 없기 때문에, 메모리가 부족하면 연산 능력이 남아 있어도 비싼 GPU 전체를 추가해야 한다.
2. 구리는 짧은 거리에서는 효율적이지만 주파수와 거리가 늘수록 손실과 왜곡이 커진다. 광은 전기·광 변환 고정비가 크지만 장거리에서도 대역폭과 신호 품질을 유지해 랙 외부 연결에 유리하다.
3. 스케일아웃 CPO는 스위치 칩과 광 엔진을 같은 패키지에 배치해 약 30cm의 구리 구간을 제거한다. 반면 GPU 가까이 들어가는 스케일업 CPO는 설계 변경, 열, 고장 시 패키지 전체 폐기 위험 때문에 도입 난도가 훨씬 높다.
4. 광 스케일업 연결이 확대되면 여러 장치의 메모리를 더 큰 도메인으로 묶고, 패키지 내부 HBM은 자주 쓰는 데이터를 담는 캐시로, 랙 외부의 저렴한 메모리는 대용량 풀로 활용하는 계층형 구성이 가능해진다.
5. 이 변화는 HBM을 없애기보다 HBM이 담당하던 용량 역할을 줄일 가능성이 있다. 삼성은 실리콘 포토닉스와 CPO를, SK하이닉스는 HBF를 추진하며 서로 다른 방식으로 연산·메모리 구조 변화에 대응하고 있다.

🧩 배경과 문제 정의

• AI 데이터센터의 병목은 연산량뿐 아니라 메모리 용량과 데이터 이동에서 발생하며, HBM만 늘리기 위해 비싼 GPU 전체를 추가해야 하는 구조적 낭비가 생긴다.
• 구리는 짧은 거리에서 효율적이지만 주파수와 거리가 늘수록 손실이 커지고, 광은 전기·광 변환 비용이 큰 대신 장거리에서도 대역폭과 신호 품질을 유지한다.
• 광 연결이 GPU 가까이 들어오면 랙의 물리적 경계와 연산·메모리 결합이 느슨해질 수 있으며, 이는 HBM의 역할과 메모리 업체의 수익 구조까지 바꿀 가능성이 있다.

🕒 시간순 섹션별 상세정리

1. 메모리 부족이 만든 GPU 과잉 구매

• HBM이 GPU에 붙어 나오기 때문에 메모리만 따로 확장할 수 없고, 연산 능력이 남아도 메모리가 부족하면 GPU 전체를 추가로 사야 한다. [01:38]
• 700억 개 파라미터를 하나당 2바이트로 저장하면 140GB가 필요하며, 연산칩 내부에 이를 둘 수 없어 메모리와 연산칩 사이의 데이터 이동이 필수다. [01:45]

2. 디지털 통신과 대역폭의 기본 원리

• 트랜지스터는 전압에 따라 전자의 통로를 열고 닫아 0과 1을 처리하므로, 중간 전송 매체가 구리나 광이어도 실제 계산은 전자가 담당한다. [01:50]
• 숫자는 여러 비트의 전압 높낮이로 부호화되며, 수신기는 전압을 1로 판정할 기준과 신호를 측정할 시간 간격을 알아야 원래 값을 복원할 수 있다. [02:26]

3. 구리의 한계와 HBM 패키지의 해법

• 구리는 주파수가 높을수록 손실과 신호 왜곡이 커지고 거리까지 길어지면 손실이 누적되므로, 고속 통신에서는 대역폭과 거리가 동시에 제약이 된다. [04:39]
• GPU는 HBM에서 초당 약 8TB, 비트 기준으로 초당 64조 비트를 받아야 하며, 한 가닥의 구리선으로는 이 대역폭을 처리할 수 없다. [05:17]

4. SerDes와 랙 내부 구리 통신의 경계

• 패키지 밖으로 수천 가닥을 그대로 뺄 수 없기 때문에 SerDes가 여러 병렬 비트를 한 가닥의 고속 신호로 직렬화하며, 이 과정에서 필요한 주파수 범위가 수십 GHz로 넓어진다. [07:38]
• 직렬화된 신호는 GPU에서 스위치까지 약 1m를 이동하면서 크게 일그러지고, 손실 보상을 위한 증폭은 노이즈까지 키워 랙 내부가 구리 통신의 실질적인 한계가 된다. [08:29]

5. 광통신이 신호와 거리를 다루는 방식

• 광통신은 레이저를 계속 켜둔 채 변조기로 밝기나 위상을 바꾸고, 수신기의 광검출기가 빛의 세기를 전류로 변환해 0과 1을 복원한다. [09:30]
• 약 229THz로 진동하는 레이저를 반송파로 사용하면 수십 GHz 폭의 전기 신호가 높은 주파수대로 통째로 이동하면서도 원래 대역폭은 유지된다. [10:18]

6. 광의 고정비와 구리·광의 경제적 경계

• 광을 사용하려면 레이저·변조기·검출기·증폭기와 이를 구동하는 전기 회로가 필요하며, 전기에서 빛으로 바꾸고 다시 전기로 되돌리는 고정비는 거리가 짧아도 동일하다. [12:04]
• 구리는 전기·계산 전환 비용이 거의 없지만 속도와 거리에 따라 비용이 커지고, 광은 전환 비용이 큰 대신 거리에 따른 추가 비용이 작아 1mm 칩 연결은 구리, 랙 외부는 광으로 나뉜다. [12:50]

7. 스케일업과 스케일아웃의 서로 다른 역할

• 랙 내부의 스케일업 네트워크는 GPU가 다른 GPU의 메모리를 직접 읽고 쓰게 해 여러 GPU를 하나의 큰 GPU처럼 묶지만, 극도로 짧은 지연이 필요해 거리 제약이 크다. [13:40]
• 랙 사이의 스케일아웃 네트워크는 이더넷이나 인피니밴드로 패킷을 주고받아 직접 메모리 접근은 불가능하지만, 거리 제약이 작고 표준 장비를 연결할 수 있다. [14:13]

8. 스케일아웃 CPO의 상용화

• 기존 스케일아웃 스위치는 칩과 전면 트랜시버 사이 약 30cm를 구리로 연결하므로, 스위치 내부에서도 고속 신호 손실과 전력 부담이 발생한다. [15:04]
• CPO는 광 엔진을 스위치 칩과 같은 패키지에 배치해 30cm의 구리 구간을 없애며, 브로드컴과 엔비디아는 관련 스위치를 이미 양산·출하 단계로 옮겼다. [15:31]

9. HBM 용량과 GPU 도메인의 확대 필요성

• HBM에는 모델 파라미터뿐 아니라 대화와 문서를 처리한 중간 상태도 사용자별로 누적되므로, HBM이 차면 연산 능력이 남은 GPU도 새로운 요청을 받을 수 없다. [17:44]
• 여러 GPU의 메모리를 하나의 도메인으로 묶으면 빈 메모리를 공유할 수 있고, 여러 장에 나뉜 대형 모델의 중간 결과도 빠르게 교환할 수 있어 도메인 크기가 성능과 원가를 좌우한다. [18:22]

10. 광 연결이 겨냥하는 연산·메모리 분리

• HBM 대역폭은 다이 가장자리의 수천 개 전선에 의존하지만 제한된 쇼어라인을 HBM 연결이 거의 점유하고 있어, 광 연결을 연산 장치에 직접 넣으면 패키지 공간을 추가로 확보할 수 있다. [20:05]
• 광의 거리 비용이 작아지면 패키지 내부 HBM은 자주 쓰는 데이터를 보관하는 캐시가 되고, 큰 용량은 랙 외부의 저렴한 메모리 풀이 맡는 계층형 구조가 가능해진다. [20:28]

11. NPO와 중국의 우회 전략

• NPO는 광 엔진을 패키지 내부가 아니라 약 5cm 옆에 배치해 칩 설계 변경과 열 문제를 피하고, 고장 난 광 엔진만 교체할 수 있도록 CPO와 기존 트랜시버의 중간 지점을 택한다. [22:13]
• 중국의 NPO 표준 연합은 전기 구간을 수십cm에서 약 5cm로 줄이고 전력을 40~50% 낮추는 목표를 세워, 제한된 반도체 공정에서도 연결 효율을 높이려 한다. [22:37]

12. 화웨이 슈퍼팟과 공유 메모리 풀

• Atlas 950 SuperPoD는 8,192개의 NPU를 160개 캐비닛에 분산하고 전부 광으로 연결해, 약 1,000㎡ 규모에서도 하나의 도메인과 최대 200m급 패키지 외부 대역폭을 구현한다. [23:40]
• 대량의 저렴한 메모리를 장착한 TaiShan 950 CPU 서버와 NPU 슈퍼팟을 연결하면 NPU가 CPU 쪽 메모리를 가져다 쓰는 초대형 공유 메모리 풀이 가능해진다. [24:23]

13. 랙 해체와 HBM 역할의 재편

• 스케일업 연결이 광으로 바뀌면 GPU와 스위치를 한 랙 안에 밀집시킬 필요가 줄고, 연산과 메모리도 서로 다른 위치에 배치할 수 있어 기존 데이터센터의 물리적 단위가 약해진다. [25:52]
• 즉시 필요한 데이터는 여전히 칩 옆 HBM에 남지만, 계산 순서를 미리 아는 모델 파라미터는 다음 연산 전에 외부 메모리에서 가져올 수 있어 비싼 HBM에 모두 저장할 필요가 줄어든다. [26:21]

14. HBM이 만든 메모리 업계의 고수익 구조

• HBM3는 같은 용량의 DDR5보다 약 세 배 많은 웨이퍼를 사용하고 적층과 수율 부담도 커서, HBM 생산 확대가 일반 D램 공급을 줄이고 계약 가격 상승을 유발한다. [27:30]
• 메모리 업체의 높은 이익률은 70%대로 알려진 HBM 마진과 장기 계약뿐 아니라, HBM이 생산능력을 차지하면서 발생한 일반 D램 품귀가 동시에 지탱한다. [28:01]

15. 삼성과 SK하이닉스의 서로 다른 대응

• 삼성은 파운드리·패키징을 함께 제공하는 턴키 역량을 바탕으로 실리콘 포토닉스에 진입해 2027년 광 엔진, 2028년 하이브리드 본딩, 이후 CPO까지 칩과 패키지를 함께 재설계하려 한다. [29:09]
• SK하이닉스와 샌디스크의 HBF는 NAND를 HBM처럼 적층해 용량을 8~16배로 키우며, 메모리 내부에서 저렴한 대용량 저장 요구에 대응하는 경로를 겨냥한다. [29:58]

16. 광 진영과 HBF가 선택한 서로 다른 해법

• 광통신 진영은 크고 덜 자주 사용하는 용량을 추가하는 방향을 택하고, HBF는 내부 매체 자체를 바꾸는 방향을 택한다. [30:03]
• 연산과 메모리를 한 몸으로 묶었던 물리적 강제가 약해지면서 최첨단 메모리와 광통신이 같은 영역에서 교차한다. [30:09]

17. 공급 비관론을 넘어선 수요 구조의 변화

• 중국의 추격, 과도한 증설, 사이클 하락은 모두 공급 측 비관론이지만, 광통신과 메모리의 결합 방식이 바뀌면 수요 자체도 달라질 수 있다. [30:21]
• 광통신과 HBF 모두 초기 단계라 승자를 단정할 수 없지만, 두 진영의 경쟁은 이미 시작됐으며 한국에서는 이 변화가 충분히 다뤄지지 않고 있다. [30:34]

🧾 결론

• 광통신 진영의 목표는 메모리 반도체 자체를 만드는 것이 아니라, 데이터 이동 방식과 데이터센터 토폴로지를 바꿔 메모리의 위치와 종류를 선택할 수 있게 만드는 데 있다.
• HBM은 즉시 필요한 데이터를 공급하는 고대역폭 캐시로 남을 가능성이 크지만, 크고 덜 자주 사용하는 데이터까지 모두 보관하는 용량 매체로서의 역할은 축소될 수 있다.
• 기존 외부 광 구간의 변환 지점만 옮기는 스케일아웃 CPO는 가역성이 높지만, GPU와 메모리의 결합을 직접 바꾸는 스케일업 CPO는 기술적·경제적 위험이 더 크다.
• 광통신, CPO·NPO, 외부 메모리 풀, HBF의 경쟁은 결국 어떤 장치가 메모리 용량과 데이터 이동 비용을 가장 효율적으로 분담하느냐의 경쟁이다.

📈 투자·시사 포인트

• HBM 투자 판단에서는 공급 확대와 가격 사이클뿐 아니라, 외부 메모리 풀이 HBM의 용량 역할과 높은 이익률을 얼마나 잠식할지도 함께 살펴야 한다.
• 광 엔진, 실리콘 포토닉스, 첨단 패키징, CPO·NPO는 데이터센터의 물리적 경계를 재편하는 핵심 연결 기술로 부상할 수 있다.
• 삼성의 턴키형 실리콘 포토닉스·패키징 전략과 SK하이닉스의 HBF 전략은 같은 대용량 메모리 문제에 대한 서로 다른 해법이므로 각각의 상용화 경로를 분리해 평가해야 한다.
• 화웨이의 SuperPoD와 공유 메모리 풀 사례는 개별 칩 성능의 제약을 광 연결과 대규모 토폴로지로 우회하려는 전략이 실제 시스템 설계로 이어지고 있음을 보여준다.

⚠️ 불확실하거나 확인이 필요한 부분

• 브로드컴·엔비디아 CPO 스위치의 양산·출하 상태, 중국 NPO의 전력 40~50% 절감 목표, Atlas 950 SuperPoD의 규모와 대역폭은 원문에 제시된 주장으로, 제품 문서와 실제 운영 자료를 통한 별도 확인이 필요하다.
• HBM 마진이 70%대로 알려졌다는 수치와 HBM 생산 확대가 일반 D램 가격에 미치는 영향은 기업별 계약, 수율, 생산능력 배분에 따라 달라질 수 있다.
• 광 기반 외부 메모리 풀이 실제로 대체할 수 있는 HBM 용량은 지연시간, 전기·광 변환 비용, 장애 위험과 전체 시스템 비용이 정량화되지 않아 단정하기 어렵다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 브로드컴·엔비디아의 CPO 제품 문서와 출하 자료를 확인해 스케일아웃 CPO의 실제 상용화 수준을 검증한다.
• CPO, NPO, 기존 트랜시버를 전기 구간 길이, 전력, 열, 교체 가능성, 고장 비용 기준으로 비교표로 정리한다.
• HBM을 캐시로 유지하고 외부 메모리를 용량 계층으로 추가하는 경우의 HBM 수요 증가·정체·감소 시나리오를 각각 점검한다.
• 삼성의 광 엔진·하이브리드 본딩·CPO 일정과 SK하이닉스·샌디스크 HBF의 용량 및 상용화 진척을 별도로 추적한다.

❓ 열린 질문

• 외부 메모리 풀의 지연과 변환 비용을 감수하면서도 HBM보다 경제적인 경계는 어느 용량과 거리에서 형성될까?
• 스케일업 CPO의 열과 비가역적 고장 위험을 NPO가 충분히 줄일 수 있을까, 아니면 성능 차이 때문에 중간 단계에 머물까?
• 저렴한 외부 메모리의 설치량 증가가 HBM의 용량 역할 축소와 이익률 압박을 상쇄할 만큼 전체 메모리 수요를 키울까?