Kog is going deeper to squeeze more inference out of GPUs
🖼️ 인포그래픽
🖼️ 4컷 인포그래픽
💡 한 줄 요약
프랑스 스타트업 코그는 기존 데이터센터용 GPU를 저수준 소프트웨어로 최적화해 대규모 언어 모델의 추론 속도를 높이려 하지만, 소형 모델에서 거둔 성과를 주요 대형 모델에서도 재현해야 한다.
📌 핵심 요약
- 코그는 기업이 이미 보유한 에이엠디 MI300X와 엔비디아 H200 같은 표준 데이터센터용 GPU에서도 소프트웨어 최적화를 통해 매우 빠른 단일 요청 디코딩이 가능하다고 주장한다.
- 기술 시연에서는 약 20억 개 매개변수의 전용 소형 모델 레이너포머 2B로 요청당 초당 3,000토큰을 기록했지만, 대규모 언어 모델에서 30배 빠른 추론을 구현한다는 목표는 아직 입증되지 않았다.
- 시연 이후 코그는 200건의 구체적인 사업 리드를 확보했으며, 소프트웨어 개발 작업과 프롬프트 기반 게임·앱 생성 서비스에서 추론 지연을 줄이려는 수요를 확인했다.
- 잠재 고객들이 소형 모델을 직접 미세조정할 준비가 되어 있지 않다는 피드백에 따라 코그는 출시 이후 더 큰 모델을 가속하는 기술 개발에 집중하고 있다.
- 코그는 GPU마다 수주에서 수개월간 저수준 분석을 수행해야 하는 확장성 문제를 안고 있으며, 주요 모델에서 10배 가속을 구현한 뒤 고객 성과를 제시하고 시리즈 A 투자 유치에 나설 계획이다.
🧩 주요 포인트
- 기존 데이터센터 GPU의 숨은 성능을 소프트웨어로 끌어내는 전략은 전용 추론 칩을 새로 도입하지 않고도 속도와 비용 병목을 완화하려는 고객에게 직접적인 가치를 제시한다.
- 소형 전용 모델에서 나온 초당 3,000토큰의 결과는 기술적 가능성을 보여줬지만, 실제 시장이 요구하는 대규모 언어 모델로 성능을 이전하는 것이 사업성과 기술력을 판단할 핵심 기준이 됐다.
- 어셈블리와 바이너리 수준까지 파고드는 GPU별 최적화는 코그의 차별점인 동시에 지원 가능한 칩 수를 제한하므로, 장기적으로 연구 방법을 자동화된 파이프라인에 옮기는 일이 확장의 관건이다.
🧠 상세 정리
1. 전용 칩 경쟁 속 기존 GPU에 건 코그의 승부
인공지능 추론 속도를 높이기 위한 경쟁에서는 세레브라스처럼 전용 칩을 만드는 기업도 주목받고 있지만, 프랑스 스타트업 코그는 기존 GPU에서 아직 활용되지 않은 성능을 더 끌어낼 수 있다고 본다. 코그는 지난 5월 에이엠디 MI300X와 엔비디아 H200을 이용해 기업이 이미 보유한 표준 데이터센터용 GPU에서도 매우 빠른 단일 요청 디코딩이 가능하다는 기술 미리보기를 공개했다. 이 시연은 해커 뉴스의 첫 화면에 오르며 관심을 끌었고, 추론 속도와 비용이 핵심 병목으로 부상한 상황에서 200건의 구체적인 사업 리드로 이어졌다. 다만 적용 대상은 노트북 GPU가 아니라 데이터센터용 GPU였기 때문에, 코그가 제시한 가치는 개인용 기기의 가속보다 기업용 인공지능 인프라의 효율 개선에 초점이 맞춰져 있다.
2. 소프트웨어 개발과 생성 서비스에서 확인된 수요
초기 피드백을 토대로 코그의 창업자 겸 최고경영자 가엘 들랄로는 소프트웨어 엔지니어링이 첫 번째 주요 활용 분야가 될 것으로 예상한다. 숙련된 클로드 코드 사용자도 결과를 얻기까지 때로 몇 시간을 기다려야 하며, 앤스로픽이 더 빠른 모드에 더 높은 가격을 책정한다는 사실은 속도에 경제적 가치가 있음을 보여준다. 코그는 전문 업무에서 인공지능 작업 흐름을 사용하기 때문에 긴 지연을 받아들이기 어려운 고객을 주요 대상으로 삼고 있다. 또한 프롬프트만으로 게임이나 앱을 생성하는 디자인 파트너들에게는 코그 추론 엔진을 통한 결과 생성 시간 단축이 더 많은 매출과 연결될 수 있다고 들랄로는 설명했다.
3. 고객 피드백이 촉발한 대형 모델 중심의 전환
코그는 아직 시장이 완전히 성숙하지 않았다는 점을 인정하며, 초기 수요를 관찰하는 과정에서 잠재 고객들이 소형 모델을 직접 미세조정할 준비가 되어 있지 않다는 사실을 확인했다. 이에 따라 출시 이후에는 고객이 실제로 원하는 더 큰 모델의 가속 기술을 개발하는 데 전면적으로 집중하고 있다. 이 선택은 맞춤형 소형 모델만 제공하는 것보다 활용 가능한 고객 범위를 넓히지만, 코그가 기술적으로 넘어야 할 기준도 크게 높인다. 대규모 언어 모델은 크기 자체가 추론 하드웨어에 부담을 주기 때문에, 코그의 사업적 약속은 소형 모델용 시연 결과가 아니라 널리 쓰이는 대형 모델에서 충분한 가속을 입증할 때 비로소 검증될 수 있다.
4. 초당 3,000토큰 시연과 아직 남은 검증
코그의 기술 시연은 요청당 초당 3,000토큰이라는 인상적인 처리 속도를 기록했지만, 사용된 모델은 약 20억 개 매개변수를 가진 전용 소형 모델 레이너포머 2B였다. 이 모델은 현재 오픈소스로 공개됐으나, 해당 결과만으로 대규모 언어 모델 추론을 30배 빠르게 만들겠다는 코그의 전체 약속이 입증된 것은 아니다. 회의적인 시각에도 들랄로는 같은 접근법이 대규모 언어 모델에서도 효과를 낼 수 있다고 자신하며, 최신 GPU가 계속 늘어난 메모리 대역폭을 충분히 활용하지 못하고 있다고 주장한다. 따라서 코그가 제시한 기술 논쟁의 핵심은 GPU가 디코딩에 부적합한지가 아니라, 저수준 소프트웨어 최적화를 통해 그 대역폭과 연산 능력을 실제 대형 모델에서 얼마나 끌어낼 수 있는지에 있다.
5. 물리학과 보안 해킹이 결합된 저수준 최적화
GPU의 성능을 소프트웨어로 높이려는 회사는 코그만이 아니며, 프랑스의 지엠엘은 엔비디아의 쿠다를 우회해 여러 경쟁 칩에서 빠른 추론을 지원하는 하드웨어 독립형 소프트웨어를 공개했다. 들랄로는 코그의 접근을 스탠퍼드대학교의 헤이지 리서치와 더 가깝다고 설명하면서도, 코그는 GPU 가속의 더 깊은 계층에 집중한다고 강조했다. 그는 연구자는 아니지만 프랑스 에콜 폴리테크니크에서 고체물리학을 공부했고, 이후 공격적 사이버보안 분야에서 일했으며 데프콘 해킹대회 결선에 네 차례 진출했다. 물리 법칙과 GPU의 작동 원리를 이해하려는 태도에 어셈블리와 바이너리 코드까지 역공학하는 보안 경험을 결합해, 하드웨어가 원래 의도하지 않았던 목표까지 달성하도록 만드는 것이 코그의 핵심 개발 방식이다.
6. 칩별 수작업의 한계와 투자 유치 로드맵
코그의 저수준 접근은 직접적인 연구와 작업량이 많아 새로운 GPU 하나를 지원할 때마다 세부 구조를 파악하고 실험하는 데 수주에서 수개월이 걸린다. 현재 팀 규모가 11명인 만큼 가까운 시일 안에 다룰 수 있는 칩의 수에는 분명한 제한이 있으며, 이는 깊은 최적화가 제공하는 차별성과 맞바꾼 확장성 문제다. 코그는 장기적으로 자체 방법론을 에이전트 기반 파이프라인에 투입해 더 많은 칩과 모델을 지원하려 하며, 유럽의 모델·반도체 역량 강화 움직임 속에서 스케일웨이, 프랑스 공공투자은행, 프렌치 테크 2030 프로그램의 지원도 받고 있다. 당장의 핵심 과제는 대규모 언어 모델에서 성능을 입증하는 것으로, 들랄로는 9월에 첫 주요 모델을 10배 빠르게 구현한 뒤 고객 성과를 보여주고 시리즈 A 투자 유치를 시작할 수 있을 것으로 예상했다.
🧾 핵심 주장 / 시사점
- 클로드의 빠른 모드에 별도 가격이 붙고 생성형 서비스 파트너가 처리 속도를 매출과 연결한다는 사례는 추론 지연이 단순한 기술 지표가 아니라 생산성과 수익에 직접 영향을 주는 사업 변수임을 보여준다.
- 기존 GPU를 활용한다는 코그의 제안은 새로운 전용 칩 없이 성능을 높인다는 장점이 있지만, GPU마다 수주 또는 수개월의 별도 연구가 필요하므로 하드웨어 재사용성과 개발 확장성은 서로 다른 문제로 남는다.
- 코그의 다음 투자 단계는 기술 검증과 긴밀히 연결돼 있으며, 주요 대형 모델에서 10배 가속을 실현하고 이를 고객 성과로 전환하는 것이 시리즈 A 유치에 앞선 명시적 이정표다.
✅ 액션 아이템
- 코그의 소프트웨어 최적화가 MI300X와 H200에서 단일 요청 디코딩을 얼마나 끌어올리는지, 20억 개 매개변수 레이너포머 2B의 초당 3,000토큰 실증치로 대조해 점검한다.
- 시연 후 확보한 200건 사업 리드를 바탕으로 소프트웨어 개발 작업·프롬프트 기반 게임·앱 생성 서비스에서 대규모 언어 모델의 10배 가속 수요를 충족할 우선순위를 정한다.
- 어셈블리와 바이너리 수준의 GPU별 최적화가 수주에서 수개월 걸리는 구조를 완화하도록, 지원 가능한 칩 수를 늘리는 자동화된 파이프라인 전환을 검토한다.
❓ 열린 질문
- MI300X·H200의 단일 요청 디코딩에서 레이너포머 2B가 보인 초당 3,000토큰을 대규모 언어 모델에서도 재현하는 증거가 실제로 확보됐는가?
- 코그가 주요 모델에서 10배 가속을 구현한 뒤, 어떤 시점에 시리즈 A 투자 유치로 연결되는 성과를 제시해야 하는가?
- 잠재 고객이 소형 모델을 미세조정할 준비가 없다는 조건에서, 수주에서 수개월 걸리는 GPU별 저수준 분석을 줄이기 위해 어떤 자동화된 파이프라인 단계가 필요한가?
