These startups are chasing the next big thing in LLMs

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

트랜스포머의 막대한 계산량과 문맥 처리 한계를 넘기 위해 신생기업들이 희소 어텐션, 정보 유지, 액체 신경망, 확산 생성, 비언어적 문제 해결 등 서로 다른 재설계를 시험하고 있다.

📌 핵심 요약

• 2017년 등장한 트랜스포머는 주요 대규모 언어 모델의 기반이 됐지만, 장문 입력과 추론 모델의 발전은 핵심 구조의 자연스러운 확장이라기보다 근본적 한계를 보완하는 우회책에 가깝다.
• 밀집 어텐션은 모든 토큰 쌍을 비교해 의미를 정교하게 포착하지만, 입력이 길어질수록 계산량과 전력 소비가 급증하고 모델이 관리해야 할 문맥도 커진다.
• 서브쿼드래틱은 중요한 토큰 관계만 계산하는 희소 어텐션을, 매니페스트 에이아이는 관련 정보만 갱신해 보존하는 파워 리텐션을 각각 제시했다.
• 리퀴드 에이아이는 트랜스포머와 액체 신경망을 결합해 작고 유연한 모델을 만들며, 차량용 칩이나 라즈베리 파이 같은 저전력 장치에서도 실행 가능한 모델을 개발하고 있다.
• 인셉션은 여러 토큰을 한꺼번에 생성하는 텍스트 확산 모델로 속도와 비용을 개선하려 하고, 패스웨이는 언어의 제약을 넘어선 모델을 내세워 대규모 스도쿠 벤치마크에서 높은 성과를 제시했다.

🧩 주요 포인트

1. 모든 토큰을 서로 비교하는 구조는 높은 의미 포착력을 제공했지만, 입력 확대가 곧 계산량·전력·문맥 관리 부담의 급증으로 이어져 차세대 모델의 병목이 됐다.
2. 신생기업들의 접근은 트랜스포머를 일괄 폐기하기보다 어텐션의 범위, 정보 보존 방식, 신경망 구성, 출력 생성 절차를 각각 바꾸는 방향으로 나뉜다.
3. 제시된 성능 수치 상당수는 각 기업의 주장이나 제한된 벤치마크에 기반하며 일부 접근에는 업계의 회의론도 있어, 기술적 가능성과 검증 수준을 구분해 볼 필요가 있다.

🧠 상세 정리

1. 트랜스포머의 지배와 노후화

2017년 여름 구글 연구진이 발표한 논문 「어텐션만 있으면 된다」는 긴 데이터 배열, 특히 텍스트를 처리하는 트랜스포머라는 신경망 구조를 소개했다. 논문 발표 9년 뒤인 기사 시점에는 모든 주요 대규모 언어 모델이 트랜스포머를 기반으로 작동할 만큼 이 구조가 인공지능 산업의 핵심이 됐다. 그러나 최근의 장문 입력 처리와 추론 모델은 트랜스포머의 기본 원리를 깔끔하게 확장한 결과라기보다, 기존 구조의 약점을 우회하거나 보완하는 방식에 가깝다고 기사는 지적한다. 대규모 언어 모델 자체가 사라지는 것은 아니지만 앞으로 모델을 구성하는 방법은 다시 경쟁의 대상이 되고 있다. 이에 따라 상대적으로 잃을 것이 적은 신생기업들이 트랜스포머 이후의 모델 구조를 선점하려는 실험에 나섰다.

2. 밀집 어텐션이 만든 계산·전력 병목

트랜스포머의 강점은 텍스트 안의 모든 단어나 토큰을 다른 모든 토큰과 비교하는 밀집 어텐션에 있다. 이 방식은 텍스트의 의미를 매우 정확하게 포착하지만 입력 길이가 늘어날수록 필요한 곱셈 연산이 빠르게 증가하며, 기사에 따르면 1만 단어짜리 문서는 약 5천만 번의 곱셈을 요구할 수 있다. 이러한 계산 구조는 대규모 언어 모델이 많은 전력을 소비하는 주요 원인으로 제시된다. 오픈에이아이는 기사 기준 올해 컴퓨팅에 500억 달러를 지출할 예정이라고 회사 사장이 밝혔고, 국제에너지기구는 데이터센터의 전체 전력 소비량이 2030년까지 두 배가 될 것으로 전망했다. 트랜스포머의 의미 포착 능력을 가능하게 한 전수 비교 방식이 모델 확대 단계에서는 비용과 에너지 부담을 키우는 제약으로 바뀐 셈이다.

3. 긴 문맥과 추론 모델이 한계를 증폭

트랜스포머는 텍스트를 단어 단위로 처리하기 때문에 많은 정보를 한꺼번에 추적하는 데 어려움을 겪으며, 그 결과 문맥 창을 무한정 확대할 수 없다. 하지만 더 어려운 작업을 수행하려는 모델은 문서 라이브러리 전체, 하나의 코드베이스 전체, 또는 에이전트가 주고받는 다른 모델의 출력처럼 훨씬 많은 데이터를 입력받아야 한다. 추론 모델도 생각의 사슬이라는 메모를 스스로 작성한 뒤 다시 읽는 방식으로 작동하므로 관리해야 할 텍스트의 양을 추가로 늘린다. 모델이 커지고 기능이 많아질수록 계산과 문맥 관리 부담이 함께 커져 트랜스포머가 성능 향상의 병목으로 부상한다. 기사는 이를 해결할 방향으로 어텐션 재설계, 더 작고 유연한 모델, 동시 텍스트 생성, 언어를 넘어서는 모델이라는 네 가지 흐름을 제시한다.

4. 서브쿼드래틱의 희소 어텐션

마이애미의 서브쿼드래틱은 모든 토큰 쌍을 계산하지 않고 일부 관계만 선택하는 희소 어텐션으로 문제를 직접 해결하려 한다. 희소 어텐션 자체는 오래전부터 연구됐지만, 기존 방식들은 계산량을 줄이는 대신 밀집 어텐션만큼 정확하게 의미를 포착하지 못했다. 회사는 자사의 서브큐 모델이 입력을 받을 때마다 어떤 단어가 중요한지를 동적으로 판별하며, 검색과 코딩을 포함한 일부 과제에서 주요 대규모 언어 모델과 경쟁할 수 있다고 주장한다. 이는 최초로 밀집 어텐션 수준에 도달한 희소 어텐션이라는 큰 주장이지만, 기사에는 업계 일부가 여전히 회의적이라는 점도 함께 제시된다. 회사 측은 대기 명단에 수천 명이 등록했으며 모델을 조만간 널리 공개할 계획이라고 밝혔다.

5. 매니페스트 에이아이의 파워 리텐션

샌프란시스코의 매니페스트 에이아이는 어텐션의 계산 범위를 줄이는 대신 어텐션 자체를 파워 리텐션이라는 방식으로 대체한다. 이 구조는 모델이 문맥 창 전체를 계속 보관하도록 하지 않고, 현재 작업에 가장 관련 있는 정보만 유지하면서 새 정보가 들어올 때 덜 중요한 내용을 제거한다. 희소 어텐션이 개별 단어를 많이 버리더라도 전체 문맥의 대략적인 모습을 남기는 것과 달리, 파워 리텐션은 문맥을 지속적으로 갱신되는 요약 형태로 제공한다. 회사는 기존 트랜스포머 모델을 최소한의 재훈련으로 변환할 수 있다고 주장하며, 오픈소스 코딩 모델 스타코더를 파워코더로 바꾸고 큐원의 일부 버전과 경쟁한다고 주장하는 브럼비도 공개했다. 매니페스트 에이아이는 이 기술을 수 시간짜리 영상 분석이나 수 주 동안 과제를 유지하는 에이전트처럼 방대한 데이터를 다루는 작업에 적용하려 한다.

6. 리퀴드 에이아이의 작고 유연한 혼합 모델

매사추세츠주 케임브리지의 엠아이티 분사기업 리퀴드 에이아이는 트랜스포머를 완전히 제거하지 않고 액체 신경망과 결합한 액체 기반 모델을 개발한다. 액체 신경망은 벌레의 뇌에서 영감을 받았으며, 트랜스포머 이전부터 존재한 합성곱 신경망을 확장해 새 정보에 따라 행동을 바꾸고 실행 중 학습할 수 있도록 한 것이 핵심이다. 회사의 최신 모델은 트랜스포머 20%와 액체 신경망 80%로 구성되며, 이 비율은 여러 신경망 조합을 탐색하는 별도의 설계용 인공지능이 찾아냈다. 회사에 따르면 이 모델들은 네 배 큰 큐원과 젬마 일부 버전의 성능에 맞먹으면서도 크기와 에너지 사용량을 줄였다. 메르세데스를 포함한 자동차 제조업체용 소형 칩에서 실행되고 최신 버전은 50달러짜리 저전력 컴퓨터인 라즈베리 파이에서도 작동한다. 연 매출 1천만 달러 미만 조직에는 무료로 제공되며, 최고경영자에 따르면 누적 다운로드 수는 약 3천400만 회다.

7. 인셉션의 텍스트 확산 생성

대부분의 대규모 언어 모델은 사람의 말하기와 쓰기처럼 한 번에 한 단어씩 출력하지만, 인셉션은 문장이나 문단 전체를 동시에 만들어 속도와 비용을 줄이려 한다. 이 회사는 무작위 픽셀을 한꺼번에 수정해 이미지를 만드는 확산 기법을 텍스트에 적용해, 무작위 단어 배열을 의미 있는 문장으로 변환하도록 모델을 훈련했다. 텍스트에는 고양이와 개 사이의 중간 단어처럼 자연스러운 연속 단계가 없다는 난점이 있었지만, 공동창업자 스테파노 에르몬과 스탠퍼드 동료들은 2024년 이를 처리할 수학적 방법을 개발했다. 당시 모델은 2019년의 지피티-2와 비슷한 성능을 내면서 속도는 열 배 빨랐고, 이를 바탕으로 회사가 설립됐다. 인셉션은 최신 머큐리 2가 2023년에 나온 일부 지피티-4 모델과 비슷한 성능을 내면서도 열 배 빠르다고 주장한다. 이 방식도 의미 부호화에는 트랜스포머를 사용하지만 여러 토큰을 동시에 예측하며, 구글 역시 디퓨전 젬마라는 시제품으로 같은 접근을 실험하고 있다.

8. 패스웨이의 언어 제약 탈피와 검증 경계

팰로앨토의 패스웨이는 네 흐름 가운데 가장 급진적인 목표를 제시하며, 대규모 언어 모델을 언어 자체의 제약에서 해방하려 한다. 회사가 만든 모델 드래곤 해츨링의 이름은 강하게 생각하면 실체화하는 용이 등장하는 테리 프래쳇의 소설 《마법의 색》에서 가져왔다. 원문에 제시된 대표 성과는 25만 개가 넘는 매우 어려운 스도쿠 문제로 구성된 벤치마크에서 97%가 넘는 문제를 해결한 결과이며, 여러 최상위 연구소의 주요 모델은 이 시험에 실패했다고 서술된다. 다만 제공된 원문은 이 결과를 소개하는 대목에서 끝나므로 드래곤 해츨링의 구체적인 구조, 학습법, 비교 조건은 확인할 수 없다. 따라서 이 사례에서 근거로 삼을 수 있는 범위는 언어의 제약을 넘겠다는 개발 목표와 기사에 명시된 스도쿠 벤치마크 결과까지다.

🧾 핵심 주장 / 시사점

• 기사의 대안들은 하나의 공통 후계 구조로 수렴하지 않으며, 토큰 비교 범위·기억 관리·신경망 조합·출력 순서·문제 표현이라는 서로 다른 층을 고친다.
• 긴 문맥과 생각의 사슬은 모델의 능력을 넓히는 동시에 처리해야 할 데이터도 늘리므로, 트랜스포머의 기존 계산 문제를 더욱 두드러지게 만든다.
• 일부 접근은 트랜스포머를 없애기보다 선택적으로 유지하거나 변환해 활용하며, 기사에서 인셉션이 강조한 경쟁 기준은 속도와 비용을 결합한 달러당 지능이다.

✅ 액션 아이템

• 트랜스포머의 밀집 어텐션은 장문 입력에서 계산량·전력 소비가 급증하므로 '확장이라기보다' 우회 보완이라는 제약 하에 서브쿼드래틱·매니페스트 비교 프레임을 정의한다.
• 서브쿼드래틱의 희소 어텐션은 핵심 토큰 관계만 계산하고 매니페스트 에이아이의 파워 리텐션은 정보 보존을 갱신하므로 계산 복잡도 대비 정확도 기준을 함께 점검한다.
• 리퀴드 에이아이는 트랜스포머와 액체 신경망을 결합해 차량용 칩과 라즈베리 파이에서 실행 가능하므로 저전력 배포 후보를 우선순위화한다.

❓ 열린 질문

• 리퀴드 에이아이는 트랜스포머-액체 혼합 모델로 차량용 칩에서 장문 문맥 처리 정확도와 비용을 동시에 만족할 수 있는가?
• 인셉션의 텍스트 확산은 여러 토큰 동시 생성으로 속도와 비용 개선을 노리는데, 장문 추론에서 성능 우위를 어떤 지표로 판단할 것인가?
• 패스웨이의 언어 제약 초월 모델은 대규모 스도쿠 벤치마크에서 높은 성과를 보였지만 어떤 제한된 벤치마크 조건이 일반화를 가릴 가능성이 있는가?