🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

ExecuTorch 0.7은 KleidiAI를 기본 활성화하고 널리 보급된 Arm의 SDOT 명령어를 활용해, 최신 스마트폰뿐 아니라 구형 안드로이드 기기와 라즈베리 파이 5에서도 실용적인 온디바이스 생성형 인공지능을 지원한다.

📌 핵심 요약

• ExecuTorch 0.7 베타에서는 KleidiAI가 기본 활성화되어 개발자가 별도의 코드를 작성하거나 맞춤형 튜닝을 하지 않아도 Arm 중앙처리장치의 인공지능 최적화를 이용할 수 있다.
• Armv8.2부터 도입된 SDOT 명령어는 8비트 정수 벡터의 내적을 효율적으로 처리하며, 8비트와 4비트 정밀도의 대규모 언어 모델 행렬 곱셈을 가속한다.
• SDOT은 약 30억 대의 Arm 기반 기기에 포함되어 있고 전체 기기의 72%가 지원하므로, 3~5년 된 스마트폰과 라즈베리 파이 5까지 생성형 인공지능의 실행 범위를 넓힐 수 있다.
• 기존 I8MM 기반 최적화에서는 갤럭시 S24+의 사전 채우기 성능이 비최적화 커널보다 20% 이상 높았으며, 초당 350개 이상의 사전 채우기 토큰과 초당 40개 이상의 생성 토큰을 기록했다.
• SDOT 기반의 양자화된 라마 3.2 10억 매개변수 모델은 오프라인 음성 비서, 비공개 로컬 처리, 문서 작성과 코딩을 위한 문맥 인식 자동 완성 등 실용적인 온디바이스 기능을 가능하게 한다.

🧩 주요 포인트

1. ExecuTorch 0.7 베타에서는 KleidiAI가 기본 활성화되어 개발자가 별도의 코드를 작성하거나 맞춤형 튜닝을 하지 않아도 Arm 중앙처리장치의 인공지능 최적화를 이용할 수 있다.
2. Armv8.2부터 도입된 SDOT 명령어는 8비트 정수 벡터의 내적을 효율적으로 처리하며, 8비트와 4비트 정밀도의 대규모 언어 모델 행렬 곱셈을 가속한다.
3. SDOT은 약 30억 대의 Arm 기반 기기에 포함되어 있고 전체 기기의 72%가 지원하므로, 3~5년 된 스마트폰과 라즈베리 파이 5까지 생성형 인공지능의 실행 범위를 넓힐 수 있다.
4. 기존 I8MM 기반 최적화에서는 갤럭시 S24+의 사전 채우기 성능이 비최적화 커널보다 20% 이상 높았으며, 초당 350개 이상의 사전 채우기 토큰과 초당 40개 이상의 생성 토큰을 기록했다.
5. SDOT 기반의 양자화된 라마 3.2 10억 매개변수 모델은 오프라인 음성 비서, 비공개 로컬 처리, 문서 작성과 코딩을 위한 문맥 인식 자동 완성 등 실용적인 온디바이스 기능을 가능하게 한다.

🧠 상세 정리

1. KleidiAI 기본 활성화와 개발 경험의 변화

Arm은 KleidiAI를 인공지능 연산 가속 계층으로 제공하고 있으며, 이미 XNNPack, 미디어파이프, MNN, ONNX 런타임, 라마닷씨피피처럼 널리 쓰이는 엣지 인공지능 프레임워크에 통합해 왔다. 이 통합은 개발자가 기존 코드를 바꾸지 않아도 성능 향상을 얻도록 설계되었다. 곧 공개될 ExecuTorch 0.7 베타에서는 KleidiAI가 기본으로 활성화되어 최신 Arm 중앙처리장치뿐 아니라 이전 세대 스마트폰에서도 자동 가속을 제공한다. 안드로이드와 교차 플랫폼 개발자는 ExecuTorch와 XNNPack을 통해 더 빠른 모델 시작, 낮은 지연 시간, 줄어든 메모리 사용량을 별도의 통합 작업 없이 활용할 수 있다. 과거에는 기기별 맞춤형 조정이 필요했던 성능 최적화가 즉시 사용할 수 있는 기본 기능으로 바뀐다는 것이 핵심이다.

2. 구형 기기까지 확장되는 온디바이스 생성형 인공지능

모바일 생성형 인공지능은 흔히 강력한 중앙처리장치, 그래픽처리장치, 신경망처리장치를 갖춘 최신 플래그십 스마트폰의 기능으로 인식된다. 그러나 이 글은 대규모 언어 모델을 이용하는 생성형 인공지능 경험을 3년에서 5년 된 기기와 라즈베리 파이 5에서도 구현할 수 있다고 설명한다. 이를 가능하게 하는 기반은 2015년 이후 Arm 중앙처리장치에 폭넓게 포함된 SDOT 연산 기능이다. 새로운 전용 가속기가 없는 기기라도 기존 중앙처리장치의 정수 연산 명령을 효과적으로 활용하면 양자화 모델을 실행할 수 있다. 따라서 ExecuTorch 0.7의 목표는 최고급 기기의 최대 성능만 높이는 것이 아니라, 이미 사용 중인 광범위한 하드웨어에서 실용적인 생성형 인공지능을 제공하는 데 있다.

3. SDOT 명령어의 작동 방식과 보급 범위

SDOT은 Armv8.2 아키텍처와 그 이후 중앙처리장치에 도입된 부호 있는 내적 명령어로, 8비트 정수 벡터의 내적을 효율적으로 수행한다. 한 번의 명령은 좌우 벡터 레지스터에서 대응하는 네 개의 8비트 원소 묶음을 각각 계산해 네 개의 32비트 정수 결과를 만든다. 이러한 연산은 대규모 언어 모델의 핵심 계산인 행렬 곱셈에서 반복되는 행과 열의 내적을 가속하는 데 활용할 수 있다. 특히 8비트 또는 4비트와 같은 낮은 정밀도로 양자화된 모델에서 유용하다. 글에 따르면 약 30억 대의 Arm 기반 기기에 이 기능이 포함되어 있으며, 전체 기기의 72%가 SDOT을 지원한다. ExecuTorch는 이 넓은 보급 기반을 활용해 라마 3.2 같은 모델을 대다수 안드로이드 기기와 라즈베리 파이 5에서 효율적으로 실행하도록 지원한다.

4. I8MM 성과에서 SDOT 최적화로의 확장

ExecuTorch와 KleidiAI 팀은 전년도에 양자화된 라마 3.2 10억 매개변수 모델을 위해 Armv8.6 이후 제공되는 I8MM 기능을 활용한 4비트 정수 행렬 곱셈을 최적화했다. 갤럭시 S24+에서 KleidiAI를 적용한 ExecuTorch는 이를 적용하지 않은 커널보다 사전 채우기 성능이 20% 이상 높았다. 측정 결과 사전 채우기 단계에서는 초당 350개 이상의 토큰을 처리했고, 생성 단계에서는 초당 40개 이상의 토큰을 기록했다. 약 50개의 읽지 않은 메시지를 요약할 때 처리하는 입력이 약 600개 토큰이라는 점을 고려하면, 중앙처리장치만으로도 매끄러운 메시지 요약 경험을 제공할 수 있는 수준이다. 올해 두 팀은 더 많은 기기에서 같은 접근을 사용할 수 있도록 SDOT을 활용한 4비트 정수 행렬 곱셈 최적화에 집중했다.

5. 구형 중앙처리장치에서도 확보되는 실용성

SDOT만 지원하는 Arm 중앙처리장치의 대규모 언어 모델 성능은 최신 플래그십 스마트폰과 동일한 수준은 아니다. 그럼에도 글은 여러 상황에서 생성 단계의 속도가 평균적인 사람의 읽기 속도보다 빠르다고 설명한다. 이는 최고 성능의 전용 인공지능 가속기가 없는 구형 기기에서도 사용자가 기다림을 크게 느끼지 않는 생성형 인공지능 기능을 구현할 수 있음을 보여준다. 핵심은 모든 기기에서 같은 최고 수치를 달성하는 것이 아니라, 널리 보급된 명령어와 저정밀도 모델을 결합해 실제 기능을 수행할 만큼 충분한 처리량을 확보하는 데 있다. 이 접근을 통해 온디바이스 생성형 인공지능의 대상은 소수의 최신 고가 기기에서 이미 사용 중인 수십억 대의 Arm 기기로 확대된다.

6. 오프라인 비서와 문맥 인식 자동 완성

양자화된 로컬 대규모 언어 모델을 음성 인식 및 음성 합성 모델과 결합하면 인터넷 연결 없이 완전히 기기 안에서 작동하는 비공개 스마트 비서를 만들 수 있다. 모든 처리를 로컬에서 수행하므로 음성이나 대화 데이터를 외부로 보낼 필요가 없고, 연결된 기기와 상호작용하면서도 개인정보에 대한 우려를 줄일 수 있다. 또 다른 사례는 로컬 문서 편집기에서 라마 3.2 10억 매개변수 모델을 이용해 사용자의 입력 문맥을 파악하고 글쓰기나 코딩을 위한 제안을 실시간으로 제공하는 기능이다. 이 자동 완성 역시 인터넷 연결 없이 실행할 수 있다. 글은 이러한 사례들이 온디바이스 생성형 인공지능의 가능성 중 일부에 불과하다고 강조하며, SDOT과 KleidiAI, ExecuTorch의 결합을 통해 생성형 인공지능을 수십억 대의 기존 Arm 기기로 확장한다는 결론을 제시한다.

🧾 핵심 주장 / 시사점

• KleidiAI를 ExecuTorch와 XNNPack에 기본 통합하면 하드웨어별 최적화가 프레임워크 내부에서 자동 적용되므로, 개발자는 코드 변경이나 별도의 통합 작업 없이 시작 속도, 지연 시간, 메모리 효율 개선을 얻을 수 있다.
• 온디바이스 생성형 인공지능의 보급 범위는 최신 전용 가속기만이 아니라 SDOT처럼 이미 널리 탑재된 중앙처리장치 명령어와 4비트 양자화 행렬 곱셈을 얼마나 효율적으로 활용하는지에 따라 크게 넓어질 수 있다.
• 최신 플래그십과 같은 최대 성능을 내지 못하더라도 생성 속도가 사람의 평균 읽기 속도를 넘는다면 메시지 요약, 오프라인 음성 비서, 문맥 인식 자동 완성처럼 개인정보 보호가 중요한 기능을 구형 기기에서도 실용적으로 제공할 수 있다.

✅ 액션 아이템

• KleidiAI 기본 활성화된 ExecuTorch 0.7 베타를 전면 사용해 맞춤형 튜닝 없이 Arm AI 최적화 적용 범위를 정한다.
• SDOT 8비트·4비트 행렬 가속성과 72% 지원률을 근거로 3~5년 된 스마트폰과 라즈베리 파이 5 대상 적용 우선순위를 정의한다.
• Galaxy S24+의 비최적화 대비 20% 이상 개선, 초당 350개 이상 프리필 및 40개 이상 생성 토큰 수치를 실사용 채택 기준으로 점검한다.

❓ 열린 질문

• SDOT 최적화가 8비트뿐 아니라 4비트 모델에서도 I8MM 대비 20% 이상 개선을 반복적으로 달성하는가?
• SDOT 기반 양자화 라마 3.2 10억 모델이 오프라인 음성 비서와 문서·코딩 자동완성에서 구형 안드로이드 기기에서 실제 체감 성능을 확보하는가?
• 30억 대 Arm 기반 기기 및 72% 지원률 수치만으로 3~5년 된 스마트폰·라즈베리 파이 5 확산 범위를 바로 확대해도 안전한가?