🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Google Cloud의 5세대 Xeon 기반 C4 인스턴스는 3세대 Xeon 기반 N2보다 텍스트 임베딩과 텍스트 생성에서 큰 처리량 및 비용 효율 우위를 보이며, 경량 에이전틱 AI를 CPU만으로 배포할 가능성을 보여준다.

📌 핵심 요약

• 이 글은 에이전틱 AI의 대표 구성요소로 텍스트 임베딩과 텍스트 생성을 선정하고, Google Cloud Compute Engine의 Xeon 기반 CPU 인스턴스인 N2와 C4를 비교 벤치마크했다.
• 비교 대상은 3세대 Intel Xeon Ice Lake 기반 N2와 5세대 Intel Xeon Emerald Rapids 기반 C4이며, C4는 Intel AMX를 포함해 AI 연산 성능 향상을 기대할 수 있는 구성을 갖는다.
• 벤치마크에는 Hugging Face의 optimum-benchmark와 optimum-intel 백엔드가 사용됐고, 임베딩은 WhereIsAI/UAE-Large-V1, 생성은 meta-llama/Llama-3.2-3B 모델로 측정했다.
• 결과적으로 C4는 N2 대비 텍스트 임베딩에서 약 10~24배 높은 처리량을, 텍스트 생성에서 약 2.3~3.6배 높은 처리량을 보였다.
• 가격까지 고려하면 C4의 시간당 비용은 N2의 약 1.3배지만, 임베딩에서는 약 7~19배, 생성에서는 약 1.7~2.9배의 총소유비용 우위를 유지한다고 결론짓는다.

🧩 주요 포인트

1. 이 글은 에이전틱 AI의 대표 구성요소로 텍스트 임베딩과 텍스트 생성을 선정하고, Google Cloud Compute Engine의 Xeon 기반 CPU 인스턴스인 N2와 C4를 비교 벤치마크했다.
2. 비교 대상은 3세대 Intel Xeon Ice Lake 기반 N2와 5세대 Intel Xeon Emerald Rapids 기반 C4이며, C4는 Intel AMX를 포함해 AI 연산 성능 향상을 기대할 수 있는 구성을 갖는다.
3. 벤치마크에는 Hugging Face의 optimum-benchmark와 optimum-intel 백엔드가 사용됐고, 임베딩은 WhereIsAI/UAE-Large-V1, 생성은 meta-llama/Llama-3.2-3B 모델로 측정했다.
4. 결과적으로 C4는 N2 대비 텍스트 임베딩에서 약 10~24배 높은 처리량을, 텍스트 생성에서 약 2.3~3.6배 높은 처리량을 보였다.
5. 가격까지 고려하면 C4의 시간당 비용은 N2의 약 1.3배지만, 임베딩에서는 약 7~19배, 생성에서는 약 1.7~2.9배의 총소유비용 우위를 유지한다고 결론짓는다.

🧠 상세 정리

1. 에이전틱 AI와 CPU 실행 가능성 문제의식

글은 에이전틱 AI를 인공지능의 다음 전선으로 소개하며, 인지·추론·행동으로 이어지는 파이프라인을 핵심 구조로 설명한다. 이 구조에서는 대형 언어모델의 추론과 계획 능력에 더해, 벡터 데이터베이스나 센서 입력 같은 도구가 문맥 이해를 강화한다. 또한 함수 호출 기능을 통해 AI가 단순한 대화형 챗봇을 넘어 실제 행동을 수행할 수 있다고 본다. 다만 에이전틱 AI 시스템에 점점 더 많은 도구가 결합되고, 그 도구 상당수가 CPU에서 작동하기 때문에 호스트와 가속기 사이의 트래픽 오버헤드가 문제가 될 수 있다는 점을 출발점으로 삼는다.

2. 작은 언어모델과 Xeon CPU 발전이 만든 벤치마크 배경

저자들은 작은 언어모델이 더 작지만 강력해지고 있다는 흐름을 CPU 기반 에이전틱 AI 가능성과 연결한다. 예시로 Meta의 Llama 3.2 1B 및 3B 모델처럼 다국어 텍스트 생성과 도구 호출 능력을 제공하는 소형 모델을 언급한다. 동시에 CPU도 AI 지원 기능을 강화하고 있으며, Intel은 4세대 Xeon부터 AI 텐서 가속기인 Advanced Matrix Extensions, 즉 AMX를 도입했다. 글은 이 세 가지 흐름, 즉 CPU에서 실행되는 도구 증가, 소형 언어모델의 성능 향상, Xeon CPU의 AI 연산 지원 확대가 결합될 때 전체 경량 에이전틱 AI 시스템을 CPU만으로 구동할 수 있는지를 확인해볼 만하다고 설명한다.

3. 비교 대상과 벤치마크 설계

벤치마크는 Google Cloud Compute Engine의 N2와 C4 인스턴스를 대상으로 한다. N2는 3세대 Intel Xeon Ice Lake 기반으로 AVX-512는 있지만 AMX는 없고, C4는 5세대 Intel Xeon Emerald Rapids 기반으로 AMX를 포함한다. 저자들은 세대 간 CPU 성능 향상을 비교하기 위해 두 인스턴스 모두 96 vCPU 구성으로 맞췄고, C4와 N2가 각각 한 소켓에 대응하도록 설정했다고 설명한다. 측정 대상은 에이전틱 AI의 대표 구성요소 두 가지인 텍스트 임베딩과 텍스트 생성이며, 임베딩은 입력 시퀀스 길이 128에서 배치 크기 1~128을, 생성은 입력 256과 출력 32에서 배치 크기 1~64를 훑는 방식으로 구성됐다.

4. 재현 가능한 환경 설정과 실행 절차

글은 재현성을 위해 optimum-benchmark 저장소의 특정 커밋과 optimum-intel의 특정 커밋을 명시하고, Docker 기반 환경 구성 절차를 제시한다. 사용자는 Google Cloud 콘솔에서 N2 또는 C4 VM을 생성한 뒤 SSH로 접속해 optimum-benchmark를 클론하고, CPU용 Docker 이미지를 빌드해 컨테이너 안에서 필요한 패키지를 설치한다. 설치 목록에는 PyTorch CPU 빌드, Intel Extension for PyTorch, optimum-benchmark의 IPEX 옵션, Hugging Face Hub 등이 포함된다. 또한 스레드 수와 Intel OpenMP 관련 환경변수를 설정하고, Llama 모델 접근을 위해 Hugging Face 로그인 절차가 필요하다고 안내한다.

5. 임베딩과 생성 벤치마크 구성

텍스트 임베딩 실험에서는 optimum-benchmark의 예제 설정 파일인 ipex_bert.yaml을 수정해 기본 모델을 bert-base-uncased에서 WhereIsAI/UAE-Large-V1로 바꾼다. 두 인스턴스 모두 소켓당 2개의 NUMA 도메인을 가진다는 전제에서 numactl의 CPU 노드와 메모리 바인딩을 0,1로 조정하는 점도 명시된다. 텍스트 생성 실험에서는 ipex_llama.yaml을 수정해 기본 TinyLlama 모델 대신 meta-llama/Llama-3.2-3B를 사용한다. 두 경우 모두 bfloat16 dtype, export 설정, IPEX 백엔드를 사용하는 흐름이며, 최종적으로 각각 optimum-benchmark 명령을 실행해 설정 파일 기반으로 측정한다.

6. 결과와 결론: C4의 처리량 및 비용 효율 우위

결과에서 C4 인스턴스는 텍스트 임베딩 벤치마크 전반에서 N2보다 약 10~24배 높은 처리량을 보였다. 텍스트 생성에서도 C4는 N2보다 약 2.3~3.6배 높은 처리량을 일관되게 기록했으며, 배치 크기 1~16 범위에서는 사용자 경험을 크게 해치지 않으면서 동시 질의 처리 가능성을 높일 수 있다고 설명한다. 가격 측면에서 C4의 시간당 비용은 N2의 약 1.3배로 제시되지만, 처리량 차이를 반영하면 임베딩에서는 약 7~19배, 생성에서는 약 1.7~2.9배의 TCO 우위가 있다고 정리한다. 결론적으로 저자들은 AMX와 메모리 성능 개선이 Xeon CPU 기반 AI 워크로드에 실질적 이점을 제공하며, 향후 Google Cloud에 Granite Rapids 기반 인스턴스가 제공되면 추가 벤치마크를 수행하겠다고 말한다.

🧾 핵심 주장 / 시사점

• 이 글의 핵심은 GPU와 별개로, 도구 호출·벡터 검색·소형 언어모델이 결합된 경량 에이전틱 AI 구성에서는 CPU 단독 배포가 현실적인 선택지가 될 수 있음을 수치로 보였다는 점이다.
• C4의 시간당 비용이 N2보다 높더라도 처리량 개선 폭이 더 크기 때문에, 단순 인스턴스 가격보다 워크로드별 처리량 대비 비용을 기준으로 인프라를 평가해야 한다는 메시지가 강하다.
• 텍스트 임베딩에서 성능 차이가 특히 크게 나타난 만큼, 에이전틱 AI 시스템에서 벡터화·검색 전처리처럼 반복적으로 호출되는 CPU 친화적 구성요소의 최적화가 전체 비용 구조에 큰 영향을 줄 수 있다.

✅ 액션 아이템

• N2 대비 텍스트 임베딩 10~24배, 텍스트 생성 2.3~3.6배 우위를 보인 C4를 경량 에이전틱 AI CPU 배포 대안으로 정한다.
• 3세대 N2(Ice Lake)와 5세대 C4(Emerald Rapids, Intel AMX) 비교 수치로 임베딩·생성 TCO 절감 구간을 정량화한다.
• optimum-benchmark와 optimum-intel 기반 측정 파이프라인에 WhereIsAI/UAE-Large-V1, Llama-3.2-3B를 적용해 CPU-only 실증 조건을 재현 점검한다.

❓ 열린 질문

• 실제 트래픽에서 C4의 텍스트 임베딩 처리량 이점이 10~24배 수준으로 유지될 수 있을까?
• 임베딩에서 7~19배, 생성에서 1.7~2.9배의 TCO 우위가 워크로드 편차별로 일관되게 성립할 수 있을까?
• 시간당 비용이 1.3배인 C4 사용 시 경량 에이전틱 AI 운영에서 성능 대비 비용 임계점은 어디인가?