Exa boosts embedding throughput by 50% to index billions of documents on AWS AI chips
Quick Summary
Exa는 우선순위 문서 300억 건을 다시 임베딩하는 과정에서 AWS Inferentia2의 처리량을 약 50% 높였으며, 본문에서는 초기 구현 대비 최종 성능과 문서 100만 건당 비용이 47% 개선됐다고 보고했다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
Exa는 우선순위 문서 300억 건을 다시 임베딩하는 과정에서 AWS Inferentia2의 처리량을 약 50% 높였으며, 본문에서는 초기 구현 대비 최종 성능과 문서 100만 건당 비용이 47% 개선됐다고 보고했다.
📌 핵심 요약
- Exa는 웹 문서와 질의를 같은 벡터 공간에 임베딩해 의미 검색을 제공한다. 새 문서 모델을 도입하면서 기존 색인을 계속 갱신하는 동시에 우선순위 문서 300억 건을 재처리해야 해 임베딩 부하가 일시적으로 두 배가 됐다.
- Inferentia2의 초기 FP16 구현을 기준으로 가중치 배치를 바꾸고 행렬곱에 자동 정밀도 변환을 적용했다. 이어 Neuron Kernel Interface(NKI)의 기본 어텐션 커널을 도입해 처리량을 높였다.
- 맞춤형 SwiGLU MLP 커널은 고대역폭 메모리(HBM)에 중간값을 저장하고 다시 읽을 때 생긴 대기를 해소했다. 이후 모델의 실제 어텐션 헤드 형상에 맞춰 패딩 연산과 HBM 왕복을 줄이면서 처리량이 초기 대비 약 1.5배에 이르렀다.
- 최적화를 수행한 에이전트들은 Flyte에서 변경 결과가 기준 모델과 코사인 유사도 0.999를 충족하는지 검증했다. 이어 순전파를 프로파일링하고 실제 하드웨어에서 30분간 포화 부하 성능을 측정했다.
- Exa는 미국 서부 오리건 리전에서 진행한 Inferentia2 최적화를 Trainium2에도 적용했다. 단일 Kubernetes 제어 영역에서 여러 리전의 인스턴스별 비용 대비 성능을 비교하고 임베딩 수요에 따라 작업을 재배치한다.
🧩 주요 포인트
- 기존 색인 갱신과 300억 건 재임베딩이 겹치면서 초당 처리 문서 수와 문서 100만 건당 비용이 하드웨어 선택의 기준이 됐다.
- 기본 NKI 커널을 적용한 뒤에도 HBM 대기와 패딩 연산이 남았다. 프로파일링으로 두 병목을 구분한 덕분에 맞춤형 커널이 필요한 지점을 좁힐 수 있었다.
- 코사인 유사도 0.999로 출력의 일관성을 확인하고 30분 포화 부하로 처리량을 측정해, 에이전트가 만든 변경을 같은 조건에서 비교할 수 있었다.
🧠 상세 정리
1. 문서 300억 건을 다시 임베딩한 이유
Exa는 웹에서 수집한 자료와 비공개·합성 자료를 모아 자체 벡터 데이터베이스에 색인한다. 멀티타워 모델이 문서와 질의를 같은 벡터 공간에 표현하므로 사용자는 키워드 검색과 함께 복잡한 자연어 질의도 사용할 수 있다. 수집한 문서는 파싱과 품질 필터링을 거쳐 임베딩을 마쳐야 검색에 노출되므로, 비동기 파이프라인의 처리량은 새 자료가 검색 가능해지는 시점에 영향을 준다. 새 문서 모델을 도입하면서 Exa는 우선순위 문서 300억 건을 골라 다시 임베딩했다. 수집과 파싱 단계는 공유했지만 기존 모델로 운영 색인을 갱신하는 작업과 새 모델로 새 색인을 만드는 작업이 겹쳐 임베딩 부하가 일시적으로 두 배가 됐다.
2. Inferentia2 기준선과 첫 처리량 개선
Exa가 제시한 Inferentia2 수치는 칩 한 개에 NeuronCore 두 개가 있는 최소 인스턴스 inf2.xlarge를 기준으로 한다. 임베딩 작업 하나는 NeuronCore 하나에서 실행되므로 더 큰 인스턴스에서도 같은 구성의 Kubernetes 파드를 배치해 모든 코어를 활용할 수 있다. 초기 구현은 모델을 FP16으로 표현하고 데이터를 나눠 병렬 처리했다. Exa는 먼저 가중치 배치를 모델의 연산 순서와 데이터 배치에 맞춰 불필요한 전치를 없앴다. 이어 행렬곱을 낮은 정밀도로 실행하도록 자동 변환을 켰고, 변환 후 출력이 기준 모델과 코사인 유사도 0.999를 충족하는지 확인했다. 여기에 NKI가 제공하는 어텐션 커널을 적용하면서 처리량이 한 차례 더 높아졌다.
3. SwiGLU MLP에서 발견한 메모리 대기
기본 커널로 개선할 수 있는 부분을 반영한 뒤, Neuron Explorer에는 중간값을 고대역폭 메모리(HBM)에 내보냈다가 다시 읽는 동작이 반복해서 나타났다. 이때 생기는 대기 때문에 순전파 도중 텐서 엔진의 연산 능력을 충분히 활용하기 어려웠다. Exa는 먼저 기본 MLP 커널을 적용해 어느 지점에서 대기가 생기는지 측정한 뒤, 가중치를 제자리에 유지하면서 여러 연산을 결합하는 맞춤형 SwiGLU MLP 커널을 작성했다. Exa에 따르면 이 변경으로 해당 커널에서 관찰된 HBM 대기가 해소됐다. 데이터 배치와 반복문, 메모리 처리는 엔지니어가 코드를 이해하고 디버깅하기 쉽도록 상위 수준의 NKI 언어로 작성했고, 특정 텐서 연산에만 하위 수준의 NKI 명령어를 사용했다.
4. 두 코어를 함께 쓸 때 드러난 어텐션 병목
같은 칩의 다른 코어를 쉬게 했을 때는 두 코어를 동시에 가동했을 때보다 코어당 처리량이 상당히 높았다. 이 차이는 코어 사이의 자원 경합을 시사했고, 추가 측정에서는 텐서 엔진에 여전히 연산 여력이 있는 것으로 나타났다. Exa는 여러 입력 형상을 지원하는 범용 어텐션 커널이 패딩에 쓰는 연산을 줄이기 위해 모델의 실제 어텐션 헤드 형상에 맞춰 커널을 다시 작성했다. 여러 명령에 걸쳐 수행하던 어텐션 연산도 단일 행렬곱으로 합쳐 내부 반복문의 연산 수와 HBM 왕복을 함께 줄였다. Exa는 전체 최적화에 따른 처리량 증가를 약 1.5배로 요약했으며, 최종 구현의 성능과 문서 100만 건당 비용은 초기 기준선 대비 47% 개선됐다고 밝혔다.
5. 에이전트가 작성한 변경의 검증 방식
각 에이전트는 Flyte에서 독립된 워크플로를 실행해 Neuron 실행 파일인 NEFF를 컴파일하고, 기준 데이터셋에서 순전파 결과를 원래 모델의 출력과 비교했다. 변경을 받아들이는 기준은 코사인 유사도 0.999였다. 이어 순전파 한 번을 프로파일링해 병목을 찾고, 실제 하드웨어에 30분 동안 포화 부하를 걸어 처리량을 측정했다. 경량 모델은 컴파일러 매개변수 조합을 탐색하고, 추론 모델은 복잡한 가설을 검토했으며, 코드 생성 능력이 가장 높은 모델은 맞춤형 커널을 작성했다. Exa는 작업 난도에 맞춰 모델을 배정해 개발 비용을 관리했고, 에이전트가 최신 Neuron 기능과 문법을 활용할 수 있도록 전용 개발 지침도 사용했다.
6. Trainium2와 여러 리전으로 확장한 배경
Inferentia2 최적화는 미국 서부 오리건 리전(us-west-2)에서 진행됐다. Exa는 스팟 및 온디맨드 인스턴스의 가용성이 리전마다 다르고 사내 여러 팀이 같은 자원을 필요로 하므로, 한 리전이나 한 인스턴스 유형에 의존하면 용량 부족이 서비스에 영향을 줄 수 있다고 설명했다. Exa의 스케줄러는 단일 Kubernetes 제어 영역에서 여러 리전의 인스턴스별 비용 대비 성능을 비교해 비용이 가장 낮은 노드에 파드를 배치하고 수요가 달라지면 다시 배치한다. 같은 작업을 Trainium2의 NeuronCore에서도 데이터 병렬 방식으로 실행할 수 있어 Inferentia2에서 수행한 최적화를 옮겨 적용할 수 있었다. 덕분에 다른 팀이 필요로 하는 노드를 비워 주거나 그 팀이 예약한 유휴 용량을 임베딩에 활용할 수 있다고 Exa는 밝혔다.
🧾 핵심 주장 / 시사점
- 문서당 절감액의 효과는 재임베딩할 문서 수에 비례해 커진다. Exa 사례에서 모델 교체는 기존 색인과 새 색인을 함께 운영해야 하는 시기이자 하드웨어의 비용 대비 성능을 재평가할 계기였다.
- 코어 하나에서 얻은 처리량만으로는 칩 전체의 처리량을 예측하기 어려웠다. 두 코어를 함께 가동한 결과를 비교한 것이 메모리 대기를 줄인 뒤에도 남아 있던 연산 낭비를 찾는 단서가 됐다.
- 여러 하드웨어에서 같은 모델을 효율적으로 실행할 수 있으면 스케줄러가 선택할 수 있는 자원이 늘어난다. Exa는 그 효과로 다른 팀과의 자원 경합 완화와 유휴 예약 용량 활용을 들었다.
✅ 액션 아이템
- 300억 건 재임베딩의 효율을 초당 처리 문서 수와 문서 100만 건당 비용으로 함께 비교한다.
- 맞춤형 커널의 결과를 코사인 유사도 0.999로 검증하고, 실제 하드웨어에서 30분 포화 부하로 처리량을 비교한다.
- Inferentia2와 Trainium2의 비용 대비 성능을 비교해 리전별 작업 배치에 반영한다.
❓ 열린 질문
- 300억 건 재임베딩에서 초기 구현과 최종 구현의 문서 100만 건당 실제 비용은 각각 얼마였는가?
- 맞춤형 SwiGLU MLP 커널의 HBM 대기 해소와 어텐션 패딩 연산 감소는 각각 전체 처리량 개선에 얼마나 기여했는가?
- 같은 임베딩 작업에서 Inferentia2와 Trainium2의 비용 대비 성능은 리전별로 얼마나 달랐는가?