🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

NVIDIA의 개방형 딥리서치 에이전트 AI-Q는 두 Llama 계열 모델과 검색·오케스트레이션 도구를 결합해 2025년 8월 DeepResearch Bench의 ‘LLM with Search’ 부문에서 종합 40.52점을 기록했다.

📌 핵심 요약

• AI-Q는 Llama 3.3-70B Instruct와 Llama-3.3-Nemotron-Super-49B-v1.5를 결합해 장문 검색, 에이전트 추론, 근거 종합, 구조화된 보고서 생성을 수행하는 개방형 딥리서치 에이전트다.
• Llama 3.3-70B Instruct는 유창하고 체계적인 보고서 작성을 담당하며, Llama Nemotron Super는 다단계 추론, 질의 계획, 도구 사용, 성찰에 특화된 역할을 맡는다.
• NeMo Retriever와 NeMo Agent toolkit을 통해 내부·외부 및 멀티모달 검색과 복잡한 다단계 작업을 조율하며, 로컬 데이터와 웹 데이터를 병렬로 검색할 수 있다.
• 평가는 환각 탐지, 다중 출처 종합, 인용 신뢰성, RAGAS 지표를 활용해 최종 답변뿐 아니라 주장과 근거의 연결 및 중간 처리 단계까지 세분화한다.
• AI-Q는 100개 이상의 장문 실전 연구 과제로 구성된 DeepResearch Bench에서 포괄성, 통찰력, 인용 품질에 강점을 보였으며, 개방형 모델과 평가 방법의 재현 가능성을 강조했다.

🧩 주요 포인트

1. AI-Q는 Llama 3.3-70B Instruct와 Llama-3.3-Nemotron-Super-49B-v1.5를 결합해 장문 검색, 에이전트 추론, 근거 종합, 구조화된 보고서 생성을 수행하는 개방형 딥리서치 에이전트다.
2. Llama 3.3-70B Instruct는 유창하고 체계적인 보고서 작성을 담당하며, Llama Nemotron Super는 다단계 추론, 질의 계획, 도구 사용, 성찰에 특화된 역할을 맡는다.
3. NeMo Retriever와 NeMo Agent toolkit을 통해 내부·외부 및 멀티모달 검색과 복잡한 다단계 작업을 조율하며, 로컬 데이터와 웹 데이터를 병렬로 검색할 수 있다.
4. 평가는 환각 탐지, 다중 출처 종합, 인용 신뢰성, RAGAS 지표를 활용해 최종 답변뿐 아니라 주장과 근거의 연결 및 중간 처리 단계까지 세분화한다.
5. AI-Q는 100개 이상의 장문 실전 연구 과제로 구성된 DeepResearch Bench에서 포괄성, 통찰력, 인용 품질에 강점을 보였으며, 개방형 모델과 평가 방법의 재현 가능성을 강조했다.

🧠 상세 정리

1. AI-Q의 성과와 개방형 연구 에이전트의 가능성

NVIDIA의 AI-Q Blueprint는 휴대 가능하고 개방된 딥리서치 에이전트로 소개되며, DeepResearch Bench의 Hugging Face ‘LLM with Search’ 리더보드에서 선두에 올랐다. 기사에 따르면 AI-Q는 2025년 8월 기준 종합 40.52점을 기록해 완전한 개방형 라이선스를 적용한 스택 가운데 가장 높은 순위를 차지했다. 이는 개발자가 직접 사용할 수 있는 개방형 모델로도 장문 검색, 복잡한 추론, 보고서 수준의 종합을 요구하는 에이전트 워크플로를 구현할 수 있음을 보여주는 결과다. 글은 이러한 성과를 개방형 AI 생태계가 실제 연구 과제에서 폐쇄형 대안과의 격차를 줄이거나 일부 영역에서는 앞설 수 있다는 근거로 제시한다.

2. 두 모델을 결합한 역할 분담 구조

AI-Q의 핵심은 Llama 3.3-70B Instruct와 Llama-3.3-Nemotron-Super-49B-v1.5를 하나의 에이전트 스택 안에서 결합한 구조다. Llama 3.3-70B Instruct는 Meta의 Llama 계열에서 파생된 개방형 모델로, 검색 결과와 분석 내용을 유창하고 구조화된 최종 보고서로 작성하는 기반을 제공한다. Llama Nemotron Super는 다단계 추론, 검색 질의 계획, 도구 호출, 결과 성찰처럼 에이전트가 작업 절차를 전개하는 과정에 특화돼 있다. 두 모델의 역할을 분리함으로써 AI-Q는 장문 문맥에서 필요한 자료를 찾고, 여러 근거를 분석한 뒤, 읽기 쉬운 보고서로 종합하는 전체 흐름을 처리한다.

3. 검색과 다단계 워크플로를 지원하는 도구 구성

AI-Q 참조 구성에는 모델뿐 아니라 검색과 작업 조율을 담당하는 NVIDIA NeMo 도구도 포함된다. NeMo Retriever는 내부 자료와 외부 자료를 대상으로 확장 가능한 멀티모달 검색을 제공하며, NeMo Agent toolkit은 여러 단계로 이어지는 복잡한 에이전트 워크플로를 조율한다. 이 아키텍처는 로컬 데이터와 웹 데이터를 병렬로 검색해 지연 시간을 낮추고, 서로 다른 출처에서 수집한 정보를 하나의 결과로 통합하도록 설계됐다. 특히 데이터 통제, 개인정보 보호, 규정 준수 또는 낮은 지연 시간이 중요한 환경에서 온프레미스 방식으로 배포할 수 있다는 점이 주요 활용상의 장점으로 제시된다.

4. Llama Nemotron Super의 훈련 방식과 추론 효율

Llama-3.3-Nemotron-Super-49B-v1.5는 단순히 지시 수행용 모델을 미세 조정한 것이 아니라, 명시적인 에이전트 추론을 수행하도록 후속 훈련된 모델이다. Neural Architecture Search, 지식 증류, 지도학습과 강화학습의 연속적인 단계를 거쳤으며, 지시 이행과 수학·프로그래밍 추론, 도구 호출 능력을 함께 강화했다. 시스템 프롬프트를 통해 추론 기능을 켜거나 끌 수 있어 일반 대화 모델로 사용하거나, 에이전트 파이프라인에서 더 깊은 추론 모드로 전환할 수 있다. 또한 49B 매개변수와 최대 128K 토큰의 문맥 창을 지원하면서 단일 H100 GPU 또는 그보다 작은 구성에서도 실행할 수 있다고 설명돼, 메모리 사용량과 추론 비용을 예측 가능한 수준으로 유지하는 데 초점을 맞췄다.

5. 주장·근거·중간 단계를 평가하는 방법

AI-Q가 강조하는 투명성은 최종 출력에만 국한되지 않고 추론 기록과 중간 처리 단계의 관찰 가능성까지 포함한다. 개발 과정에서는 생성된 각각의 사실 주장을 확인하는 환각 탐지, 서로 떨어진 증거에서 새로운 내용을 종합하는 다중 출처 종합, 주장과 인용 근거의 연결을 자동으로 평가하는 인용 신뢰성 지표가 사용됐다. 여기에 검색 증강 생성의 정확성을 자동 채점하는 RAGAS 지표를 적용해 검색과 생성 과정의 품질을 함께 측정했다. 이처럼 처리 단계를 잘게 나누어 평가할 수 있는 구조는 복잡한 에이전트 파이프라인에서 오류가 발생한 지점을 찾고 디버깅하기 어렵다는 문제를 완화하는 데 유리하다.

6. DeepResearch Bench 결과와 개발자 활용성

DeepResearch Bench는 과학, 금융, 예술, 역사, 소프트웨어 등 여러 분야에서 가져온 100개 이상의 장문 실전 연구 과제로 에이전트 스택을 평가한다. 단답형 질의응답과 달리 각 과제는 여러 단계를 거친 추론, 다양한 출처의 결합, 보고서 분량의 결과 작성을 요구하며, AI-Q는 특히 보고서의 포괄성, 분석의 통찰력, 인용 품질에서 강점을 보였다. 구성 모델인 Llama-3.3-Nemotron-Super-49B-v1.5와 Llama 3.3-70B Instruct는 Hugging Face에서 직접 사용하거나 내려받을 수 있고, vLLM을 이용한 빠른 추론과 도구 호출 방식의 배포도 지원된다. 글은 공개된 후속 훈련 데이터, 투명한 평가 방법, 허용 범위가 넓은 라이선스가 개발자의 실험과 결과 재현을 가능하게 하며, 투명성과 통제권을 유지하면서도 높은 수준의 연구 에이전트를 만들 수 있다고 결론짓는다.

🧾 핵심 주장 / 시사점

• DeepResearch Bench의 결과는 특정 모델 하나의 성능보다 보고서 생성 모델, 추론 특화 모델, 검색기, 에이전트 오케스트레이션을 결합한 전체 스택의 설계가 중요하다는 점을 보여준다.
• AI-Q의 평가 방식은 최종 답변의 자연스러움뿐 아니라 개별 주장, 검색 근거, 인용 연결, 중간 단계까지 검사하므로 장문 연구 에이전트의 오류를 더 구체적으로 추적할 수 있다.
• Llama Nemotron Super는 추론 모드 전환, 최대 128K 문맥, 축소된 메모리 사용량을 함께 제공해 복잡한 에이전트 작업과 배포 효율을 동시에 고려한 모델로 제시된다.

✅ 액션 아이템

• AI-Q가 달성한 40.52점 실험 조건으로 Llama 3.3-70B Instruct와 Llama-3.3-Nemotron-Super-49B-v1.5 역할 구분을 유지해 재현 실험을 수행한다.
• NeMo Retriever와 NeMo Agent toolkit 기반으로 내부·외부·멀티모달 검색을 병렬 수행하고, 장문 과제에서 다단계 추론·근거 종합의 처리 경로를 점검한다.
• DeepResearch Bench의 환각 탐지·다중 출처 종합·인용 신뢰성·RAGAS 지표를 반영해 주장-근거 연결 및 중간 처리 단계의 정합성을 검증한다.

❓ 열린 질문

• 100개 이상의 장문 과제에서 AI-Q가 보인 포괄성·통찰력·인용 품질 우위는 어떤 작업 유형에서 약화될 가능성이 큰가?
• Llama 3.3-70B Instruct와 Llama-3.3-Nemotron-Super-49B-v1.5의 역할 분담에서 성능 기여도를 실제로 어떤 방식으로 분리해 판단할 것인가?
• 개방형 모델·도구 조합에서 인용 신뢰성을 일정 수준 이상 확보하기 위한 정량 기준은 어디로 설정하고 언제 재검증할 것인가?