Raising the quality of insights in agentic analytics

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

에이전트 기반 분석에서 비즈니스 개선으로 이어지는 인사이트는 평균 48%에 그치며, 보고서는 비즈니스 맥락 확보, 평가 부담 완화, 거버넌스와 시맨틱 계층 강화를 품질 개선의 주요 과제로 제시한다.

📌 핵심 요약

• 조사 대상 기업에서 분석 에이전트의 인사이트가 비즈니스를 개선하는 행동으로 이어지는 비율은 평균 48%로, 응답자들이 밝힌 1년 전 평균 37%보다 높아졌지만 여전히 절반에 못 미친다.
• 소수의 ‘인사이트 리더’ 조직에서는 에이전트 인사이트의 70% 이상이 비즈니스를 개선하는 행동으로 이어진다. 전체 응답자는 대체로 기술적·서술적 인사이트를 긍정적으로 평가하지만 행동의 근거가 되는 처방적 인사이트에 대한 평가는 엇갈리며, 리더 조직과 전체 응답자 사이의 품질 평가 격차도 처방적 인사이트에서 특히 크다.
• 조사에 응한 임원의 55%는 낮은 인사이트 품질의 원인으로 비즈니스 맥락 부족을, 45%는 파편화되거나 접근할 수 없는 데이터를 지목했다. 인사이트 리더 중에서는 에이전트의 맥락 접근에 어려움이 있다고 답한 비율이 더 낮았다.
• 조사 대상 조직의 52%는 분석 에이전트가 제대로 평가하고 행동으로 옮기기 어려울 만큼 많은 인사이트를 생성한다고 답했다. 모든 인사이트를 평가할 수 있는 조직은 24%이며, 대부분은 사람의 많은 노력이 필요한 개별 사안별 평가에 의존한다.
• 인사이트 개선을 위한 우선 추진 과제로 응답자의 60%는 AI 및 데이터 거버넌스 강화를, 45%는 데이터 아키텍처에 시맨틱 계층 추가를 꼽았다. 인터뷰한 전문가들도 높은 성능의 에이전트를 위해 시맨틱 계층이 중요하다는 데 동의했다.

🧩 주요 포인트

1. 성과 전환의 개선과 한계 → 비즈니스 개선으로 이어지는 비율은 상승했지만, 처방적 인사이트의 품질은 행동 자동화의 가치와 위험을 함께 좌우하는 쟁점이다.
2. 맥락과 데이터 접근의 격차 → 인사이트 리더의 상대적으로 적은 맥락 접근 어려움은 비즈니스 이해와 데이터 이용 여건을 함께 살펴볼 필요성을 보여준다.
3. 생성량과 평가 역량의 불균형 → 인사이트가 늘어도 평가와 실행이 따라가지 못하므로, 거버넌스와 시맨틱 계층 강화와 함께 평가 부담 완화가 중요하다.

🧠 상세 정리

1. 분석 접근성 확대에서 행동 자동화로

생성형 AI는 불과 몇 년 사이에 조직 전반의 사용자가 분석을 활용할 수 있도록 하며 기업 분석의 모습을 바꾸었다. 에이전트형 AI는 여기서 더 나아가 전체 업무 흐름을 자동화하고, 에이전트가 도출한 인사이트를 바탕으로 행동하는 가능성을 제시한다. 그러나 보고서는 현재 에이전트가 생성하는 인사이트의 품질이 이러한 기대를 충분히 충족하지 못한다고 지적한다. 대부분의 응답자는 현상을 기술하고 설명하는 인사이트의 품질을 긍정적으로 평가하지만, 행동의 근거가 되는 처방적 인사이트에 대해서는 평가가 엇갈린다. 비즈니스를 개선하지 못하는 인사이트는 기대한 투자 수익을 얻기 어렵게 하며, 잘못된 인사이트가 부정확한 행동을 유발하면 평판이나 재무상의 손해로 이어질 수 있다.

2. 성과는 개선됐지만 여전히 절반 미만

조사 대상 기업에서 분석 에이전트가 생성한 인사이트 가운데 비즈니스를 개선하는 행동으로 이어지는 비율은 평균 48%다. 응답자들이 밝힌 1년 전 평균은 37%로, 현재 수치는 이전보다 뚜렷하게 개선된 결과다. 다만 이러한 진전에도 불구하고 현재 생성되는 인사이트의 절반 이상은 여전히 비즈니스 개선에 도움이 되지 못하고 있다. 보고서는 이를 에이전트 기반 분석이 이제 막 성과를 내기 시작한 단계라는 판단의 근거로 제시한다. 따라서 원문의 성과 평가는 개선 추세와 남아 있는 한계를 함께 담고 있으며, 단순한 인사이트 생성 자체보다 실제로 비즈니스를 개선하는 행동으로 연결되는지를 중심에 둔다.

3. 인사이트 리더가 보여주는 품질 격차

보고서는 소수의 우수 조직을 ‘인사이트 리더’라고 부르며 전체 조사 대상과 구분한다. 이들 조직에서는 에이전트 인사이트의 70% 이상이 비즈니스를 개선하는 행동으로 이어져 전체 평균보다 높은 성과를 보인다. 인사이트 리더는 에이전트가 생성하는 인사이트의 품질에도 전체 응답자보다 더 높은 점수를 준다. 특히 행동의 근거가 되는 처방적 인사이트에서 리더 조직과 전체 응답자 사이의 품질 평가 격차가 크게 나타난다. 이는 높은 인사이트 품질과 우수한 비즈니스 성과가 함께 나타나는 집단이 존재한다는 결과이며, 원문은 이 비교를 통해 품질 개선의 사업상 중요성을 강조한다. 다만 제시된 내용만으로 특정 개선 조치가 이러한 성과 차이를 직접 만들었다고 단정할 수는 없다.

4. 비즈니스 맥락과 데이터 접근의 제약

분석 에이전트가 기대에 못 미치는 인사이트를 제공하는 주된 이유로 조사에 응한 임원의 55%가 비즈니스 맥락 부족을 꼽았다. 또 다른 주요 요인으로는 파편화되거나 접근할 수 없는 데이터가 지목됐으며, 이에 해당하는 응답 비율은 45%다. 보고서는 이 두 요인을 통해 인사이트 품질의 문제가 에이전트가 활용할 수 있는 맥락과 데이터의 상태에 연결되어 있음을 보여준다. 인사이트 리더 중에서는 에이전트가 맥락에 접근하는 데 어려움을 겪는다고 답한 비율이 상대적으로 더 낮았다. 다만 원문은 리더 집단의 해당 비율이나 구체적인 맥락 제공 방식을 제시하지 않으므로, 집단 간 차이의 방향과 응답자가 지목한 제약을 중심으로 이해해야 한다.

5. 인사이트 과잉과 사람 중심 평가의 부담

인사이트의 품질뿐 아니라 생성되는 양도 에이전트의 효과를 제한하는 문제로 제시된다. 조사 대상 조직의 과반인 52%는 분석 에이전트가 제대로 평가하고 행동으로 옮길 수 있는 수준을 넘어 너무 많은 인사이트를 생성한다고 답했다. 모든 에이전트 인사이트를 평가할 수 있는 조직은 24%로, 전체의 4분의 1에도 미치지 못한다. 대부분의 조직은 개별 사안별로 인사이트를 평가하며, 현재 이 과정에는 사람의 많은 노력이 필요하다. 따라서 인사이트를 생성하는 능력이 확대되는 것만으로는 충분하지 않으며, 실제 평가와 행동으로 이어지는 과정의 부담도 함께 고려해야 한다는 것이 이 대목의 핵심이다.

6. 거버넌스와 시맨틱 계층에 집중하는 개선 노력

조사 대상 기업들은 더 나은 에이전트 인사이트를 얻기 위한 우선 추진 과제로 AI 및 데이터 거버넌스 강화를 꼽았으며, 응답 비율은 60%다. 데이터 아키텍처에 시맨틱 계층을 추가하는 방안도 45%의 응답자가 제시했다. 인터뷰한 전문가들 역시 높은 성능의 에이전트를 확보하는 데 시맨틱 계층이 중요하다는 데 동의했다. 다만 원문에 제시된 수치는 기업들이 우선시하는 활동의 비율이며, 각 활동을 통한 품질 개선 효과를 직접 측정한 수치로 제시되지는 않는다. 이 콘텐츠는 Snowflake와의 협력으로 제작된 후원 콘텐츠이며, MIT Technology Review 편집부가 아닌 맞춤형 콘텐츠 조직 Insights가 제작했다. 조사와 집필은 사람이 수행했고, AI 도구를 사용했을 경우 그 범위는 사람의 감독 아래 이루어지는 제작 과정으로 제한됐다고 명시한다.

🧾 핵심 주장 / 시사점

• 전체 평균 48%와 인사이트 리더의 70% 이상이라는 차이는 에이전트 기반 분석의 성과가 조직마다 상당히 다르며, 평균적인 개선 추세만으로 성숙도를 판단하기 어렵다는 점을 보여준다.
• 처방적 인사이트는 행동의 근거가 되므로, 이 영역의 품질 평가 격차는 인사이트의 유용성과 잘못된 행동의 위험을 함께 살펴봐야 하는 이유가 된다.
• 비즈니스 맥락 부족과 인사이트 과잉은 서로 다른 제약이다. 거버넌스와 시맨틱 계층에 대한 투자 방향을 살펴보는 동시에, 생성된 인사이트를 평가하고 실행할 수 있는지도 고려할 필요가 있다.

✅ 액션 아이템

• 비즈니스 개선으로 이어지는 평균 48%를 기준으로 인사이트의 성과 연결과 처방적 인사이트의 품질을 함께 검토한다.
• 비즈니스 맥락 부족과 파편화되거나 접근할 수 없는 데이터가 인사이트 품질에 미치는 제약을 확인한다.
• AI 및 데이터 거버넌스 강화와 시맨틱 계층 추가를 검토하고, 인사이트 과잉에 따른 평가 부담 완화를 함께 고려한다.

❓ 열린 질문

• 인사이트 리더에서 70% 이상을 기록한 비즈니스 개선 행동 전환 비율과 처방적 인사이트의 높은 품질 평가는 어떤 관계가 있는가?
• 비즈니스 맥락 부족과 파편화되거나 접근할 수 없는 데이터는 각각 인사이트 품질에 어떤 영향을 미치는가?
• AI 및 데이터 거버넌스 강화와 시맨틱 계층 추가는 인사이트 품질과 평가 부담 완화에 각각 얼마나 기여하는가?