We still don’t know how people are really using AI

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

AI Observatory는 기업이 선택적으로 공개한 이용 보고서의 공백을 메우기 위해 동의 기반 실제 대화를 통합 분석했으며, 모델·시기별 이용 차이와 업무 중심 집계에서 가려지는 민감하고 개인적인 사용을 드러냈다.

📌 핵심 요약

• Anthropic과 OpenAI의 자체 이용 보고서는 기업이 정한 질문과 공개 범위에 좌우되며, 이를 독립적으로 검증할 자료가 부족하다는 문제의식에서 AI Observatory가 출범했다.
• AI Observatory는 2023~2025년 7개 데이터셋에 담긴 5,000명의 이용자, 52개 모델, 2만 4,521개 대화와 8만 5,633개 대화 턴을 통합 분석했다.
• Anthropic의 업무·생산성 중심 방식을 적용하면 대화의 48%가 제외됐으며, 이 비업무 대화에는 건강·관계, 성적 콘텐츠, 괴롭힘·혐오 등 민감한 주제가 더 높은 비율로 포함됐다.
• WildChat에서는 시간이 흐를수록 대화 길이와 대화 턴, 잡담이 늘고 AI의 자기 공개는 줄었으며, 유해하거나 제한된 내용을 포함한 민감한 교환은 감소했다.
• Grok·Gemini·Anthropic·ChatGPT는 주된 이용 목적이 달랐고 GPT-3.5와 GPT-4o에서도 대화 양상이 달랐지만, 자발적 제공 표본의 제약 때문에 이 결과를 전체 AI 사용으로 일반화할 수는 없다.

🧩 주요 포인트

1. 기업 보고서에는 독립 검증 경로가 부족하다 → 제한된 기업 서사에 의존하면 AI의 편익·위험을 판단하는 근거도 좁아진다.
2. Anthropic 방식은 실제 대화의 48%를 분석 밖으로 밀어낸다 → 업무·생산성 중심 프레임은 개인적 이용과 민감한 위험을 충분히 포착하지 못한다.
3. 모델·버전·시기에 따라 이용 목적과 대화 구조가 달라진다 → 단일 보고서로 전체 AI 사용을 설명하기 어렵고, 개인정보를 보호하는 독립 데이터 접근이 필요하다.

🧠 상세 정리

1. 기업 보고서만으로는 보이지 않는 AI 이용

Anthropic과 OpenAI는 Claude와 ChatGPT의 이용 양상을 정기적으로 발표하지만, 연구자들은 기업이 공개하고 싶은 데이터만 내놓는 구조라고 지적한다. Stanford Trustworthy AI Research Lab의 Anka Reuel은 기업 발표를 대조해 확인할 독립 출처가 없으며, AI의 편익과 위험에 관한 중대한 결정이 매우 제한된 자료에 기대고 있다고 말했다. 특히 널리 인용되는 Anthropic Economic Index는 Claude의 업무·생산성 이용에 초점을 맞추고 그 범주 밖의 대화를 분석 대상에서 제외한다. 따라서 각 기업 보고서는 특정 연구 질문에는 답할 수 있어도 개인적·민감한 이용까지 아우르는 전체 사용 실태를 보여주는 자료로는 공백이 남는다.

2. AI Observatory의 구성과 연구 목적

AI Observatory는 이러한 자료 공백을 메우기 위해 Reuel과 Shayne Longpre를 비롯한 MIT, Stanford, Data Provenance Initiative 등의 연구자들이 구축한 공개 플랫폼이다. 연구진은 기존 연구에서 이용자 동의를 받아 수집한 7개 실제 대화 데이터셋을 하나로 모아 공통된 방식으로 분석했다. 분석 대상은 2023~2025년 5,000명의 이용자가 ChatGPT, Gemini, Claude, Grok을 포함한 52개 모델과 나눈 2만 4,521개 대화이며, 이용자 프롬프트와 AI 응답의 쌍으로 정의한 대화 턴은 8만 5,633개다. 이 플랫폼의 목적은 연구자와 정책 결정자가 생성형 AI의 실제 이용 방식과 위험을 기업 자료와 별도로 평가할 수 있는 독립 정보원을 제공하는 데 있다.

3. 업무 중심 필터가 놓친 민감하고 개인적인 사용

연구진이 Anthropic Economic Index의 방법을 자체 데이터에 적용하자 전체 대화의 48%가 업무·생산성과 무관하다는 이유로 제외됐다. 제외 대상인 비업무 대화에서 건강·관계 주제는 44.2%로 Anthropic 분석의 31.2%보다 높았고, 성인 또는 불법 주제는 7.9%로 2.1%보다 높았다. 괴롭힘·혐오는 27.5% 대 5.66%, 성적 콘텐츠는 16.7% 대 2.4%로 차이가 더 컸으며, OpenAI의 2025년 보고서에서도 소비자 이용 중 업무 관련 비율은 30%에 불과했다. Anthropic이 지원·동반자 관계나 아동 성적 학대물 생성 같은 주제를 별도 글로 공개한 적은 있지만, 연구자들은 이를 하나의 통합 분석에서 함께 봐야 서로 다른 이용 양상을 일관되게 이해할 수 있다고 설명했다.

4. 2023~2025년 대화 방식의 변화

AI Observatory에 포함된 데이터 중 규모가 크고 세부 정보가 풍부한 WildChat에서는 시간이 흐르면서 이용자와 AI의 대화가 길고 정교해졌다. 연구진은 프롬프트 토큰, 응답 토큰, 대화 턴의 수가 모두 증가한 것을 이러한 변화의 근거로 제시했다. 잡담도 유의미하게 늘어 AI를 동반자처럼 사용하는 경향이 커졌을 가능성을 보여준 반면, AI가 자신이 챗봇이라고 밝히는 자기 공개는 감소했다. 성희롱과 혐오 표현처럼 잠재적으로 해롭거나 제한된 내용을 포함한 민감한 교환은 같은 기간 줄어들었으며, 연구진은 이를 플랫폼의 보호 장치가 더 효과적으로 적용됐을 가능성을 보여주는 신호로 해석하되 확정적인 결론으로 제시하지는 않았다.

5. 모델과 버전에 따라 달라진 이용 목적

AI 사용의 주제, 상호작용 방식, 대화 구조, 민감한 이용의 유형과 발생 가능성은 모델마다 달랐다. Grok과 Gemini는 정보 검색에 더 자주 사용됐고, 특히 Grok은 뉴스·정치 정보를 찾는 데 많이 쓰인 동시에 잘못된 정보가 집중되는 양상도 보였으며 xAI는 관련 논평 요청에 응답하지 않았다. 이용자들은 코딩에는 Anthropic 모델, 사회적 상호작용과 역할극에는 Gemini, 숙제 지원에는 ChatGPT를 상대적으로 더 많이 찾았다. 같은 ChatGPT 안에서도 GPT-3.5 기반 대화는 더 짧았지만 GPT-4o 기반 대화는 더 길고 반복적이었다. 연구진은 기존 기업 보고서들이 이러한 모델 간 차이뿐 아니라 같은 제품 내부의 버전별 차이도 충분히 포착하지 못했다고 지적했다.

6. 대표성의 한계와 독립 데이터 접근의 필요성

AI Observatory의 2만 4,521개 대화는 독립 연구에 의미 있는 자료지만, 대형 AI 기업이 보유한 데이터와 비교하면 규모가 작다. 최신 Anthropic Economic AI Index는 Claude 대화 100만 건을, OpenAI의 ChatGPT 이용 보고서는 대화 150만 건을 분석했다. 더욱이 AI Observatory는 자발적으로 제공된 데이터에 의존하므로 이용자가 공유하기 꺼릴 수 있는 민감한 사용이 과소대표됐을 가능성이 있으며, 연구진도 조사 결과가 전체 AI 사용을 나타내지는 않는다고 경고했다. 그럼에도 플랫폼은 분석 데이터를 연구자에게 개방하고 향후 데이터셋을 확대할 계획이어서 기업 밖 연구 공동체의 접근 범위를 넓힌다. 연구진은 이용자 개인정보를 보호하면서 기업 데이터를 독립 연구자와 공유하는 것이 이상적이며, 그렇지 않으면 중대한 정책 판단이 실제 상황보다 기업의 서사에 치우칠 위험이 있다고 강조했다.

🧾 핵심 주장 / 시사점

• AI 이용 통계는 단순한 관찰값이 아니라 어떤 대화를 포함하거나 제외했는지에 따라 크게 달라지므로, 보고서의 분류 기준 자체가 해석의 핵심이다.
• Grok·Gemini·Anthropic·ChatGPT와 GPT-3.5·GPT-4o 사이의 차이는 범용 AI를 하나의 평균적 사용 패턴으로 묶을 경우 중요한 이용 맥락을 놓칠 수 있음을 보여준다.
• 독립 데이터 접근은 기업 서사를 보완하지만, 자발적 제공 표본이 민감한 이용을 과소대표할 수 있으므로 투명성과 대표성의 한계를 함께 밝혀야 한다.

✅ 액션 아이템

• AI Observatory의 2023~2025 통합 분석(5,000명·52개 모델·2만 4,521개 대화·8만 5,633개 턴)에서 Anthropic 방식의 48% 제외 구간을 반영한 사용 지표를 정비한다.
• Anthropic의 업무·생산성 중심 집계가 실제 대화의 48%를 배제한 결과, 건강·관계·성적 콘텐츠·괴롭힘·혐오가 몰린 비업무 대화를 민감도 항목에 포함해 반영한다.
• Grok·Gemini·ChatGPT와 GPT-3.5·GPT-4o의 이용 목적·대화 구조 차이를 WildChat의 대화 길이·턴 증가와 함께 OpenAI 대비 축으로 점검한다.

❓ 열린 질문

• AI Observatory의 자발적 제공 표본과 2만 4,521개 대화는 전체 AI 사용을 어디까지 설명할 수 있는가?
• Anthropic 방식에서 제외된 48%의 비업무 대화를 포함하면 AI의 편익·위험 판단은 어떻게 달라지는가?
• GPT-3.5와 GPT-4o의 대화 길이 차이는 모델 자체의 차이와 2023~2025년의 시간 변화 중 무엇으로 설명되는가?