AI detectors rarely flag human writing, but sometimes miss AI text imitating real authors

🖼️ 인포그래픽

AI detectors rarely flag human writing, but sometimes miss AI text imitating real authors 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

세 인공지능 텍스트 탐지기는 단순 프롬프트로 생성된 글은 거의 모두 찾아냈지만, 특정 저자의 글 다섯 편을 참고해 문체를 모방한 글은 평균 약 13%, 과학 글은 약 26%를 놓쳤다.

📌 핵심 요약

팽그램, 지피티제로, 오리지널리티닷에이아이를 인간 글 495개와 조건별 인공지능 생성 글 297개에 적용해 인간 글의 오탐률과 인공지능 글의 미탐률을 측정했다.
인간 글에서는 팽그램과 지피티제로가 495개 모두를 인간 글로 판정했지만, 오리지널리티닷에이아이는 19개를 인공지능 글로 잘못 판정해 3.84%의 오탐률을 기록했다.
짧은 기본 프롬프트로 생성한 글의 미탐은 팽그램 0개, 지피티제로 2개, 오리지널리티닷에이아이 1개로, 세 탐지기 모두 미탐률이 0.7% 이하였다.
특정 저자의 실제 글 다섯 편을 제시하고 같은 문체로 쓰게 하자 팽그램은 30개, 지피티제로는 32개, 오리지널리티닷에이아이는 53개를 놓쳐 각각 10.10%, 10.77%, 17.85%의 미탐률을 보였다.
문체 모방 글 가운데 과학 글의 미탐률은 팽그램 25%, 지피티제로 24%, 오리지널리티닷에이아이 29%로, 소설과 블로그 글보다 일관되게 높았다.

🧩 주요 포인트

인간 글에 대한 오탐은 전반적으로 낮았지만 오리지널리티닷에이아이에서만 19건이 발생해, 동일한 표본에서도 탐지기별 오류 성격이 다르게 나타났다.
기본 프롬프트에서는 미탐이 거의 없었던 반면 저자 문체를 모방한 조건에서는 10~18%로 높아져, 평가에 사용되는 생성 조건이 탐지 성능을 크게 좌우했다.
과학 문체에서 세 탐지기 모두 가장 많은 글을 놓쳤으므로, 전체 평균만으로는 장르별 성능 격차와 특정 생성모델 조합의 취약성을 확인하기 어렵다.

🧠 상세 정리

1. 평가 질문과 핵심 결과

Epoch AI는 팽그램, 지피티제로, 오리지널리티닷에이아이 등 세 탐지기를 인간 글, 기본 프롬프트로 생성한 글, 특정 저자의 문체를 모방한 글이라는 세 조건에서 비교했다. 인간 글에서는 탐지기가 인공지능 글로 잘못 판정한 비율을 오탐률로, 인공지능 생성 글에서는 이를 찾아내지 못한 비율을 미탐률로 계산했다. 인간 글은 495개였고 두 인공지능 생성 조건에는 각각 297개가 포함됐으며, 각 탐지기의 기본 설정에서 문서 전체가 명확히 인공지능 글로 판정된 경우만 탐지 성공으로 처리했다. 그 결과 인간 글과 기본 프롬프트 생성 글에서는 오류가 드물었지만, 저자 문체를 모방한 글에서는 탐지기당 평균 297개 중 38개, 약 13%가 탐지를 피했다.

2. 인간 글에 대한 오탐 결과

인간이 작성한 495개 글에서 팽그램과 지피티제로는 단 한 건도 인공지능 글로 잘못 판정하지 않아 두 탐지기의 오탐률은 각각 0%였다. 오리지널리티닷에이아이는 19개를 잘못 판정해 3.84%의 오탐률을 기록했으며, 해당 글은 모두 챗지피티 공개 이전에 작성된 자료였다. 장르별로는 블로그 글 165개 중 2개, 소설 165개 중 16개, 과학 글 165개 중 1개가 오탐돼 오리지널리티닷에이아이의 오탐 대부분이 소설에서 발생했다. 팽그램과 지피티제로는 일부 문서에 사용할 수 있는 ‘혼합’ 판정도 인간 글 표본에서는 한 번도 반환하지 않았으므로, 이 표본과 기본 판정 설정에서는 혼합 판정으로 인한 추가 오탐도 없었다.

3. 기본 프롬프트 생성 글의 탐지

기본 조건에서는 문체 모방 글과 같은 주제를 유지하되 특정 저자의 글이나 문체를 참조하라는 지시 없이, 예를 들어 잃어버린 개에 관한 짧은 이야기를 쓰라는 식의 일반화된 프롬프트를 사용했다. 이 조건의 297개 글 가운데 팽그램은 모두 탐지했고, 지피티제로는 2개를 놓쳐 0.67%, 오리지널리티닷에이아이는 1개를 놓쳐 0.34%의 미탐률을 기록했다. 지피티제로의 미탐 2개는 모두 클로드가 생성한 글이었으며 장르상 소설과 과학 글에서 각각 1개였고, 오리지널리티닷에이아이의 미탐 1개도 클로드가 생성한 소설이었다. 따라서 이 연구에서 별도의 문체 모방 지시가 없는 인공지능 글은 생성모델과 장르를 가로질러 거의 모두 탐지됐다.

4. 특정 저자 문체 모방의 영향

문체 모방 조건에서는 각 생성모델에 특정 저자의 실제 글 다섯 편을 보여준 뒤, 모델이 직접 선택한 주제로 그 저자와 같은 문체의 새 글을 작성하게 했다. 이때 팽그램은 297개 중 30개를 놓쳐 미탐률 10.10%, 지피티제로는 32개를 놓쳐 10.77%, 오리지널리티닷에이아이는 53개를 놓쳐 17.85%를 기록했다. 기본 프롬프트 조건의 미탐률이 탐지기별로 0~0.67%였던 것과 비교하면, 같은 생성모델과 대응되는 주제를 사용했더라도 저자 글을 참고해 문체를 모방한 조건에서 미탐이 뚜렷하게 늘었다. 세 탐지기의 문체 모방 미탐률에 대한 90% 구간도 대략 8~22% 범위에 걸쳐 있어, 결과는 특정 탐지기 한 곳에만 국한되지 않았다.

5. 장르와 생성모델에 따른 차이

문체 모방 글을 장르별로 나누면 과학 글의 미탐률은 팽그램 25%, 지피티제로 24%, 오리지널리티닷에이아이 29%로 세 탐지기 모두에서 가장 높았고, 전체적으로는 약 26%가 탐지되지 않았다. 블로그 글의 미탐률은 각각 4%, 6%, 19%였으며, 소설은 각각 1%, 2%, 5%로 과학 글보다 낮았다. 생성모델과 장르를 함께 나눈 세부 표에서 가장 높은 값은 팽그램이 제미나이 과학 글에서 기록한 48%, 지피티제로가 같은 조합에서 기록한 36%, 오리지널리티닷에이아이가 지피티-5.5 과학 글에서 기록한 39%였다. 다만 장르와 생성모델을 동시에 나눈 각 칸에는 33개 글만 포함됐으므로, 이 세부 수치는 전체 297개 결과보다 작은 표본에서 산출됐다.

6. 인간 글 코퍼스의 구성과 검증

인간 글 코퍼스는 저자 99명이 쓴 약 500단어 분량의 글 495개로 구성됐으며, 블로그·소설·과학 글에 각각 165개씩 균등하게 배분됐다. 저자는 2022년 이전에 공개된 글이 충분히 많은 유명 블로거와 뉴스레터 필자, 출판된 단편소설 작가, 아카이브 논문 저자 가운데 선정됐다. 코딩 에이전트가 후보를 넉넉히 수집한 뒤 검증 가능한 글이 최소 다섯 편 있는 저자만 남겼고, 블로그와 소설은 2022년 이전 웨이백 머신 보존본에서, 과학 글은 아카이브 원문에서 문장을 그대로 추출했다. 각 글은 원출처와의 단어 단위 중복 및 발행일로 검증됐고, 같은 자료에서 두 글을 가져온 경우에도 서로 겹치지 않는 구간을 사용했으며, 챗지피티가 2022년 11월에 공개됐다는 점에서 연구진은 이 인간 글 표본에 언어모델 생성문이 들어 있을 가능성이 매우 낮다고 설명했다.

7. 인공지능 글 생성과 탐지기 채점 절차

연구진은 저자마다 클로드 오퍼스 4.8, 지피티-5.5, 제미나이 3.1 프로를 사용해 문체 모방 글과 기본 프롬프트 글을 각각 하나씩 만들었으며, 그 결과 조건별로 297개가 생성됐다. 탐지기가 산문 자체보다 형식에 의존하지 않도록 모든 글에서 제목과 소제목을 제거했고, 요청 분량의 약 1.5배를 쓰는 경향이 있던 지피티-5.5의 긴 출력은 문장 경계에서 잘랐다. 이 절단으로 지피티-5.5 글만 생각이 끝나지 않은 상태처럼 보이는 교란을 줄이기 위해 다른 글에서도 마지막 문장을 제거하는 예방적 처리를 적용했다. 채점에는 팽그램 3.3.2, 지피티제로의 2026년 5월 11일 기본 모델, 오리지널리티닷에이아이 터보 3.0.2가 사용됐으며, 앞의 두 제품은 응용 프로그램 인터페이스로 호출하고 오리지널리티닷에이아이는 웹 일괄 업로더로 처리했다. 일괄 처리에서 실패한 오리지널리티닷에이아이 글 두 개는 수동으로 다시 채점했으며, 연구는 각 제품이 반환한 기본 문서 단위 판정을 그대로 사용했다.

8. 판정 규칙과 연구의 한계

팽그램과 지피티제로가 반환할 수 있는 ‘혼합’ 판정은 일부가 인간 글이고 일부가 인공지능 글이라는 뜻이지만, 실험 글은 그런 방식으로 구성되지 않았기 때문에 연구진은 이를 탐지 성공이 아닌 미탐으로 계산했다. 혼합 판정을 탐지 성공으로 바꾸면 문체 모방 조건의 미탐률은 팽그램이 10.1%에서 6.1%로, 지피티제로가 10.8%에서 8.8%로 낮아지며, 혼합 판정이 없는 오리지널리티닷에이아이는 영향을 받지 않는다. 인간 글은 저자마다 다섯 편이고 일부는 같은 작품에서 나온 비중첩 구간이므로 완전히 독립적이지 않지만, 이 문제는 인간 글의 오탐률에만 관련되며 각각 별도로 생성된 인공지능 글의 미탐률에는 적용되지 않는다. 탐지기는 예고 없이 갱신될 수 있어 연구진은 2026년 6월에 이용 가능했던 버전을 고정했고, 다섯 개 참고 글을 이용한 문체 모방 외에 재서술 도구, 수동 편집, 다른 회피 방법은 시험하지 않았다. 또한 약 500단어인 글과 각 탐지기의 기본 판정만 평가했으며 탐지 결과는 글의 길이와 내용에 따라 달라질 수 있으므로, 보고된 수치는 명시된 버전·길이·조건에 대한 결과로 해석해야 한다.

🧾 핵심 주장 / 시사점

탐지 성능을 기본 프롬프트 생성문으로만 평가하면 거의 완벽한 결과가 나오지만, 동일 연구에서 문체 모방 조건을 추가하자 미탐률이 10~18%로 상승했으므로 평가 조건에 문체 참조 사례를 포함할 필요성이 드러난다.
과학 글의 미탐률이 세 탐지기 모두에서 24~29%로 가장 높았다는 결과는, 전체 평균과 함께 장르별 결과를 제시해야 실제 성능 차이를 확인할 수 있음을 보여준다.
혼합 판정의 처리만 바꿔도 두 탐지기의 문체 모방 미탐률이 낮아지므로, 탐지기 비교에서는 제품명과 오류율뿐 아니라 판정 범주와 성공·실패의 집계 기준도 함께 확인해야 한다.