Introducing SimpleQA

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

SimpleQA는 짧고 단일한 정답이 있는 사실 확인 질문을 통해 언어 모델의 정확성, 환각, 응답 회피, 자신감 보정 능력을 측정하는 공개 벤치마크다.

📌 핵심 요약

SimpleQA는 긴 답변 전체의 사실성을 평가하는 복잡성을 줄이기 위해, 하나의 검증 가능한 정답을 가진 짧은 사실 탐색 질문에 평가 범위를 한정한다.
데이터셋은 4,326개 질문으로 구성되며, 두 명의 독립 평가자가 같은 답에 동의한 항목만 포함하고 제3의 평가자와 수동 검토를 통해 내재 오류율을 약 3%로 추정했다.
모델의 답변은 정답을 완전히 포함하는 ‘정답’, 정답과 조금이라도 모순되는 ‘오답’, 정답을 제시하지 않으면서 모순도 만들지 않는 ‘응답하지 않음’으로 분류된다.
비교 결과 규모가 큰 모델이 더 많은 질문에 정답을 냈으며, 추론에 더 많은 시간을 쓰도록 설계된 o1 계열은 모르는 질문에 답을 시도하지 않는 경향이 상대적으로 강했다.
모델의 자신감과 실제 정확도는 양의 상관관계를 보였지만 전반적으로 자신감을 과대평가했으며, 짧은 사실 답변 성능이 긴 글의 사실성과 연결되는지는 아직 열린 연구 문제다.

🧩 주요 포인트

SimpleQA는 긴 답변 전체의 사실성을 평가하는 복잡성을 줄이기 위해, 하나의 검증 가능한 정답을 가진 짧은 사실 탐색 질문에 평가 범위를 한정한다.
데이터셋은 4,326개 질문으로 구성되며, 두 명의 독립 평가자가 같은 답에 동의한 항목만 포함하고 제3의 평가자와 수동 검토를 통해 내재 오류율을 약 3%로 추정했다.
모델의 답변은 정답을 완전히 포함하는 ‘정답’, 정답과 조금이라도 모순되는 ‘오답’, 정답을 제시하지 않으면서 모순도 만들지 않는 ‘응답하지 않음’으로 분류된다.
비교 결과 규모가 큰 모델이 더 많은 질문에 정답을 냈으며, 추론에 더 많은 시간을 쓰도록 설계된 o1 계열은 모르는 질문에 답을 시도하지 않는 경향이 상대적으로 강했다.
모델의 자신감과 실제 정확도는 양의 상관관계를 보였지만 전반적으로 자신감을 과대평가했으며, 짧은 사실 답변 성능이 긴 글의 사실성과 연결되는지는 아직 열린 연구 문제다.

🧠 상세 정리

1. 사실성 평가가 필요한 이유와 SimpleQA의 범위

언어 모델은 근거가 없거나 사실과 다른 내용을 생성하는 ‘환각’을 일으킬 수 있으며, 이는 모델의 신뢰성과 활용 범위를 제한한다. 그러나 일반적인 사실성을 측정하는 일은 쉽지 않다. 임의의 주장 하나가 참인지 판정하는 것부터 어렵고, 긴 답변에는 검증해야 할 사실적 주장이 수십 개씩 포함될 수 있기 때문이다. SimpleQA는 이 문제를 다루기 위해 평가 범위를 짧은 사실 탐색 질문으로 제한하고, 모델이 간결하고 검증 가능한 정답을 얼마나 정확하게 제시하는지 측정한다. 이 접근은 사실성 전체를 포괄하지는 않지만, 명확한 기준으로 반복 가능하게 평가할 수 있도록 문제를 다루기 쉬운 형태로 축소한다.

2. 벤치마크의 네 가지 설계 목표

SimpleQA는 높은 정답 신뢰도, 폭넓은 주제 다양성, 최전선 모델에도 충분한 난도, 연구자가 쉽게 사용할 수 있는 평가 경험을 목표로 설계됐다. 기준 정답은 두 명의 독립적인 AI 트레이너가 확인한 출처로 뒷받침되며, 모델의 예측을 쉽게 채점할 수 있도록 질문과 답변을 간결하게 구성했다. 과학과 기술뿐 아니라 TV 프로그램과 비디오 게임 등 여러 분야를 포함해 특정 지식 영역에 지나치게 치우치지 않도록 했다. 또한 기존 TriviaQA나 NQ처럼 성능이 포화된 벤치마크보다 어렵게 만들어졌으며, GPT-4o도 40% 미만의 점수를 기록할 정도로 난도가 높다. 총 4,326개 질문은 평가 결과의 분산을 비교적 낮추면서도 API나 다른 최전선 모델을 이용해 빠르고 효율적으로 채점할 수 있게 한다.

3. 질문 제작과 데이터 품질 검증

AI 트레이너들은 웹을 탐색해 짧은 사실 탐색 질문과 대응하는 답변을 만들었으며, 데이터셋에 포함하려면 엄격한 기준을 충족해야 했다. 각 질문에는 쉽게 채점할 수 있는 하나의 논쟁 여지 없는 정답이 있어야 했고, 정답이 시간에 따라 변하지 않아야 했으며, 대부분은 GPT-4o 또는 GPT-3.5에서 환각을 유도할 정도로 어려워야 했다. 이후 두 번째 독립 트레이너가 최초 답변을 보지 않은 채 같은 질문에 답했고, 두 사람의 답이 일치한 질문만 최종 데이터에 포함됐다. 제3의 트레이너가 무작위로 고른 1,000개 질문을 다시 풀었을 때 기존 합의 답변과의 일치율은 94.4%, 불일치율은 5.6%였다. 수동 조사 결과 불일치의 절반인 2.8%는 채점기의 거짓 음성이나 제3 트레이너의 불완전한 답변·출처 오해 때문이었고, 나머지 2.8%는 질문의 모호성이나 웹사이트 간 답변 충돌 같은 실제 문제여서 데이터셋의 내재 오류율은 약 3%로 추정됐다.

4. 정답·오답·응답하지 않음의 채점 체계

SimpleQA는 모델의 예측 답변과 기준 정답을 함께 입력받는 프롬프트 기반 ChatGPT 분류기를 사용해 결과를 ‘정답’, ‘오답’, ‘응답하지 않음’으로 나눈다. 정답 판정은 예측 답변이 기준 정답을 완전히 포함하면서 그 내용과 모순되지 않을 때 내려진다. 반대로 틀린 인물을 추가하는 것처럼 기준 정답과 조금이라도 모순되면, 표현에 불확실성을 덧붙였더라도 오답으로 처리한다. 답을 모르겠다고 말하거나 사용자가 직접 검색하라고 안내하는 등 기준 정답을 제시하지 않았지만 모순도 만들지 않은 경우에는 응답하지 않음으로 분류한다. 따라서 이상적인 모델은 가능한 한 많은 질문에 정확히 답하면서도, 알지 못하는 문제에 근거 없는 답을 만들어 오답 수를 늘리지 않아야 한다.

5. OpenAI 모델 간 사실 답변 성능 비교

연구진은 웹 탐색 기능을 사용하지 않는 조건에서 gpt-4o-mini, o1-mini, gpt-4o, o1-preview의 SimpleQA 성능을 비교했다. gpt-4o-mini와 o1-mini는 gpt-4o와 o1-preview보다 정확하게 답한 질문 수가 적었으며, 원문은 작은 모델이 일반적으로 보유한 세계 지식이 더 적다는 점을 가능한 이유로 제시한다. 한편 더 오래 생각하도록 설계된 o1-mini와 o1-preview는 각각 대응하는 gpt-4o 계열 모델보다 ‘응답하지 않음’을 더 자주 선택했다. 이는 추론 능력을 활용해 자신이 답을 모르는 상황을 인식하고, 사실이 아닌 답을 만들어 내는 대신 답변 시도를 중단할 수 있음을 보여주는 결과로 설명된다. 이 평가는 정답률만 높이는 것과 오답을 줄이는 것이 서로 구분되는 목표이며, 사실성 평가에서 답변 보류 행동도 함께 살펴봐야 한다는 점을 드러낸다.

6. 명시적 자신감과 실제 정확도의 보정

SimpleQA는 모델이 자신이 아는 범위를 얼마나 정확히 파악하는지 나타내는 ‘보정’을 측정하는 데도 사용된다. 연구진은 모델에 최선의 추측과 함께 그 답이 맞을 확률을 백분율로 제시하도록 요청한 뒤, 모델이 밝힌 자신감과 실제 정확도의 관계를 비교했다. 완벽하게 보정된 모델이라면 자신감이 75%라고 답한 질문 집합에서 실제 정답률도 75%가 되어야 하므로, 결과가 그래프의 y=x 선에 놓여야 한다. 실험에서는 자신감이 높을수록 정확도도 높아지는 양의 상관관계가 나타나 모델이 어느 정도 자신의 불확실성을 구분한다는 신호를 보였다. o1-preview는 o1-mini보다, gpt-4o는 gpt-4o-mini보다 더 잘 보정됐지만 모든 모델의 성능이 기준선보다 낮아 자신감을 일관되게 과대평가하는 문제가 확인됐다.

7. 반복 응답의 일관성으로 측정한 보정

두 번째 보정 방법은 동일한 질문을 모델에 100번 제시하고 특정 답변이 반복되는 빈도와 그 답변의 실제 정확도를 비교하는 방식이다. 언어 모델은 같은 질문에도 서로 다른 답을 생성할 수 있으므로, 동일한 답이 자주 등장할수록 모델이 그 답에 더 높은 확신을 가진 것으로 해석한다. 연구진은 문자열 일치를 이용해 여러 응답을 묶었으며, 잘 보정된 모델이라면 어떤 답변의 출현 빈도와 그 답변의 실제 정확도가 같아야 한다고 설명한다. 모든 모델에서 답변 빈도가 높아질수록 정확도도 상승해 일관성과 정답 가능성 사이의 관계가 관찰됐다. 특히 o1-preview는 응답 빈도와 정확도가 대체로 비슷해 가장 높은 수준의 보정을 보였으며, 전반적인 비교에서도 o1-preview가 o1-mini보다 더 잘 보정된 것으로 나타났다.

8. SimpleQA의 의의와 명확한 한계

SimpleQA는 최전선 언어 모델의 사실성을 간단하면서도 까다로운 조건에서 평가할 수 있도록 공개된 벤치마크다. 질문과 정답이 짧고 채점 기준이 명료해 연구자가 여러 모델의 정답, 오답, 답변 보류와 자신감 보정 상태를 비교하기 쉽다는 장점이 있다. 다만 높은 정확성을 확보한 대신 평가 범위가 하나의 검증 가능한 정답을 가진 짧은 사실 탐색 질문으로 제한된다는 중요한 한계가 있다. 따라서 모델이 짧은 질문에 정확하게 답하는 능력이 수많은 사실을 포함한 긴 글을 정확하게 작성하는 능력과 얼마나 관련되는지는 이 벤치마크만으로 판단할 수 없다. OpenAI는 SimpleQA 공개가 더 신뢰할 수 있는 AI를 위한 사실성 연구를 촉진하기를 기대하며, 연구자들에게 모델 평가와 벤치마크에 대한 피드백을 요청한다.

🧾 핵심 주장 / 시사점

SimpleQA는 정답률만 집계하지 않고 오답과 응답 보류를 구분하므로, 많이 답하는 모델과 모를 때 답하지 않는 모델의 사실성 행동을 별도로 비교할 수 있다.
명시적으로 보고한 자신감과 반복 응답의 빈도라는 서로 다른 측정법 모두에서 자신감 또는 일관성이 높을수록 정확도가 상승했지만, 모델의 자신감 과대평가는 여전히 개선 과제로 남았다.
엄격한 이중 합의와 추가 표본 검증에도 데이터셋의 내재 오류율이 약 3%로 추정됐다는 결과는 사실성 벤치마크 자체의 정답 품질과 채점 오류도 함께 관리해야 함을 보여준다.