Introducing IndQA

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

인디큐에이는 인도의 언어와 문화, 일상에 관한 지식과 추론 능력을 전문가 기준으로 평가하기 위해 개발된 문화 맥락 중심의 인공지능 벤치마크다.

📌 핵심 요약

기존 다국어 벤치마크는 상위 모델의 점수가 비슷하게 높아졌고 번역이나 객관식 과제에 치우쳐 있어, 실제 문화적 맥락과 지역 생활에 대한 이해를 충분히 측정하지 못한다.
인디큐에이는 인도 전역의 전문가 261명과 함께 구축했으며, 12개 언어와 10개 문화 영역에 걸친 2,278개 문항으로 구성된다.
각 문항에는 인도 언어로 작성된 질문, 감사를 위한 영어 번역, 전문가가 작성한 채점 기준, 이상적인 답변이 포함되며 기준별 가중 점수를 합산해 평가한다.
문항은 당대의 강력한 오픈에이아이 모델 다수가 적절히 답하지 못한 경우만 남기는 적대적 선별을 거쳐, 향후 모델 개선을 측정할 여지를 확보했다.
인디큐에이는 언어 간 순위를 매기는 도구가 아니라 동일한 모델 계열이나 설정이 시간에 따라 얼마나 개선되는지 살피기 위한 평가 도구이며, 문항 선별 방식에 따른 비교상의 한계도 명시한다.

🧩 주요 포인트

기존 다국어 벤치마크는 상위 모델의 점수가 비슷하게 높아졌고 번역이나 객관식 과제에 치우쳐 있어, 실제 문화적 맥락과 지역 생활에 대한 이해를 충분히 측정하지 못한다.
인디큐에이는 인도 전역의 전문가 261명과 함께 구축했으며, 12개 언어와 10개 문화 영역에 걸친 2,278개 문항으로 구성된다.
각 문항에는 인도 언어로 작성된 질문, 감사를 위한 영어 번역, 전문가가 작성한 채점 기준, 이상적인 답변이 포함되며 기준별 가중 점수를 합산해 평가한다.
문항은 당대의 강력한 오픈에이아이 모델 다수가 적절히 답하지 못한 경우만 남기는 적대적 선별을 거쳐, 향후 모델 개선을 측정할 여지를 확보했다.
인디큐에이는 언어 간 순위를 매기는 도구가 아니라 동일한 모델 계열이나 설정이 시간에 따라 얼마나 개선되는지 살피기 위한 평가 도구이며, 문항 선별 방식에 따른 비교상의 한계도 명시한다.

🧠 상세 정리

1. 기존 다국어 평가의 한계와 개발 배경

오픈에이아이는 인공지능이 모두에게 유용하려면 서로 다른 언어뿐 아니라 각 지역의 문화와 생활 맥락에서도 제대로 작동해야 한다고 본다. 세계 인구의 약 80퍼센트는 영어를 모국어로 사용하지 않지만, 기존 비영어권 벤치마크는 실제 언어 능력을 충분히 측정하지 못한다. 특히 기존 다국어 평가에서는 상위 모델들이 비슷한 고득점에 몰리는 포화 현상이 나타나 발전 정도를 구별하기 어려워졌고, 번역이나 객관식 문제에 집중한다는 한계도 있다. 이에 따라 문장의 표면적 의미를 처리하는 수준을 넘어 지역의 역사와 문화, 사회적 맥락, 주민들이 중요하게 여기는 문제를 이해하고 추론하는지를 평가할 새로운 기준이 필요해졌다.

2. 인디큐에이의 범위와 구성

인디큐에이는 인도 문화와 일상생활에 관한 지식 및 추론 능력을 인도 언어로 평가하도록 설계된 벤치마크다. 전체 자료는 인도 각지의 분야별 전문가 261명이 제작한 2,278개 문항으로 이루어지며, 12개 언어와 10개 문화 영역을 포괄한다. 대상 언어에는 벵골어, 영어, 힌디어, 힝글리시, 칸나다어, 마라티어, 오디아어, 텔루구어, 구자라트어, 말라얄람어, 펀자브어, 타밀어가 포함되며, 일상 대화에서 빈번한 언어 혼용을 반영하기 위해 힝글리시도 별도로 넣었다. 문화 영역은 건축과 디자인, 예술과 문화, 일상생활, 음식, 역사, 법과 윤리, 문학과 언어학, 미디어와 오락, 종교와 영성, 스포츠와 여가로 구성된다.

3. 문항 데이터와 채점 방식

각 문항에는 특정 인도 언어로 작성된 문화적 배경이 있는 질문과 검토 가능성을 높이기 위한 영어 번역이 함께 제공된다. 여기에 해당 질문의 이상적인 답변이 무엇을 포함하고 무엇을 피해야 하는지 설명하는 전문가 작성 채점 기준과 모범 답변이 결합된다. 채점 기준의 각 항목에는 중요도에 따른 가중 점수가 부여되며, 모델 기반 채점기가 응답이 개별 기준을 충족했는지 판정한다. 최종 점수는 충족한 기준의 점수를 전체 가능한 점수와 비교해 산출하므로, 단순히 정답 하나를 고르는 방식보다 복합적인 논술형 응답의 내용과 추론을 세부적으로 평가할 수 있다.

4. 전문가 제작과 적대적 문항 선별

문항 제작에는 각 언어를 원어민 수준으로 구사하면서 영어에도 능숙하고, 자신의 지역과 전문 분야에 깊은 지식을 가진 인도 전문가들이 참여했다. 이들은 10개 영역에서 지역적 특성과 전문성을 반영한 어렵고 추론 중심적인 질문을 작성했으며, 질문마다 논술형 시험의 채점표와 유사한 상세 기준도 마련했다. 모든 질문은 제작 당시 강력한 모델이었던 지피티포오, 오픈에이아이 오스리, 지피티포점오와 공개 이후 일부 지피티파이브를 대상으로 시험됐고, 이들 가운데 다수가 적절한 답변을 내놓지 못한 문항만 유지됐다. 이후 전문가들이 이상적인 답변과 영어 번역을 추가하고 동료 검토와 반복 수정을 거쳐 최종 승인함으로써 난도와 품질을 함께 관리했다.

5. 예시 문항과 성능 결과의 해석

공개된 벵골어 예시는 단편적인 사실 확인이 아니라 문학과 음식 문화의 역사적 맥락을 여러 단계로 연결해 설명하도록 요구한다. 한 문항은 소설 속 하층 카스트 남녀의 재정착 이후 삶, 정부의 무관심, 새로운 자연환경과 난민의 적응 관계를 함께 묻고, 다른 문항은 19세기 말 요리책 출판의 배경과 여러 저술 및 간행물의 차이와 계보를 다룬다. 오픈에이아이는 이 벤치마크로 최근 첨단 모델들의 성능과 지난 수년간 자사 모델의 개선 추세를 평가했으며, 인도 언어 성능이 크게 향상됐지만 여전히 개선할 여지가 많다고 설명한다. 다만 언어별 문항이 서로 동일하지 않으므로 언어 간 점수를 직접 비교하는 순위표로 해석해서는 안 되며, 같은 모델 계열이나 설정의 시간에 따른 변화를 측정하는 용도가 중심이다.

6. 비교상의 제약과 향후 활용 방향

인디큐에이의 적대적 선별은 기존 모델이 어려워하는 문항을 남겨 성능 향상을 측정할 공간을 확보하지만, 모델 간 상대 비교에는 주의가 필요하다. 질문이 지피티포오, 오픈에이아이 오스리, 지피티포점오와 일부 지피티파이브의 실패를 기준으로 선택됐기 때문에 지피티파이브의 상대 성능을 교란할 수 있고, 비오픈에이아이 모델보다 오픈에이아이 모델에 불리하게 작용할 가능성도 있다. 제작에는 언론인, 언어학자, 학자, 예술가, 산업 실무자 등 다양한 전문가가 참여했으며, 배우와 각본가, 기자, 사전 편집자, 체스 그랜드마스터, 작가, 음악가, 문화유산 전문가, 시인, 역사학자, 건축학 교수 등이 포함됐다. 오픈에이아이는 특히 기존 평가에서 충분히 다뤄지지 않는 언어와 문화 영역에서 유사한 벤치마크가 만들어지기를 기대하며, 이를 현재 모델의 약점을 발견하고 미래 개선 방향을 제시하는 기준점으로 활용하고자 한다.

🧾 핵심 주장 / 시사점

인디큐에이는 다국어 능력을 번역 정확도나 객관식 정답률로 축소하지 않고, 지역의 역사·문화·생활에 뿌리를 둔 복합 추론 문제로 평가 범위를 확장한다.
전문가별 세부 기준과 가중 점수를 사용하는 방식은 문화적 질문에 대한 긴 답변을 단일 정답이 아니라 필수 요소의 충족 정도로 평가하게 한다.
강한 모델이 실패한 문항만 남기는 방식은 개선 측정에 필요한 난도를 제공하지만, 특정 모델군을 기준으로 문항을 골랐다는 점 때문에 서로 다른 개발사의 모델을 단순 비교하는 데에는 한계가 있다.

✅ 액션 아이템

기존 다국어 벤치마크의 번역·객관식 편중을 보완하려면 인디큐에이의 문화 맥락 문항으로 병행 평가한다.
261명 전문가가 만든 12개 언어·10개 문화 영역·2,278문항 구성을 바탕으로 대표성 공백과 취약 영역을 점검한다.
문항별 가중 채점(질문, 영어 번역본, 전문가 채점 기준, 이상 답안)을 적용해 동일 모델 계열·동일 설정의 시간별 점수만 해석 대상으로 정한다.