🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

모든 평가 결과를 표준화하는 에브리 에벌 에버와 허깅페이스 커뮤니티 평가가 연동되어, 하나의 평가를 모델 페이지·리더보드·상세 원본 기록에 동시에 게시하고 추적할 수 있게 됐다.

📌 핵심 요약

• 인공지능 모델 평가 결과는 논문, 리더보드, 블로그, 평가 도구 로그 등에 서로 다른 형식으로 흩어져 있으며, 실행 주체와 설정에 따라 같은 모델·벤치마크의 점수도 크게 달라질 수 있다.
• 에브리 에벌 에버는 실행 주체, 모델, 접근 방식, 생성 설정, 지표의 의미, 선택적인 샘플별 출력 등을 하나의 표준화된 JSON 스키마로 기록한다.
• 허깅페이스 커뮤니티 평가는 모델 저장소의 YAML 결과를 모델 카드와 벤치마크 리더보드에 반영하고, 제출 주체와 검증 상태를 배지로 표시한다.
• 새 변환기는 에브리 에벌 에버의 기록을 허깅페이스 형식으로 바꾸고 원본 기록의 출처 링크를 추가해, 평가 점수의 가시성과 해석 가능성을 함께 제공한다.
• 변환기는 기존 결과와 공개된 풀 리퀘스트를 검사해 중복·점수 충돌·모델 저장소 누락을 분류하며, 사용자가 미리보기와 보고서를 검토하고 명시적으로 승인한 뒤에만 풀 리퀘스트를 생성한다.

🧩 주요 포인트

1. 인공지능 모델 평가 결과는 논문, 리더보드, 블로그, 평가 도구 로그 등에 서로 다른 형식으로 흩어져 있으며, 실행 주체와 설정에 따라 같은 모델·벤치마크의 점수도 크게 달라질 수 있다.
2. 에브리 에벌 에버는 실행 주체, 모델, 접근 방식, 생성 설정, 지표의 의미, 선택적인 샘플별 출력 등을 하나의 표준화된 JSON 스키마로 기록한다.
3. 허깅페이스 커뮤니티 평가는 모델 저장소의 YAML 결과를 모델 카드와 벤치마크 리더보드에 반영하고, 제출 주체와 검증 상태를 배지로 표시한다.
4. 새 변환기는 에브리 에벌 에버의 기록을 허깅페이스 형식으로 바꾸고 원본 기록의 출처 링크를 추가해, 평가 점수의 가시성과 해석 가능성을 함께 제공한다.
5. 변환기는 기존 결과와 공개된 풀 리퀘스트를 검사해 중복·점수 충돌·모델 저장소 누락을 분류하며, 사용자가 미리보기와 보고서를 검토하고 명시적으로 승인한 뒤에만 풀 리퀘스트를 생성한다.

🧠 상세 정리

1. 흩어진 평가 결과와 비교의 한계

모델 평가 결과는 역량 측정, 모델 간 비교, 안전성과 거버넌스 판단에 사용되지만 현재는 논문, 리더보드, 블로그 게시물, 평가 도구 로그 등 여러 위치에 서로 다른 형식으로 분산돼 있다. 실행 주체와 방법이 달라지면 같은 모델을 같은 벤치마크로 평가해도 점수가 일치하지 않을 수 있으며, 원문은 라마 65B의 MMLU 점수가 63.7과 48.8로 각각 보고된 사례를 제시한다. 이러한 차이는 평가 환경이나 실행 설정이 충분히 보고되지 않는 관행에서 비롯될 수 있어 숫자만으로 결과를 비교하기 어렵게 만든다. 따라서 평가 점수뿐 아니라 누가 어떤 모델을 어떤 설정과 도구로 실행했는지 함께 보존하는 공통 보고 체계가 필요하다는 것이 두 프로젝트가 다루는 출발점이다.

2. 에브리 에벌 에버의 표준 평가 기록

에브리 에벌 에버는 2026년 2월 에벌에벌 연합이 시작한 범기관 프로젝트로, 모델 개발자와 외부 평가자가 생성한 결과를 동일한 방식으로 보고할 수 있도록 설계됐다. 하나의 JSON 스키마에 실행 주체, 평가 대상 모델, 모델 접근 방식, 생성 설정, 지표가 실제로 의미하는 내용 등을 기록하며, 샘플별 출력은 동반 JSONL 파일로 제공하도록 권장한다. 이 스키마는 평가 도구 로그, 리더보드 수집 결과, 논문에 기재된 수치처럼 출처가 다른 자료를 같은 구조로 변환할 수 있다. 허깅페이스에 구축된 저장소에는 약 22만 9천 건의 평가 결과가 2만 2천 개 이상의 모델과 2천2백 개 벤치마크에 걸쳐 축적됐고, 모두 31개의 보고 형식에서 수집됐다. 원문은 이 실행들을 처음부터 다시 재현하는 데 수십만 달러 규모의 비용이 들 수 있다는 점을 들어 이미 생성된 평가 데이터가 다시 흩어지지 않도록 보존해야 한다고 설명한다.

3. 허깅페이스 커뮤니티 평가의 작동 구조

허깅페이스 커뮤니티 평가는 벤치마크 저장소와 모델 저장소라는 두 축으로 작동한다. 벤치마크는 데이터세트 저장소에 평가 설정 파일을 추가해 등록되며, 등록된 데이터세트 페이지에는 허브 전체에서 해당 벤치마크를 대상으로 보고된 점수가 모여 리더보드로 표시된다. 모델의 점수는 모델 저장소 내부의 평가 결과 디렉터리에 YAML 파일로 저장되고, 모델 카드에 노출되는 동시에 대응하는 벤치마크 리더보드에도 반영된다. 모델 작성자가 제출한 결과뿐 아니라 외부 사용자가 풀 리퀘스트로 제안한 결과도 집계되며, 각 점수에는 작성자 제출, 커뮤니티 제출, 독립 검증 여부를 구분하는 배지가 붙는다. 누구나 올바른 YAML 파일을 제안할 수 있지만 모델 작성자는 자신의 저장소에서 해당 풀 리퀘스트를 닫거나 결과를 숨길 수 있다.

4. 모델 페이지와 원본 평가 기록의 상호 연결

동일한 평가 결과를 두 시스템에 함께 전송하면 점수는 허깅페이스 모델 페이지와 벤치마크 리더보드에 표시되고, 동시에 에브리 에벌 에버의 전체 기록으로 연결되는 출처 배지를 갖게 된다. 배지를 통해 사용자는 점수만 보는 데 그치지 않고 생성 설정, 평가 도구 버전, 재현성 관련 메모, 샘플 단위 데이터가 포함된 원본 JSON 기록을 확인할 수 있다. 허깅페이스는 사람들이 실제로 모델을 탐색하는 위치에 평가 결과를 배치하고 원본 출처를 연결하는 역할을 하며, 에브리 에벌 에버는 결과를 해석하는 데 필요한 구조화된 상세 기록을 보존한다. 같은 실행 데이터는 에벌 카드에서도 모델 및 벤치마크 메타데이터와 결합된 형태로 표현되므로, 하나의 평가가 서로 다른 화면에서 일관된 출처를 유지한다. 조직의 공식 허깅페이스 계정으로 제출한 결과는 에벌에벌에서 검증 표시를 받아 수치가 해당 조직에서 직접 제공됐음을 독자에게 알린다.

5. 변환기의 필드 대응과 지원 범위

새 변환기는 기존 에브리 에벌 에버 기록을 읽어 허깅페이스 모델 저장소가 요구하는 작은 YAML 파일로 변환하므로, 제출자가 같은 평가를 두 형식으로 직접 관리할 필요가 없다. 에브리 에벌 에버의 허깅페이스 저장소 정보는 데이터세트 식별자로, 평가 이름은 작업 식별자로, 점수 상세 값은 평가값으로, 평가 시각은 날짜로 대응된다. 여기에 저장소에 보관된 개별 평가 JSON의 주소를 출처 항목으로 삽입해 허깅페이스에 표시된 점수에서 상세 원본으로 돌아갈 수 있게 한다. 현재 자동 변환이 지원되는 공식 벤치마크는 MMLU-Pro, GPQA, HLE, GSM8K 네 가지다. 변환기는 지정된 데이터 저장소 컬렉션과 그 컬렉션이 참조하는 기록을 내려받고 객체 해시를 검사한 뒤, 지원되는 벤치마크에 대응하는 점수만 찾아 변환 대상으로 삼는다.

6. 중복 검사와 명시적 제출 승인

변환기는 단순한 필드 재구성에 그치지 않고 실제 제출 전에 대상 모델 저장소의 기본 브랜치와 열려 있는 풀 리퀘스트에 존재하는 모든 평가 YAML을 점검한다. 파일명이 아니라 데이터세트와 작업의 조합으로 결과를 비교해 동일한 점수가 있으면 이미 존재함으로, 다른 점수가 있으면 점수 충돌로, 허브에서 모델 저장소를 찾을 수 없으면 모델 누락으로 분류하며 나머지는 제출 준비 상태로 표시한다. 도구는 먼저 로컬 YAML 미리보기와 검토 파일을 만들고, 준비된 항목과 추가 확인이 필요한 항목을 보고서로 보여준다. 사용자가 미리보기를 검토한 다음 정해진 승인 문구와 커밋 메시지를 직접 입력해야만 풀 리퀘스트가 생성되므로 검토 없이 결과가 게시되지 않는다. 같은 컬렉션을 다시 처리할 때는 강제 실행 옵션을 사용하지 않는 한 캐시된 결과를 재사용하며, 기본 절차는 전체 기록을 데이터 저장소에 제출한 뒤 변환기를 실행하고 보고서를 검토해 게시를 승인하는 순서다.

🧾 핵심 주장 / 시사점

• 평가의 신뢰성을 높이려면 단일 점수보다 실행 주체, 설정, 도구 버전, 지표 의미, 샘플별 결과를 함께 보존해야 한다.
• 모델 페이지의 접근성과 표준 저장소의 상세 기록을 연결하면 평가 결과를 발견하기 쉬우면서도 출처와 재현 조건을 추적할 수 있다.
• 기존 결과와 열린 풀 리퀘스트를 제출 전에 함께 검사하고 사람의 명시적 승인을 요구하는 절차는 중복 등록과 점수 충돌을 게시 전에 드러낸다.

✅ 액션 아이템

• 에브리 에벌 에버 결과를 모델 카드·리더보드·원본 기록에 동시에 반영하도록 변환 흐름을 통합하고 책임 구간을 정의한다.
• 실행 주체·생성 설정·지표 의미가 달라지는 경우를 줄이기 위해 표준 JSON 스키마 기준으로 점수 비교 정합성 점검 항목을 만든다.
• 중복, 점수 충돌, 모델 저장소 누락 분류 규칙을 고정하고 PR 생성 전 미리보기·보고서 검토 후 승인 조건을 명시한다.

❓ 열린 질문

• 동일 모델과 동일 벤치마크에서도 점수 편차가 큰 구간을 어느 기준으로 신뢰 가능한 값으로 판단할 것인가?
• 허깅페이스 커뮤니티 평가 배지의 제출 주체와 검증 상태가 누락되지 않게 유지하려면 어떤 표기 규칙이 필요한가?
• 새 변환기가 기존 공개 풀 리퀘스트와 충돌할 때 점수 충돌 우선순위를 어떻게 정할 것인가?