Docs faviconDOCS우성짱의 문서
Tag2건Article 2

#benchmark-methodology

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

연관 태그

#ai-benchmarking공동문서 2 · 연관도 82%#annotation-design공동문서 1 · 연관도 71%#benchmark-reproducibility공동문서 1 · 연관도 71%#benchmark-version-drift공동문서 1 · 연관도 71%#capability-evaluation공동문서 1 · 연관도 71%#d3code공동문서 1 · 연관도 71%#desktop-automation공동문서 1 · 연관도 71%#dices공동문서 1 · 연관도 71%#human-disagreement공동문서 1 · 연관도 71%#human-evaluation공동문서 1 · 연관도 71%
Building better AI benchmarks: How many raters are enough?
Article2026년 3월 31일

Building better AI benchmarks: How many raters are enough?

Google Research는 인간 평가자 간 불일치를 무시하지 않는 재현성 높은 AI 벤치마크를 만들기 위해, 평가 항목 수와 항목당 평가자 수의 최적 균형을 찾는 프레임워크와 시뮬레이터를 제시했다.

research.google
#d3code#dices#google-research#toxicity-dataset
What does OSWorld tell us about AI’s ability to use computers?
Article2025년 10월 30일

What does OSWorld tell us about AI’s ability to use computers?

OSWorld는 AI가 Ubuntu 환경에서 실제 컴퓨터 작업을 수행하는 능력을 재는 유용한 벤치마크지만, 과제 갱신, 터미널·스크립트 대체 가능성, 지시문 모호성 때문에 점수 해석에는 상당한 주의가 필요하다.

Florian Brand
#libreoffice#osworld#ubuntu#epoch-ai