Docs faviconDOCS우성짱의 문서
Tag3건Article 3

#ai-benchmarking

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

연관 태그

#benchmark-methodology공동문서 2 · 연관도 82%#annotation-design공동문서 1 · 연관도 58%#benchmark-reproducibility공동문서 1 · 연관도 58%#benchmark-version-drift공동문서 1 · 연관도 58%#capability-evaluation공동문서 1 · 연관도 58%#d3code공동문서 1 · 연관도 58%#deepseek-v2-5공동문서 1 · 연관도 58%#desktop-automation공동문서 1 · 연관도 58%#dices공동문서 1 · 연관도 58%#human-disagreement공동문서 1 · 연관도 58%
Building better AI benchmarks: How many raters are enough?
Article2026년 3월 31일

Building better AI benchmarks: How many raters are enough?

Google Research는 인간 평가자 간 불일치를 무시하지 않는 재현성 높은 AI 벤치마크를 만들기 위해, 평가 항목 수와 항목당 평가자 수의 최적 균형을 찾는 프레임워크와 시뮬레이터를 제시했다.

research.google
#d3code#dices#google-research#toxicity-dataset
What does OSWorld tell us about AI’s ability to use computers?
Article2025년 10월 30일

What does OSWorld tell us about AI’s ability to use computers?

OSWorld는 AI가 Ubuntu 환경에서 실제 컴퓨터 작업을 수행하는 능력을 재는 유용한 벤치마크지만, 과제 갱신, 터미널·스크립트 대체 가능성, 지시문 모호성 때문에 점수 해석에는 상당한 주의가 필요하다.

Florian Brand
#libreoffice#osworld#ubuntu#epoch-ai
DeepSeek-R1, A Transparent Challenger to OpenAI o1
Article2024년 11월 27일

DeepSeek-R1, A Transparent Challenger to OpenAI o1

DeepSeek R1은 OpenAI o1처럼 추론에 더 많은 계산을 쓰는 모델이지만, 추론 과정을 공개한다는 점에서 더 투명한 경쟁자로 제시됐다.

@DeepLearningAI
#deepseek-r1#gpt-4o#deepseek-v2-5#openai-o1-preview