benchmark-methodology 태그 문서 3개 | 우성짱의 문서

우성짱의 문서

Tag3건Article 3

#benchmark-methodology

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

연관 태그

#ai-benchmarking공동문서 2 · 연관도 67%#agent-execution-traces공동문서 1 · 연관도 58%#annotation-design공동문서 1 · 연관도 58%#benchmark-version-drift공동문서 1 · 연관도 58%#capability-evaluation공동문서 1 · 연관도 58%#d3code공동문서 1 · 연관도 58%#desktop-automation공동문서 1 · 연관도 58%#dices공동문서 1 · 연관도 58%#failure-taxonomy공동문서 1 · 연관도 58%#human-disagreement공동문서 1 · 연관도 58%

IssueBench - How We Evaluate Engine

Article2026년 7월 20일

IssueBench - How We Evaluate Engine

이슈벤치는 랭스미스 엔진이 에이전트 실행 추적에서 문제를 정확히 식별·분류·연결·그룹화해 실행 가능한 이슈로 전환하는지를 검증하는 내부 벤치마크다.

#issuebench #langchain #langsmith #normal-label-integrity

Building better AI benchmarks: How many raters are enough?

Article2026년 3월 31일

Building better AI benchmarks: How many raters are enough?

Google Research는 인간 평가자 간 불일치를 무시하지 않는 재현성 높은 AI 벤치마크를 만들기 위해, 평가 항목 수와 항목당 평가자 수의 최적 균형을 찾는 프레임워크와 시뮬레이터를 제시했다.

research.google

#d3code #dices #google-research #toxicity-dataset

What does OSWorld tell us about AI’s ability to use computers?

Article2025년 10월 30일

What does OSWorld tell us about AI’s ability to use computers?

OSWorld는 AI가 Ubuntu 환경에서 실제 컴퓨터 작업을 수행하는 능력을 재는 유용한 벤치마크지만, 과제 갱신, 터미널·스크립트 대체 가능성, 지시문 모호성 때문에 점수 해석에는 상당한 주의가 필요하다.

#libreoffice #osworld #ubuntu #epoch-ai