Docs faviconDOCS우성짱의 문서
Tag10건Article 10

#benchmark-study

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

연관 태그

#harbor공동문서 2 · 연관도 37%#agent-coordination-gap공동문서 1 · 연관도 32%#agent-density공동문서 1 · 연관도 32%#agent-reliability-metrics공동문서 1 · 연관도 32%#agent-teamwork-evaluation공동문서 1 · 연관도 32%#agent-verification공동문서 1 · 연관도 32%#architecture-pattern공동문서 1 · 연관도 32%#batch-rubric-scoring공동문서 1 · 연관도 32%#big-bench공동문서 1 · 연관도 32%#big-bench-hard공동문서 1 · 연관도 32%

문서 목록

총 10건 중 1-10건

Evaluating OpenWiki with WikiBench
Article2026년 8월 26일·👁️ 1

Evaluating OpenWiki with WikiBench

WikiBench는 코드베이스 질문에 대한 에이전트의 답변으로 OpenWiki의 품질을 평가하며, 위키와 소스를 함께 활용할 때 소스만 사용할 때보다 정확도와 비용 효율이 높아짐을 보여준다.

langchain.com
#harbor#openwiki#wikibench#grounded-answer-scoring
Reduce RAG costs on Amazon Bedrock with query-aware compression
Article2026년 8월 21일·👁️ 2

Reduce RAG costs on Amazon Bedrock with query-aware compression

검색 후 소형 모델이 질의와 직접 관련된 원문 증거만 추출하도록 해 주 모델의 입력 토큰과 비용을 줄이는 Amazon Bedrock 기반 RAG 압축 방식과 그 성능 평가를 설명한다.

aws.amazon.com
#amazon-bedrock#claude-haiku#claude-sonnet#amazon-opensearch-serverless
How Much Memory Does Your Agent Actually Need?
Article2026년 8월 18일·👁️ 3

How Much Memory Does Your Agent Actually Need?

에이전트 메모리는 많이 제공할수록 좋은 기능이 아니라, 모델의 역량과 남은 개선 여지에 맞춰 전체 주입·선별 검색·미사용 중 적정 용량을 선택해야 하는 조정 대상이다.

huggingface.co
#appworld#altk-evolve#deepseek-v3-2#gpt-oss-120b
Empty shelves or lost keys? Recall is the bottleneck for parametric factuality
Article2026년 8월 12일·👁️ 4

Empty shelves or lost keys? Recall is the bottleneck for parametric factuality

최전선 대규모 언어 모델의 사실 오류는 지식이 아예 저장되지 않은 ‘빈 선반’보다 이미 부호화된 지식을 꺼내지 못하는 ‘잃어버린 열쇠’형 회상 실패에서 더 많이 발생한다.

research.google
#wikiprofile#gpt-5#gemini-3-pro#recall-bottleneck
Evaluating code review agents with ReviewBench
Article2026년 7월 31일·👁️ 2

Evaluating code review agents with ReviewBench

ReviewBench는 실제 LangSmith PR의 검토 의견을 재현 가능한 평가 과제로 만든 벤치마크로, 기본 하네스에서는 최신 모델도 기준 이슈 대부분을 놓쳤지만 구조화된 검토 프롬프트만으로도 성능이 크게 달라질 수 있음을 보여준다.

langchain.com
#harbor#langsmith#reviewbench#coverage-precision-tradeoff
Building the enterprise environment for agentic AI
Article2026년 7월 27일·👁️ 3

Building the enterprise environment for agentic AI

기업용 에이전트형 인공지능의 성패는 모델 추론 성능만이 아니라 업무 조율, 데이터와 도구 접근, 관측 가능성, 적정 에이전트 밀도, 확장 전략을 아우르는 시스템 기반에 달려 있다.

technologyreview.com
#intel#terminal-bench#agent-density#horizontal-first-scaling
AI detectors rarely flag human writing, but sometimes miss AI text imitating real authors
Article2026년 7월 15일·👁️ 2

AI detectors rarely flag human writing, but sometimes miss AI text imitating real authors

세 인공지능 텍스트 탐지기는 단순 프롬프트로 생성된 글은 거의 모두 찾아냈지만, 특정 저자의 글 다섯 편을 참고해 문체를 모방한 글은 평균 약 13%, 과학 글은 약 26%를 놓쳤다.

Jaeho Lee
#gptzero#pangram#originality-ai#stylometric-imitation
Designing Efficient Verifiers for Legal Agents
Article2026년 6월 2일·👁️ 4

Designing Efficient Verifiers for Legal Agents

LangChain과 Harvey는 법률 에이전트 평가에서 검증기 비용이 병목이 되는 문제를 다루며, 기준별 호출을 배치 검증으로 묶고 더 저렴한 오픈 모델을 활용하면 frontier 모델에 가까운 성능을 유지하면서 비용을 크게 줄일 수 있다고 설명한다.

langchain.com
#harvey#langchain#lab-benchmark#deepseek-v4-flash
AI Coding Agents Fail at Teamwork
Article2026년 6월 1일·👁️ 6

AI Coding Agents Fail at Teamwork

스탠퍼드 연구진의 CooperBench 연구는 현재의 AI 코딩 에이전트가 단독 작업보다 협업에서 성능이 크게 떨어지며, 병목은 코딩 능력보다 사회적 조정 능력에 있음을 보여준다.

hai.stanford.edu
#cooperbench#python#hao-zhu#stanford-hai
How predictable is language model benchmark performance?
Article2023년 6월 9일·👁️ 7

How predictable is language model benchmark performance?

Epoch AI는 11개 최신 언어모델 아키텍처와 36개 모델 크기의 데이터를 분석해, 벤치마크 전체 성능은 컴퓨트 스케일링만으로도 어느 정도 예측 가능하지만 개별 과제 성능은 훨씬 변동성이 크다고 결론낸다.

David Owen
#big-bench#david-owen#epoch-ai#big-bench-hard