Docs favicon

Tag7건Article 7

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

연관 태그

이 글은 Langfuse를 로컬에 self hosted로 설치한 뒤 OpenAI 호출 추적, 메타데이터, 세션·사용자 연결, 내장 평가기와 LLM as a Judge 설정까지 직접 실습한 과정을 정리한다.

OpenAI는 ChatGPT가 기본적으로 정치적 편향 없이 객관성을 유지해야 한다는 원칙을 실제 대화형 평가로 측정하기 위해, 약 500개 프롬프트와 다섯 가지 편향 축을 갖춘 자동 평가 체계를 만들고 GPT‑5 계열에서 편향 감소를 확인했다고 설명한다.

LangChain과 Harvey는 법률 에이전트 평가에서 검증기 비용이 병목이 되는 문제를 다루며, 기준별 호출을 배치 검증으로 묶고 더 저렴한 오픈 모델을 활용하면 frontier 모델에 가까운 성능을 유지하면서 비용을 크게 줄일 수 있다고 설명한다.

Spotify Engineering은 LLM 평가를 A/B 테스트의 대체재가 아니라, 실험 전 후보를 걸러내고 실험 후 판단 기준을 보정하는 ‘평가 퍼널’로 사용해야 한다고 설명한다.

Google Research는 180개 에이전트 구성의 통제 평가를 통해 다중 에이전트가 병렬화 가능한 과제에서는 성능을 크게 높이지만, 순차적 추론 과제에서는 오히려 성능을 떨어뜨릴 수 있다는 정량적 스케일링 원칙을 제시했다.

NeurIPS 2025 E2LM Competition은 LLM 초기 학습 단계에서 과학 지식과 추론 신호를 더 잘 포착하는 벤치마크를 함께 만들기 위한 대회다.

AraGen은 아랍어 LLM을 대상으로 사실성·사용성을 함께 평가하기 위해 3C3H 척도, 동적 블라인드 평가 주기, 인간 검증 데이터셋을 결합한 생성형 벤치마크와 리더보드다.