llm 태그 문서 1292개 | 우성짱의 문서

Agent Observability: How to Monitor and Evaluate LLM Agents in Production

이 글은 LLM 에이전트가 기존 소프트웨어처럼 예측·감시되기 어렵기 때문에, 프로덕션 대화 트레이스 자체를 관찰하고 인간 평가와 LLM 평가를 결합해 지속적으로 품질을 개선해야 한다고 설명한다.

#privacy-design #agent-routing #api-llm-llm #llm

Aligning LLM-as-a-Judge with Human Preferences

LangSmith는 사람이 수정한 LLM as a Judge 평가 결과를 few shot 예시로 축적해, 별도의 반복적인 프롬프트 엔지니어링 없이 평가기를 인간 선호에 점진적으로 맞추는 self improving evaluator를 소개한다.

#agent-memory #context-compression #prompt-library #retrieval-index

Announcing LangSmith is now a transactable offering in the Azure Marketplace

LangChain은 기업이 LangSmith를 Azure Marketplace에서 Azure Kubernetes Application 형태로 구매하고 배포할 수 있게 됐다고 발표했다.

#service-design #agent-deployment #context-compression #prompt-library

#anthropic #service-design #agent-routing #ai-safety

Anthropic’s Safety Superpower

벤 톰슨은 Anthropic의 Fable/Mythos 논란을 안전 경고의 진정성, 정부 규제 충돌, 모델 기업의 경제·데이터 확보 압력이라는 관점에서 해석한다.

stratechery.com

#agent-deployment #llm #semiconductors #applications

Balance AI innovation and risk with ‘minimum viable governance’

MIT CISR 연구진은 생성형 AI 확산에서 혁신을 막지 않으면서 위험을 관리하려면 ‘최소 실행 가능 거버넌스’가 필요하다고 제안한다.

mitsloan.mit.edu

The U-bit Model: Human and AI Coexistence

이 글은 인간의 비알고리즘적 통찰과 유한성이 AI에게 의미, 역사성, 죽음의 감각을 제공한다는 ‘U bit 모델’을 통해 인간과 AI의 공존을 설명한다.

#privacy-design #ai-architecture #llm #semiconductors

Build and deploy a RAG app with Pinecone Serverless

이 글은 Pinecone Serverless, LangServe, LangSmith를 조합해 프로토타입 수준의 RAG 데모를 운영 가능한 웹 서비스로 배포하는 흐름과 그 배경이 되는 생산 환경의 문제를 설명한다.

#service-design #ai-architecture #agent-deployment #agent-memory

Building a 100x Cheaper Trace Judge with Fireworks

LangChain Labs는 Fireworks와 함께 Qwen 3.5 35B를 미세조정해 사용자가 에이전트 응답에서 오류를 느꼈는지 판별하는 Trace Judge를 만들었고, 프런티어 모델 수준의 정확도를 유지하면서 최대 100배 저렴한 추론 비용을 보였다고 설명한다.

#llm #semiconductors #applications #agent-deployment

Evaluating Deep Agents: Our Learnings

LangChain 팀은 네 가지 딥 에이전트 애플리케이션을 출시하며, 딥 에이전트 평가는 일반 LLM 평가보다 테스트별 성공 기준, 실행 범위 선택, 재현 가능한 환경 구성이 훨씬 중요하다는 점을 정리했다.

#ai-architecture #agent-memory #context-compression #retrieval-index

Generative AI: Not on the Sidelines, Not in Testing. On Air at TF1’s Evening News.

TF1 저녁 뉴스의 모션 디자이너 야신 타우픽은 생성형 AI가 실험이 아니라 실제 방송 제작에서, 속도보다 ‘이전에는 불가능했던 시각적 구현’을 가능하게 하는 도구라고 설명한다.

#privacy-design #agent-routing #llm #semiconductors

How and when to build multi-agent systems

멀티 에이전트 시스템은 무조건 좋은 해법이 아니라, 충분한 컨텍스트 엔지니어링과 병렬화 가능한 읽기 중심 작업, 높은 작업 가치가 맞아떨어질 때 특히 유용하다는 글이다.

#anthropic #ai-architecture #agent-routing #ai-safety

How to Debug & Evaluate AI Agents with Observability — LangChain Guide

이 글은 AI 에이전트의 오류를 코드 실패가 아니라 런타임에 드러나는 추론 실패로 보고, runs·traces·threads 기반 관측성이 디버깅과 평가의 핵심 토대가 된다고 설명한다.

#service-design #ai-architecture #agent-routing #context-compression

How to turn Claude Code into a domain specific coding agent

이 글은 Claude Code를 LangGraph·LangChain 같은 도메인 특화 라이브러리에 더 잘 맞추기 위해 실험한 설정들을 비교하고, 압축된 지침 파일과 필요 시 문서를 조회하는 도구를 함께 쓰는 방식이 가장 좋은 결과를 냈다고 설명한다.

#claude-code #ai-architecture #llm #semiconductors

I Built a Trading Jarvis AI System in 2026 — It Analyzes Markets While I Sleep

개발자인 저자가 밤새 차트를 보지 않기 위해 Python, yfinance, 기술적 지표, Claude 분석, 이메일 알림, 스케줄링을 조합해 ‘Trading Jarvis’라는 시장 모니터링 파이프라인을 만든 과정을 설명한다.

#anthropic #agent-routing #workflow-automation #llm

I Just Wanted to Understand Cross-Entropy Loss. I Ended Up With a Complete GAN.

글은 머신러닝을 ‘분포 추정’으로 설명하는 직관이 실제 계산으로 들어가면 왜 곧바로 난관에 부딪히는지 보여주고, 교차엔트로피·KL 발산·최대우도·샘플링·신경망 생성기까지 하나의 흐름으로 연결한다.

#paul-tudor-jones #privacy-design #ai-architecture #position-sizing

I Tested 30+ AI Text-to-Speech Generators — Here’s the Best One in 2026

저자는 30개 이상의 AI 텍스트 음성 변환 도구를 시험한 뒤, 감정 표현과 자연스러운 전달력을 핵심 기준으로 Typecast AI를 2026년 추천 도구로 꼽는다.

#privacy-design #llm #semiconductors #applications

Improving Memory Retrieval: How New Computer achieved 50% higher recall with LangSmith

New Computer는 LangSmith로 Dot의 에이전트형 장기 메모리 검색과 대화 프롬프트를 실험·평가해 이전 기준 대비 재현율 50%, 정밀도 40% 향상을 달성했다.

#privacy-design #agent-memory #context-compression #prompt-library

Introducing Align Evals: Streamlining LLM Application Evaluation

LangChain은 LLM 애플리케이션 평가 점수가 팀 내 인간 평가와 어긋나는 문제를 줄이기 위해, LangSmith에서 평가자 프롬프트를 인간 선호에 맞게 조정하는 Align Evals 기능을 공개했다.

#ai-architecture #context-compression #prompt-library #llm

Introducing End-to-End OpenTelemetry Support in LangSmith

LangSmith가 LangChain·LangGraph 애플리케이션을 위한 엔드투엔드 OpenTelemetry 지원을 추가해, LLM 애플리케이션의 추적 데이터를 표준 형식으로 수집·전송·시각화할 수 있게 했습니다.

#ai-architecture #agent-memory #agent-routing #retrieval-index

#ai-architecture #agent-routing #llm #semiconductors

Introducing North Mini Code: Cohere’s First Model For Developers

코히어가 에이전트형 소프트웨어 엔지니어링에 특화된 300억 매개변수 희소 전문가 혼합 모델 ‘노스 미니 코드’를 아파치 2.0 라이선스로 공개했다.

huggingface.co

Introducing OpenTelemetry support for LangSmith

LangSmith가 OpenTelemetry 형식의 trace 수집을 지원해, OpenLLMetry 규약 기반의 LLM 모니터링과 시스템 telemetry를 LangSmith 안에서 함께 볼 수 있게 됐다는 발표입니다.

#agent-memory #context-compression #retrieval-index #llm

Iterating Towards LLM Reliability with Evaluation Driven Development

Dosu는 생산 환경 LLM 제품의 신뢰성을 높이기 위해 변경의 영향을 평가 데이터로 검증하는 EDD를 도입했고, LangSmith로 모니터링·검색·실패 사례 수집을 확장했다.

#ai-architecture #agent-routing #context-compression #prompt-library

monday Service + LangSmith: Building a Code-First Evaluation Strategy from Day 1

monday Service는 LangSmith와 Vitest를 결합해 오프라인·온라인 평가를 개발 초기부터 코드와 CI/CD 안에 넣고, 서비스 에이전트 품질을 빠르게 검증·모니터링하는 전략을 구축했다.

#service-design #ai-architecture #agent-deployment #agent-routing