ai-architecture 태그 문서 508개

Prompt Caching with Deep Agents

Deep Agents는 모델 제공자별로 다른 프롬프트 캐싱 방식을 추상화해 에이전트 실행 비용을 크게 낮추고, 실제 평가에서 입력 토큰 비용을 49~80% 절감했다고 설명한다.

#anthropic #ai-architecture #context-compression #prompt-library

#ai-architecture #agent-deployment #agent-memory #context-compression

Accelerating Gemini Nano models on Pixel with frozen Multi-Token Prediction

구글은 Pixel의 Gemini Nano v3에 별도 드래프터 없이 동결된 모델 위에 Multi Token Prediction 헤드를 덧붙여 온디바이스 추론 속도와 메모리 효율을 높이는 방식을 소개했다.

research.google

Build interactive PDF text extraction from Amazon S3

이 글은 Amazon S3에 저장된 텍스트 기반 PDF를 MCP 서버로 실시간 조회해, 배치 파이프라인 없이 필요한 문서 내용을 즉시 추출하는 방법을 설명한다.

#service-design #ai-architecture #agent-routing #workflow-automation

How Cara pioneers domain-specific AI for enterprise insurance brokerages with AWS

Cara는 보험 중개사의 반복적 백오피스 업무와 인력 부족 문제를 해결하기 위해 AWS 기반의 도메인 특화 AI 워크플로를 제공한다고 설명한다.

#service-design #ai-architecture #agent-memory #retrieval-index

Production-grade AI agents for financial compliance: Lessons from Stripe

Stripe는 대규모 결제·컴플라이언스 검토에서 사람의 최종 판단을 유지하면서, 작업 분해·ReAct 에이전트·전용 에이전트 서비스·LLM 프록시를 결합해 검토 시간을 줄이고 감사 가능성을 확보한 사례를 제시한다.

#privacy-design #service-design #ai-architecture #agent-routing

#service-design #ai-architecture #ai-infrastructure #capex-cycle

Run a vLLM Server on HF Jobs in One Command

Hugging Face Jobs에서 vLLM OpenAI 호환 서버를 한 줄 명령으로 띄우고, 토큰 인증으로 호출하며, 필요에 따라 대형 모델·Gradio UI·SSH 디버깅·코딩 에이전트 백엔드까지 확장하는 방법을 설명한다.

huggingface.co

Why the Best AI Agents Are Simple: Sierra’s Zack Reneau-Wedeen on the Max Agency Podcast

시에라의 제품 책임자 잭 르노 위딘은 최고의 AI 에이전트가 복잡한 다중 에이전트 구조보다 전체 맥락을 가진 단순한 단일 에이전트와 목적에 맞는 모델 조합에서 나온다고 설명한다.

#anthropic #ai-architecture #agent-memory #agent-routing

Agentic Engineering: How Swarms of AI Agents Are Redefining Software Engineering

이 글은 AI 코딩 도구를 넘어, 역할·기억·관측성을 공유하는 다중 에이전트가 소프트웨어 전달 전 과정을 조율하는 ‘에이전틱 엔지니어링’의 구조와 파일럿 결과를 설명한다.

#agent-swarms #ai-architecture #agent-memory #agent-routing

Building agentic AI applications with a modern data mesh strategy on AWS

이 글은 RAG의 단일 검색 지점 통제를 넘어, 에이전트형 AI가 스키마 탐색·SQL 생성·쿼리 실행·응답 합성까지 수행하는 전 과정에 세밀한 권한 통제를 적용하기 위한 AWS 기반 서버리스 데이터 메시 아키텍처를 설명한다.

#service-design #ai-architecture #agent-memory #context-compression

#firecrawl #claude-code #ai-architecture #execution-capability-expansion

Claude Code Just Got 16 New Powers You Should Be Using

Firecrawl 스킬은 Claude Code에 웹 검색·스크래핑·사이트 상호작용 기능과 16개의 종단 간 워크플로를 추가하며, 핵심 스킬은 일반 요청으로 자동 실행되지만 워크플로는 이름을 명시해야 더 안정적으로 선택된다.

Richard Oliver Bray

#ai-architecture #capex-cycle #llm #applications

Databricks’ former AI chief thinks he can cut AI’s power bill by 1,000x

Databricks 전 AI 책임자 Naveen Rao가 이끄는 Unconventional AI는 오실레이터 기반 컴퓨팅으로 AI 추론 전력 사용을 최대 1,000분의 1로 줄이겠다는 목표를 제시했다.

Russell Brandom

How LangSmith and LangChain OSS Help You Meet EU AI Act Requirements

이 글은 EU AI Act의 고위험 AI 시스템 요구사항을 운영 인프라 관점에서 해석하고, LangSmith와 LangChain OSS가 추적, 평가, 인간 감독, 데이터 거주성 측면에서 이를 어떻게 지원하는지 설명한다.

#ai-architecture #agent-deployment #agent-routing #prompt-library

How Klarna's AI assistant redefined customer support at scale for 85 million active users

Klarna는 LangGraph와 LangSmith 기반 AI Assistant로 결제·환불·에스컬레이션 업무를 대규모로 처리하며 고객지원 속도와 자동화 수준을 크게 높였다.

#service-design #ai-architecture #context-compression #prompt-library

Optimize model training on Amazon SageMaker AI with NVIDIA Blackwell

이 글은 Amazon SageMaker AI의 P6 B200 인스턴스와 NVIDIA Blackwell GPU를 활용해 대규모 모델 학습에서 배치 크기, 시퀀스 길이, 샤딩, 정밀도 형식, 활성화 체크포인팅을 어떻게 조정해야 하는지 설명한다.

#nvidia #service-design #ai-architecture #agent-memory

Build self-service AWS Health analytics to find actionable health insights with AI agents powered by Amazon Bedrock

이 글은 여러 AWS 계정에 흩어진 AWS Health 이벤트를 Chaplin이라는 오픈소스 MCP 기반 AI 에이전트 시스템으로 수집·분류·분석해 운영팀이 자연어로 즉시 실행 가능한 인사이트를 얻는 방법을 설명합니다.

#anthropic #service-design #ai-architecture #agent-memory

The Art of Loop Engineering

이 글은 에이전트를 잘 작동시키려면 단일 모델 성능보다 작업 실행, 검증, 이벤트 구동, 지속 개선을 겹겹이 설계하는 ‘루프 엔지니어링’이 핵심이라고 설명한다.

#ai-architecture #agent-memory #agent-routing #llm-traces

We built SmithDB, the data layer for agent observability

LangSmith는 장기 실행·중첩·멀티모달 에이전트 트레이스를 기존 관측성 저장소로 처리하기 어렵다고 보고, 이를 위해 Rust 기반의 객체 스토리지 지원 분산 데이터 계층인 SmithDB를 구축해 핵심 LangSmith 워크로드에 적용했다.

#service-design #ai-architecture #agent-memory #context-compression

#nvidia #ai-architecture #multimodal #agent-memory

Accelerating Transformers Fine-Tuning with NVIDIA NeMo AutoModel

NVIDIA NeMo AutoModel은 HuggingFace Transformers v5 위에 Expert Parallelism, DeepEP, TransformerEngine 커널을 얹어 MoE 모델 파인튜닝 처리량을 3.4~3.7배 높이고 GPU 메모리를 29~32% 줄이는 것을 목표로 한다.

huggingface.co

AI-powered BI with Snowflake and Amazon Quick

이 글은 Snowflake semantic view를 공통 의미 계층으로 삼아 Cortex Analyst와 Amazon Quick Sight 대시보드가 동일한 비즈니스 정의를 사용하도록 연결하는 실습 절차를 설명합니다.

#service-design #ai-architecture #agent-memory #agent-routing

Build a healthcare appointment agent with Amazon Nova 2 Sonic

이 글은 Amazon Nova 2 Sonic과 Amazon Bedrock AgentCore, Strands Agents SDK를 사용해 병원 예약 확인·취소·변경·사전 문진·상담원 연결을 처리하는 음성 기반 헬스케어 예약 에이전트를 구축하는 방법을 설명한다.

#service-design #ai-architecture #agent-deployment #agent-routing

How Loka Built a Natural, Low-Latency Voice Agent with Amazon Nova 2 Sonic

Loka는 Amazon Nova 2 Sonic 기반의 음성 음성 에이전트로 기존 음성 비서의 지연·비용·대화 품질 문제를 줄이고, 딜러십 고객 응대에 더 자연스럽고 빠른 실시간 대화 경험을 구현했다.

#service-design #ai-architecture #agent-routing #prompt-library

Huntington Bank: Redacting sensitive data from 400M+ documents with AWS

헌팅턴은행은 온프레미스에 쌓인 4억 건 이상의 문서에서 민감 고객 정보를 대규모로 찾아 가리고, 처리 기간을 수년에서 수개월로 줄이는 AWS 기반 문서 처리 워크플로를 구축했다.

#service-design #ai-architecture #agent-routing #workflow-automation