retrieval-index 태그 문서 248개

Optimize model training on Amazon SageMaker AI with NVIDIA Blackwell

이 글은 Amazon SageMaker AI의 P6 B200 인스턴스와 NVIDIA Blackwell GPU를 활용해 대규모 모델 학습에서 배치 크기, 시퀀스 길이, 샤딩, 정밀도 형식, 활성화 체크포인팅을 어떻게 조정해야 하는지 설명한다.

#nvidia #service-design #ai-architecture #agent-memory

#resort-experience #privacy-design #service-design #agent-memory

Optimizing cloud economics with linear elastic caching

선형 탄력 캐싱은 캐시 메모리 비용과 캐시 미스 비용을 함께 최적화하기 위해 페이지 보존 시간을 스키 대여 문제로 모델링하고, 가벼운 학습 기반 TTL 예측으로 고정 크기 캐시보다 낮은 총소유비용을 달성하려는 접근이다.

research.google

Build self-service AWS Health analytics to find actionable health insights with AI agents powered by Amazon Bedrock

이 글은 여러 AWS 계정에 흩어진 AWS Health 이벤트를 Chaplin이라는 오픈소스 MCP 기반 AI 에이전트 시스템으로 수집·분류·분석해 운영팀이 자연어로 즉시 실행 가능한 인사이트를 얻는 방법을 설명합니다.

#anthropic #service-design #ai-architecture #agent-memory

The Art of Loop Engineering

이 글은 에이전트를 잘 작동시키려면 단일 모델 성능보다 작업 실행, 검증, 이벤트 구동, 지속 개선을 겹겹이 설계하는 ‘루프 엔지니어링’이 핵심이라고 설명한다.

#ai-architecture #agent-memory #agent-routing #llm-traces

How we built SmithDB’s inverted index for full-text search

SmithDB는 수집 시점에 역색인을 함께 만들고, 객체 스토리지 친화적인 레이아웃·병합·쿼리 경로를 통해 대규모 실행 로그의 JSON 필드와 전문 검색을 빠르게 처리한다.

#service-design #agent-memory #retrieval-index #search-advertising

We built SmithDB, the data layer for agent observability

LangSmith는 장기 실행·중첩·멀티모달 에이전트 트레이스를 기존 관측성 저장소로 처리하기 어렵다고 보고, 이를 위해 Rust 기반의 객체 스토리지 지원 분산 데이터 계층인 SmithDB를 구축해 핵심 LangSmith 워크로드에 적용했다.

#service-design #ai-architecture #agent-memory #context-compression

How to Build Memory into AI Agents

AI 에이전트의 메모리는 과거 실행에서 얻은 교훈을 장기 컨텍스트로 저장하고 다음 실행에 다시 읽혀 행동을 개선하게 만드는 순환 구조입니다.

#agent-memory #agent-routing #context-compression #retrieval-index

Accelerating Transformers Fine-Tuning with NVIDIA NeMo AutoModel

NVIDIA NeMo AutoModel은 HuggingFace Transformers v5 위에 Expert Parallelism, DeepEP, TransformerEngine 커널을 얹어 MoE 모델 파인튜닝 처리량을 3.4~3.7배 높이고 GPU 메모리를 29~32% 줄이는 것을 목표로 한다.

#nvidia #ai-architecture #multimodal #agent-memory

AI-powered BI with Snowflake and Amazon Quick

이 글은 Snowflake semantic view를 공통 의미 계층으로 삼아 Cortex Analyst와 Amazon Quick Sight 대시보드가 동일한 비즈니스 정의를 사용하도록 연결하는 실습 절차를 설명합니다.

#service-design #ai-architecture #agent-memory #agent-routing

#nvidia #ai-architecture #agent-memory #agent-routing

NVIDIA and AWS Collaborate to Bring AI to Production at Scale

NVIDIA와 AWS는 EC2 G7, OpenSearch Serverless의 cuVS 기반 벡터 인덱싱, GB300 훈련 성능 인증을 통해 기업용 AI를 더 낮은 운영 부담으로 대규모 생산 환경에 배포할 수 있게 한다고 설명한다.

Josiah Byers

#broadcom #nvidia #openai #ai-architecture

OpenAI unveils its first custom chip, built by Broadcom

OpenAI는 Broadcom과 함께 만든 첫 맞춤형 추론 칩 ‘Jalapeño’를 공개하며, 추론 비용과 전력 효율을 낮추기 위한 인프라 내재화 전략을 강조했습니다.

Russell Brandom

#privacy-design #ai-architecture #agent-memory #context-compression

The emergence of the web data infrastructure layer for AI

AI의 다음 병목은 모델 크기가 아니라, 최신·관련성·신뢰성을 갖춘 웹 데이터를 실시간으로 발견하고 구조화해 공급하는 인프라 계층에 있다.

technologyreview.com

#anthropic #privacy-design #service-design #agent-memory

The memory chip crunch is paying off for this US company

AI 붐으로 메모리 칩 부족이 심화되는 가운데, 미국 메모리 반도체 기업 마이크론은 급격한 매출·이익 증가와 긍정적 전망, 앤트로픽 공급 계약으로 수혜를 보고 있다.

Kirsten Korosec

Build real agentic apps using CUGA: two dozen working examples on a lightweight harness

CUGA는 에이전트 앱에서 반복되는 계획·실행·도구 호출·상태 관리·정책 처리를 하네스가 맡고, 개발자는 도구 목록과 프롬프트에 집중하도록 해 주는 IBM의 오픈소스 에이전트 하네스입니다.

#anthropic #service-design #ai-architecture #agent-memory

Experimenting with the proposed Cross-Origin Storage API in Transformers.js

교차 출처 저장소 API는 브라우저 AI 앱이 모델과 웹어셈블리 파일을 암호학적 해시로 식별해 출처가 달라도 하나의 검증된 사본을 공유하도록 제안함으로써, 캐시 격리로 인한 중복 다운로드와 저장 공간 낭비를 줄이려는 초기 단계의 웹 API다.

#privacy-design #agent-memory #agent-routing #retrieval-index

#china #service-design #agent-memory #capex-cycle

Memory Chips and China, Microsoft and Chinese Models

공개된 원문은 ‘중국 메모리 업체와 마이크로소프트의 중국 모델 활용 유인’을 제목과 짧은 문제 제기로 제시하지만, 실제 분석 본문은 Stratechery Plus 구독자 영역에 가려져 있다.

stratechery.com

#nvidia #ai-architecture #agent-memory #capex-cycle

NVIDIA Powers Over 400 of the World’s 500 Fastest Supercomputers

NVIDIA 기술은 최신 TOP500 슈퍼컴퓨터의 81%와 신규 진입 시스템의 약 90%를 차지하며, AI·시뮬레이션·과학을 위한 가속 컴퓨팅 인프라의 핵심 기반으로 확대되고 있다.

Chris Porter

Shared infrastructure, isolated tenants: Pool model multi-tenancy with Amazon Bedrock AgentCore

이 글은 의료 AI 보조 서비스 예시를 통해 공유 인프라를 쓰면서도 테넌트·사용자·서비스 티어별 격리, 비용 추적, 권한 통제를 구현하는 멀티테넌트 AI 아키텍처 패턴을 설명한다.

#service-design #ai-architecture #agent-memory #agent-routing

#nvidia #ai-architecture #multimodal #agent-memory

At ISC, JUPITER Shows What Exascale Science Looks Like

유럽 최초의 엑사스케일 슈퍼컴퓨터 JUPITER는 뇌 지도 작성, 1km 기후 시뮬레이션, 6G용 AI, 50큐비트 양자컴퓨터 시뮬레이션을 통해 엑사스케일 과학의 실제 활용 범위를 보여준다.

Chris Porter

#travel-hospitality #semiconductors #applications #agent-memory

Companies’ use of ‘disposable workers’ is transforming employment

MIT 슬론의 폴 오스터먼은 미국 기업들이 유연성을 이유로 프리랜서, 계약직, 시간제, 주변부 고용 노동자에 더 의존하면서 고용의 안정성·훈련·승진·조직 충성도가 약화되고 있다고 분석한다.

mitsloan.mit.edu

#nvidia #service-design #agent-memory #agent-routing

From Materials Simulation to Experimental Astronomy, New NVIDIA AI Software Unlocks Scientific Discoveries

NVIDIA는 ISC에서 cuPhoton, DAQIRI, ALCHEMI를 소개하며 천문 데이터 처리, 실시간 실험 데이터 분석, 화학·재료 시뮬레이션을 GPU 기반 파이프라인으로 크게 가속한다고 밝혔다.

Chris Porter

PP-OCRv6 on Hugging Face: 50-Language OCR from 1.5M to 34.5M Parameters

PP OCRv6는 1.5M~34.5M 규모의 세 가지 모델과 최대 50개 언어 지원, 여러 추론 백엔드를 결합해 실제 환경에서 정확하고 구조화된 OCR 결과를 제공하는 경량 모델 제품군이다.