Docs faviconDOCS우성짱의 문서
Tag21건YouTube 8Article 13

#technical-deep-dive

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

연관 태그

#performance-benchmark공동문서 5 · 연관도 35%#amazon-ec2-p5en공동문서 2 · 연관도 31%#ad-recommendation-systems공동문서 1 · 연관도 22%#advanced-node-manufacturing공동문서 1 · 연관도 22%#agentic-ai-bottlenecks공동문서 1 · 연관도 22%#agentic-reinforcement-learning공동문서 1 · 연관도 22%#ai-data공동문서 1 · 연관도 22%#apple-silicon-inference공동문서 1 · 연관도 22%#applovin공동문서 1 · 연관도 22%#asml-system-integration공동문서 1 · 연관도 22%

문서 목록

총 21건 중 1-21건

NVIDIA Kumo Relational Outperforms Supervised Machine Learning on Relational Data, No Training Required
Article2026년 10월 21일

NVIDIA Kumo Relational Outperforms Supervised Machine Learning on Relational Data, No Training Required

NVIDIA는 최대 10,000개의 문맥 예시로 관계형 데이터베이스를 직접 예측하는 사전학습 모델 Kumo Relational이 과제별 추가 학습 없이 15개 데이터베이스의 41개 평가 과제에서 주요 지도학습 모델을 능가했다고 발표했다.

huggingface.co
#nvidia#kumo-relational#accuracy-latency-tradeoff#context-hop-constraints
MPS in PyTorch 2.15
Article2026년 10월 20일

MPS in PyTorch 2.15

PyTorch 2.15는 Mac의 MPS에 FP8 지원과 Metal 커널 최적화를 도입해 LLM 디코딩, 영상 메모리 사용량, 이미지 처리 정확도와 연산 지원을 개선한다.

huggingface.co
#m3-ultra#driver-memory-reduction#image-fidelity-correction#moe-decoding-acceleration
Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
Article2026년 10월 19일

Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM

vLLM의 양방향 KV 전송은 멀티턴 대화에서 decode의 캐시를 prefill이 재사용하게 하며, EFA로 연결한 Amazon EC2 P5en의 1P1D 벤치마크에서 TTFT를 Qwen3 32B는 최대 약 1.6배, zai org/GLM 5 FP8은 최대 약 3.3배 개선했다.

aws.amazon.com
#aws-efa#amazon-ec2-p5en#ttft-reduction#bidirectional-kv-transfer
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
Article2026년 10월 19일

Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM

vLLM의 push 기반 KV 전송은 prefill과 전송 준비를 겹치고 decode의 설정 부담을 줄여, Qwen3 32B·1P1D·Amazon EC2 P5en·EFA 벤치마크에서 pull 대비 TTFT를 최대 약 3배 개선하고 TPOT를 최대 30% 개선했다.

aws.amazon.com
#qwen3-32b#amazon-ec2-p5en#decode-overhead-reduction#latency-routing-tradeoff
Mixture-of-Experts kernel engineering on Amazon SageMaker AI
Article2026년 10월 13일

Mixture-of-Experts kernel engineering on Amazon SageMaker AI

AWS는 Amazon SageMaker AI의 fused MoE 추론을 위해 행렬 배치, FP8 백엔드 라우팅, Triton JIT 재컴파일을 최적화했으며, H200에서 최대 10%의 처리량 향상과 최대 9%의 TTFT 개선을 보고했다.

aws.amazon.com
#triton#nvidia-h200#amazon-sagemaker-ai#jit-recompilation-elimination
tokenizers v1: encode, decode and scaling, measured
Article2026년 9월 21일

tokenizers v1: encode, decode and scaling, measured

tokenizers v1 출시 후보는 v0.23과 동일한 토큰 ID와 API를 유지하면서, Apple M4 Max의 단일 스레드 인코딩에서 10개 모델 계열에 걸쳐 3~30배의 속도 향상과 8개 작업자에서 선형 확장 대비 76%의 효율을 보고했다.

huggingface.co
#bitcannon#apple-m4-max#huggingface-tokenizers-v1#input-dependent-speedup
The new AgentCore runtime: Elastic, optimized, and consistently fast starts
Article2026년 9월 18일

The new AgentCore runtime: Elastic, optimized, and consistently fast starts

AWS는 사용량에 따라 메모리를 할당·회수하고 스냅샷으로 시작 시간을 일정하게 유지해, 장시간 실행되는 에이전트의 비용 효율과 응답성을 높이는 새로운 Amazon Bedrock AgentCore runtime을 발표했다.

aws.amazon.com
#amazon-bedrock-agentcore#amazon-web-services#predictable-startup-latency#long-running-agents
Optimizing agent system prompts with Amazon Bedrock AgentCore
Article2026년 9월 16일

Optimizing agent system prompts with Amazon Bedrock AgentCore

Amazon Bedrock AgentCore는 운영 트레이스와 평가 신호를 분석해 시스템 프롬프트 개선안을 제안하며, 공개 벤치마크에서 Single Agent Reflector는 빠른 최적화에, 실험적 Sub Agent Reflector는 최고 성능에 강점을 보였다.

aws.amazon.com
#amazon-bedrock-agentcore#single-agent-reflector#sub-agent-reflector#filesystem-evidence-search
Introducing @huggingface/kernels: 200+ WebGPU Kernels for Local AI
Article2026년 9월 1일

Introducing @huggingface/kernels: 200+ WebGPU Kernels for Local AI

Hugging Face가 브라우저 로컬 추론의 기반을 개선하기 위해 207개 WebGPU 커널, 자바스크립트 로더 @huggingface/kernels, 기기별 검증 도구 Fleet을 공개했다.

huggingface.co
#fleet#hugging-face#huggingface-kernels#onnx-runtime
Deepgram deepens Amazon SageMaker AI observability with Enhanced Metrics
Article2026년 8월 27일

Deepgram deepens Amazon SageMaker AI observability with Enhanced Metrics

Deepgram은 Amazon SageMaker AI에서 Enhanced Metrics와 Prometheus·OpenTelemetry 지원을 통해 네트워크 격리를 유지하면서 청구·기능 사용량과 엔진·GPU 상태를 CloudWatch에서 관측하도록 지원한다.

aws.amazon.com
#deepgram#amazon-cloudwatch#amazon-sagemaker-ai#deepgram-enhanced-metrics
Building Self-Correcting Memory in OpenWiki
Article2026년 8월 25일

Building Self-Correcting Memory in OpenWiki

OpenWiki는 위키의 각 주장(claim)을 버전이 지정된 코드 증거와 연결하고, 증거 변경 시 신뢰를 보류한 뒤 재검증·정정함으로써 전체 위키를 다시 생성하지 않고 기억을 자기 교정하며, 2,000개 주장 평가에서 지원됨 비율을 92.9%에서 97.8%로 높였다.

langchain.com
#openwiki#okf-v0-2#persistent-staleness#incremental-self-correction
Granite 4.2 LLMs: How They're Built
Article2026년 8월 25일

Granite 4.2 LLMs: How They're Built

IBM의 Granite 4.2는 3B·8B·30B 밀집형 추론 모델 제품군으로, 약 15T 토큰 사전학습과 지도 미세조정, 다단계 강화학습을 거치며 8B·30B에는 실제 환경에서 도구를 사용하는 에이전트 강화학습이 추가된다.

huggingface.co
#granite-4-2#asynchronous-policy-correction#long-context#agentic-reinforcement-learning
Going In Deep On Data
YouTube2026년 8월 20일

Going In Deep On Data

Going In Deep On Data를 중심으로, 표현력이 높은 모델이 보편화한 뒤에는 아키텍처 조정보다 거짓 양성·거짓 음성·정보 부재·분포 변화를 구분하고 필요한 데이터를 보강를 핵심 판단 포인트로 압축 정리한다.

Y Combinator
#ai-data#agent-evaluation#multilingual-modeling#yc-paper-club
GLM-5.3: How Chinese labs keep stride with the frontier
Article2026년 8월 14일

GLM-5.3: How Chinese labs keep stride with the frontier

Z.ai의 GLM 5.3은 GLM 5.2 기반의 사후학습을 대폭 확장해 약 750B 규모로 에이전틱 코딩 최전선에 접근했으며, 중국 연구소의 경쟁력은 증류보다 빠른 출시 주기, RL 역량, 집중된 모델 범위, 인재와 데이터 생태계로 설명된다는 분석이다.

Nathan Lambert
#z-ai#glm-5-3#fast-release-advantage#narrow-scope-efficiency
Inside AppLovin''s $100B Ad Engine
YouTube2026년 8월 14일

Inside AppLovin''s $100B Ad Engine

AppLovin의 1000억 달러 광고 엔진은 Axon 2의 예측력, 몰입형 광고 데이터, 광고주 이익과 연동된 성과형 구조, 소수 정예 실행 문화를 하나의 성장 루프로 결합한 결과다.

Sourcery with Molly O''Shea
#performance-advertising#ad-recommendation-systems#mobile-adtech#axon2-data-flywheel
How Harvey Built a Research Lab on a Budget
YouTube2026년 8월 11일

How Harvey Built a Research Lab on a Budget

Harvey가 제한된 예산으로 연구소를 구축한 핵심은 모든 역량을 직접 소유하는 대신, 현실적인 법률 벤치마크를 중심으로 합성 데이터·오픈소스 모델·외부 연구 파트너·프로덕션 서빙을 하나의 검증 체계로 연결한 데 있다.

Sequoia Capital
#legal-ai#model-evaluation#synthetic-training-data#multi-model-serving
EP 108. 칩과 칩을 빛으로 연결한다: 실리콘 포토닉스와 AI 데이터센터의 다음 병목
YouTube2026년 8월 8일

EP 108. 칩과 칩을 빛으로 연결한다: 실리콘 포토닉스와 AI 데이터센터의 다음 병목

칩과 칩을 빛으로 연결하는 실리콘 포토닉스는 AI 데이터센터의 다음 병목인 데이터 이동을 풀 핵심 경로지만, 채택 속도는 제조 수율·열·유지보수·레이저 이종 집적의 경제성에 달려 있다.

AI Frontier Korea (노정석)
#silicon-photonics#ai-data-centers#optical-interconnects#nvidia
Memory and Continual Learning: Engram''s Dan Biderman and Jessy Lin
YouTube2026년 6월 24일

Memory and Continual Learning: Engram''s Dan Biderman and Jessy Lin

Memory and Continual Learning의 핵심은 더 큰 범용 모델보다, 조직과 개인의 업무 맥락을 시간이 지나며 실제로 배워 어제보다 더 유용해지는 모델을 만드는 데 있다.

Sequoia Capital
#ai-memory#continual-learning#enterprise-ai#context-engineering
엔비디아 독점 인터뷰
YouTube2026년 6월 6일

엔비디아 독점 인터뷰

엔비디아 블랙웰 GPU와 AI 팩토리 전략의 핵심은 더 빠른 칩 자체가 아니라, 토큰 비용·전력 효율·GPU 활용률·데이터센터 구축 속도를 함께 최적화해 AI 인프라를 수익 생산 시스템으로 만드는 데 있다.

안될공학 - IT 테크 신기술
#ai-infrastructure#gpu-accelerators#datacenter-architecture#semiconductor-platforms
ASML 출신에게 직접 들었습니다
YouTube2026년 5월 26일

ASML 출신에게 직접 들었습니다

ASML 출신 인터뷰가 말하는 EUV 광원과 반도체 병목의 핵심은 “더 짧은 파장”이 아니라, 주석 플라즈마 광원을 얼마나 강하고 안정적으로 제어해 칩 생산의 경제성을 만들 수 있느냐에 있다.

안될공학 - IT 테크 신기술
#euv-lithography#semiconductor-equipment#advanced-node-manufacturing#process-control
EP 96. LLM 추론 인프라와 토큰 경제학
YouTube2026년 5월 8일

EP 96. LLM 추론 인프라와 토큰 경제학

LLM 추론 인프라와 토큰 경제학 의 핵심은 모델 크기보다 긴 컨텍스트·KV cache·batch·메모리 병목을 얼마나 효율적으로 관리하느냐가 실제 비용과 경쟁력을 좌우한다는 점이다.

노정석
#llm-inference-infrastructure#token-economics#long-context-serving#gpu-memory-systems