llm-inference 태그 문서 13개

Tag13건YouTube 3Article 10

#llm-inference

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

연관 태그

#27b-model공동문서 1 · 연관도 28%#amazon-sagemaker-inference공동문서 1 · 연관도 28%#amd-mi300x공동문서 1 · 연관도 28%#bedrock-runtime공동문서 1 · 연관도 28%#bertha공동문서 1 · 연관도 28%#cold-start-reduction공동문서 1 · 연관도 28%#concurrency-sweeps공동문서 1 · 연관도 28%#container-image-preloading공동문서 1 · 연관도 28%#continuous-batching공동문서 1 · 연관도 28%#createaibenchmarkjob공동문서 1 · 연관도 28%

문서 목록

총 13건 중 1-13건

Article2026년 10월 1일

How NVIDIA GPUs Help Accelerate OpenAI’s GPT-6 Astra Ultrafast

OpenAI의 GPT 6 Astra Ultrafast는 NVIDIA Blackwell GPUs와 추론 최적화를 활용해 Astra Standard 대비 최대 8배 빠른 토큰 생성을 제공하며, 반복적인 에이전트 작업의 대기 시간을 줄일 수 있다.

Dion Harris

#nvidia #openai #nvidia-blackwell #faster-token-generation

Article2026년 9월 30일

Introducing Anthropic models on Amazon Bedrock for in-region inference in Seoul and Singapore

Amazon Bedrock이 서울에서 Claude Opus 5와 Claude Sonnet 5, 싱가포르에서 Claude Sonnet 5의 리전 내 추론을 지원해 요청과 데이터를 지정한 AWS 리전 안에서 처리한다.

aws.amazon.com

#amazon-bedrock #bedrock-runtime #claude-opus-5 #claude-sonnet-5

YouTube2026년 9월 30일

Inference Engines explained in 10min..

Inference Engines explained in 10min..를 중심으로, 추론 엔진의 요구사항은 모델 구조에 따라 달라진다. 영상은 기존의 다양한 모델에서 자기회귀형 LLM으로 중심이 이동하면서 atte를 핵심 판단 포인트로 압축 정리한다.

Caleb Writes Code

#inference-engines #llm-inference #ai-infrastructure #memory-management

Article2026년 9월 28일

Grok 4.7 is now available on Amazon Bedrock

xAI의 Grok 4.7이 Amazon Bedrock에 출시되어 500K 토큰 컨텍스트와 조절 가능한 추론 강도로 코딩·장시간 에이전트·지식 업무를 지원하며, 성능 향상에 따른 토큰 사용량과 추론 프로파일·인증 방식의 운영 제약을 함께 고려해야 한다.

aws.amazon.com

#amazon-bedrock #artificial-analysis #grok-4-7 #self-verification

Article2026년 9월 22일

Bring more intelligence to everyday work with GPT-6 Sol and GPT-6 Luna on Amazon Bedrock

Amazon Bedrock에 정식 출시된 GPT 6 Sol과 GPT 6 Luna는 GPT 5.6 이전 모델보다 크게 낮아진 API 가격으로 복잡한 반복 업무와 대량의 집중형 작업에 각각 대응한다.

aws.amazon.com

#amazon-bedrock #gpt-6-astra #gpt-6-luna #gpt-6-sol

Article2026년 9월 22일

Right-size generative AI endpoints with concurrency sweeps on Amazon SageMaker AI

Amazon SageMaker AI의 동시성 스윕은 생성형 AI 엔드포인트의 처리량과 지연 시간을 측정하고 SLA를 충족하는 동시성을 탐색해 인스턴스 규모와 비용 대비 성능을 조정하는 방법이다.

aws.amazon.com

#createaibenchmarkjob #amazon-sagemaker-ai #sla-constrained-concurrency #ttft-limited-capacity

Article2026년 9월 18일

Amazon SageMaker Inference: 2026 year-to-date launches in review

Amazon SageMaker AI는 2026년 현재까지 관리형 엔드포인트와 HyperPod Inference에 총 13개 기능을 출시했으며, 제공된 본문은 배포 최적화·용량 확보·API 호환·확장·관측·비동기 호출·캐시 재사용을 개선하는 엔드포인트 기능 7개를 상세히 설명한다.

aws.amazon.com

#amazon-sagemaker-ai #hardware-aware-optimization #llm #inference-observability

YouTube2026년 9월 13일

I Ran A 27B Model On A Hand-Sized PC…Didn''t Expect This

손바닥 크기 PC에서도 27B 모델은 실행됐고, 외장 GPU 도크와 VRAM에 맞는 양자화·추측 디코딩을 조합하자 생성 속도가 초당 44토큰까지 올라갔다.

Alex Ziskind

#local-ai #llm-inference #vram-fit #memory-bandwidth

Article2026년 9월 10일

Reduce inference cold starts on Amazon SageMaker HyperPod with model caching

Amazon SageMaker HyperPod의 모델 캐싱은 가중치와 컨테이너 이미지를 노드에 미리 적재해, 캐시가 준비된 노드에서 대형 모델의 추론 시작 대기를 수십 분에서 통상 수초로 줄이는 기능이다.

aws.amazon.com

#inferenceendpointconfig #amazon-s3 #local-nvme #amazon-sagemaker-hyperpod

Article2026년 9월 10일

Reduce LLM latency with prefix-aware routing on Amazon SageMaker Inference

Amazon SageMaker Inference의 PREFIX AWARE는 공통 프롬프트 접두사가 있는 요청을 같은 인스턴스로 보내 KV 캐시 재사용을 높이며, Llama 3.1 70B 벤치마크에서 P50 첫 토큰 지연 시간(TTFT)을 최대 77% 줄이고 처리량을 최대 16% 높였다.

aws.amazon.com

#amazon-sagemaker-inference #llm #llm-inference #prefix-caching