Docs faviconDOCS우성짱의 문서
Tag1528건YouTube 88Article 1440

#llm

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

Alias / 동의어

large-language-models

연관 태그

#applications공동문서 998 · 연관도 77%#semiconductors공동문서 1068 · 연관도 63%#agent-routing공동문서 525 · 연관도 57%#agent-memory공동문서 489 · 연관도 51%#ai-architecture공동문서 469 · 연관도 48%#privacy-design공동문서 388 · 연관도 44%#context-compression공동문서 355 · 연관도 44%#agent-deployment공동문서 324 · 연관도 44%#service-design공동문서 300 · 연관도 38%#retrieval-index공동문서 228 · 연관도 36%

문서 목록

총 1528건 중 73-96건

Introducing GPT-6 Sol and Luna
Article2026년 9월 22일

Introducing GPT-6 Sol and Luna

OpenAI는 GPT‑6 Astra의 주요 개선을 더 빠르고 저렴하게 제공하는 GPT‑6 Sol과 GPT‑6 Luna를 발표하며, 업무·코딩 성능 향상과 API 가격 인하, 캐싱 개선을 제시했다.

OpenAI
#openai#gpt-6-astra#gpt-6-luna#gpt-6-sol
OpenAI launches GPT-6 Sol and Luna, boasting lower cost and fewer mistakes
Article2026년 9월 22일

OpenAI launches GPT-6 Sol and Luna, boasting lower cost and fewer mistakes

OpenAI가 GPT 6 Sol과 Luna를 출시하며 이전 5.6 시리즈 대비 절반의 API 비용과 정확도 개선을 내세우고, 유료 계정부터 무료 사용자까지 제공 범위를 확대한다.

Lucas Ropek
#anthropic#openai#gpt-6-luna#gpt-6-sol
Right-size generative AI endpoints with concurrency sweeps on Amazon SageMaker AI
Article2026년 9월 22일

Right-size generative AI endpoints with concurrency sweeps on Amazon SageMaker AI

Amazon SageMaker AI의 동시성 스윕은 생성형 AI 엔드포인트의 처리량과 지연 시간을 측정하고 SLA를 충족하는 동시성을 탐색해 인스턴스 규모와 비용 대비 성능을 조정하는 방법이다.

aws.amazon.com
#createaibenchmarkjob#amazon-sagemaker-ai#sla-constrained-concurrency#ttft-limited-capacity
Meet Jev: you''ve never seen AI like this...
YouTube2026년 9월 22일

Meet Jev: you''ve never seen AI like this...

Jev는 문장을 생성하는 대신 주어진 선택지에서 빠르게 답을 고르는 AI로, 반복적인 분류 업무의 비용을 줄이지만 복잡한 판단까지 대신하지는 못한다.

Nick Puru
#benchmark#classification#openrouter#llm
Pruning LLMs Like a Physicist: Block Removal as an Ising Optimization Problem
Article2026년 9월 21일

Pruning LLMs Like a Physicist: Block Removal as an Ising Optimization Problem

Multiverse Computing은 LLM 블록 제거를 블록 간 상호작용을 반영하는 제약 이진 최적화(CBO)와 Ising glass의 에너지 최소화 문제로 정식화해, Llama 3.3 70B Instruct의 50% 깊이 압축에서 재학습 없이 block influence보다 MMLU를 22.9%포인트 높였다고 보고했다.

huggingface.co
#multiverse-computing#interaction-aware-pruning#llm#constrained-binary-optimization
Reducing medical claims review time with AI on AWS: The EXL Medical IDP solution
Article2026년 9월 21일

Reducing medical claims review time with AI on AWS: The EXL Medical IDP solution

EXL은 AWS 기반 Medical IDP에서 Xtrakto.AI와 도메인 특화 EXL Insurance LLM을 결합해 의료기록 처리를 자동화하고, 주요 단계의 사람 검증을 유지하면서 의료기록 검토 시간을 수일에서 수시간으로 줄였다고 보고했다.

aws.amazon.com
#llm#amazon-bedrock#xtrakto-ai#amazon-sagemaker-ai
tokenizers v1: encode, decode and scaling, measured
Article2026년 9월 21일

tokenizers v1: encode, decode and scaling, measured

tokenizers v1 출시 후보는 v0.23과 동일한 토큰 ID와 API를 유지하면서, Apple M4 Max의 단일 스레드 인코딩에서 10개 모델 계열에 걸쳐 3~30배의 속도 향상과 8개 작업자에서 선형 확장 대비 76%의 효율을 보고했다.

huggingface.co
#bitcannon#apple-m4-max#huggingface-tokenizers-v1#input-dependent-speedup
AI hallucination nearly triggers US military operation
Article2026년 9월 18일

AI hallucination nearly triggers US military operation

CNN 보도에 따르면, AI 챗봇이 생성한 허위 정보로 중국 선박을 겨냥한 미군 무력 작전이 실행 직전까지 진행됐다가 중단되면서 군사적 AI 활용의 검증과 안전장치 문제가 부각됐다.

Aditya Mehta
#govai#jake-steckler#error-amplification#human-oversight
Amazon SageMaker Inference: 2026 year-to-date launches in review
Article2026년 9월 18일

Amazon SageMaker Inference: 2026 year-to-date launches in review

Amazon SageMaker AI는 2026년 현재까지 관리형 엔드포인트와 HyperPod Inference에 총 13개 기능을 출시했으며, 제공된 본문은 배포 최적화·용량 확보·API 호환·확장·관측·비동기 호출·캐시 재사용을 개선하는 엔드포인트 기능 7개를 상세히 설명한다.

aws.amazon.com
#amazon-sagemaker-ai#hardware-aware-optimization#llm#inference-observability
In August, 25% of math preprints acknowledged AI use, up from 4% in April
Article2026년 9월 18일

In August, 25% of math preprints acknowledged AI use, up from 4% in April

Epoch AI에 따르면 arXiv 수학 프리프린트의 AI 사용 공개 비율은 2026년 4월 3.89%에서 8월 25.25%로 상승했으며, 8월 전체 논문의 5.86%는 AI의 상당한 연구 기여를 명시했다.

Tara Abrishami
#arxiv#epoch-ai#claude-fable-5#ai-disclosure-growth
Introducing Amazon SageMaker HyperPod Inference Gateway
Article2026년 9월 18일

Introducing Amazon SageMaker HyperPod Inference Gateway

Amazon SageMaker HyperPod Inference Gateway는 실시간 GPU 상태에 따라 추론 요청을 배분하는 Kubernetes 네이티브 라우팅 시스템으로, 애플리케이션 코드 변경 없이 지연과 GPU 자원 낭비를 줄이며 현재 클러스터 단위 Tier 1을 제공한다.

aws.amazon.com
#amazon-eks#envoy-gateway#workload-dependent-gains#llm
A new kind of AI model from a ChatGPT inventor is thrilling developers
Article2026년 9월 18일

A new kind of AI model from a ChatGPT inventor is thrilling developers

ChatGPT와 RLHF 개발에 참여한 Diogo Almeida의 TypeSafe AI가 텍스트 대신 확률을 출력하는 Jev를 공개하며, 저비용·고속 소프트웨어 자동화의 가능성과 확률 판단의 책임을 함께 드러냈다.

Tim Fernholz
#vercel#diogo-almeida#typesafe-ai#task-dependent-accuracy
PrismML hopes its tiny LLM will change how we all use AI
Article2026년 9월 17일

PrismML hopes its tiny LLM will change how we all use AI

PrismML은 원본 대비 메모리를 9~10배 줄이고 종합 벤치마크 점수의 98%를 유지한 Bonsai 2 27B를 통해, 고성능 추론 모델을 PC와 스마트폰에서 실행하는 AI를 지향한다.

Julie Bort
#prismml#bonsai-2-27b#qwen3-8-27b#privacy-design
GPT-6 Astra leads on math benchmarks, but not on software engineering
Article2026년 9월 16일

GPT-6 Astra leads on math benchmarks, but not on software engineering

GPT 6 Astra는 종합 ECI와 수학에서 선두지만 소프트웨어 공학에서는 Claude Fable 5.1에 뒤처지며, 두 모델의 90% 신뢰구간이 겹쳐 점수 차이를 확정적 우위로 해석하기는 어렵다.

Alexander Barry
#epoch-ai#gpt-6-astra#domain-dependent-rankings#evaluation-coverage-sensitivity
New insights from Google’s AI & Economy ATLAS
Article2026년 9월 15일

New insights from Google’s AI & Economy ATLAS

Google의 AI & Economy ATLAS는 지역·직업별 AI 활용 차이와 과학에서 LLM·특화 모델의 상호 보완적 활용을 보여주며, 시간 절약을 실제 발견으로 연결하려면 연구 과정의 병목 해소가 필요할 수 있음을 시사한다.

blog.google
#gemini#google-deepmind#mit-futuretech#llm
Optimizing cost and latency with Amazon Bedrock prompt caching
Article2026년 9월 15일

Optimizing cost and latency with Amazon Bedrock prompt caching

Amazon Bedrock 프롬프트 캐싱은 반복되는 입력 문맥을 재사용해 캐시 적중 시 해당 입력 토큰 비용을 최대 90% 줄이고 첫 토큰 도착 시간(TTFT)을 단축할 수 있지만, 실제 효과는 최소 토큰 수, TTL, 재사용 빈도와 리전 라우팅에 달려 있다.

@DCABib
#amazon-bedrock#converse-api#cache-write-premium#prefix-state-reuse
Beyond the price per token: Choosing the right OpenAI model on Amazon Bedrock for your workload
Article2026년 9월 11일

Beyond the price per token: Choosing the right OpenAI model on Amazon Bedrock for your workload

Amazon Bedrock의 OpenAI 모델 비교에서는 토큰 단가보다 품질·토큰 사용량·에이전트 턴 수를 반영한 성공 결과당 비용이 중요하며, 테스트된 구성과 표본에서는 가격 인하 후 gpt 5.6 luna가 가장 낮은 성공 결과당 비용을 기록했다.

aws.amazon.com
#amazon-bedrock#token-efficiency#agent-turn-cost#cost-per-success
Agent Evaluation Metric for multi-turn conversations
Article2026년 9월 10일

Agent Evaluation Metric for multi-turn conversations

AEM은 다중 턴 에이전트의 정확성을 사실 일치성·완전성으로 분해하고 턴별로 평가해, 실패의 근본 원인과 후속 턴의 연쇄 실패를 구분하는 평가 프레임워크다.

aws.amazon.com
#agent-evaluation-metric#amazon-web-services#accuracy-decomposition#cascading-failure-diagnosis
Reduce inference cold starts on Amazon SageMaker HyperPod with model caching
Article2026년 9월 10일

Reduce inference cold starts on Amazon SageMaker HyperPod with model caching

Amazon SageMaker HyperPod의 모델 캐싱은 가중치와 컨테이너 이미지를 노드에 미리 적재해, 캐시가 준비된 노드에서 대형 모델의 추론 시작 대기를 수십 분에서 통상 수초로 줄이는 기능이다.

aws.amazon.com
#inferenceendpointconfig#amazon-s3#local-nvme#amazon-sagemaker-hyperpod
Reduce LLM latency with prefix-aware routing on Amazon SageMaker Inference
Article2026년 9월 10일

Reduce LLM latency with prefix-aware routing on Amazon SageMaker Inference

Amazon SageMaker Inference의 PREFIX AWARE는 공통 프롬프트 접두사가 있는 요청을 같은 인스턴스로 보내 KV 캐시 재사용을 높이며, Llama 3.1 70B 벤치마크에서 P50 첫 토큰 지연 시간(TTFT)을 최대 77% 줄이고 처리량을 최대 16% 높였다.

aws.amazon.com
#amazon-sagemaker-inference#llm#llm-inference#prefix-caching
ToolGrad: Efficient tool-use dataset generation with textual \"gradients\
Article2026년 9월 10일

ToolGrad: Efficient tool-use dataset generation with textual \"gradients\

ToolGrad는 검증된 도구 사용 체인을 먼저 만들고 사용자 질의를 생성하는 프레임워크로, 데이터 생성 비용을 낮추고 Gemma 3의 도구 사용 성능을 높였다.

research.google
#toolgrad#gemma-3#solution-first-generation#student-surpasses-teacher
Deploying Qwen3.8-2.4T-A95B on Amazon SageMaker HyperPod with vLLM
Article2026년 9월 9일

Deploying Qwen3.8-2.4T-A95B on Amazon SageMaker HyperPod with vLLM

Qwen3.8 2.4T A95B를 Amazon SageMaker HyperPod의 8개 B300 GPU 노드에서 NVFP4와 vLLM으로 구동하는 구성과 운영 요건을 설명하며, 단일 노드 실측 성능과 배포 절차의 후반부는 제공된 본문에서 확인되지 않는다.

aws.amazon.com
#nvidia-b300#amazon-sagemaker-hyperpod#deployment-benchmark-gap#llm
Automated agent evaluation with Amazon Bedrock AgentCore and GitHub Actions
Article2026년 9월 8일

Automated agent evaluation with Amazon Bedrock AgentCore and GitHub Actions

Amazon Bedrock AgentCore와 GitHub Actions를 연결해 OAuth로 보호된 에이전트를 배포·평가하고, 평가 점수가 기준에 미달하면 PR 병합을 차단하는 CI/CD 품질 게이트를 구축한다.

aws.amazon.com
#opentelemetry#amazon-cognito#github-actions#amazon-bedrock-agentcore
Benchmarking small LLM inference on SageMaker AI: G7 vs G5 and G6
Article2026년 9월 8일

Benchmarking small LLM inference on SageMaker AI: G7 vs G5 and G6

Amazon SageMaker AI에서 두 30B MoE 모델로 G7과 이전 세대 GPU의 추론 성능·비용을 평가하는 방법을 소개하지만, 제공된 원문은 벤치마크 실행 설명에서 끊겨 실제 성능 수치는 확인할 수 없다.

aws.amazon.com
#nvidia-blackwell#amazon-sagemaker-ai#benchmark-results-missing#memory-bandwidth-bottleneck