Docs faviconDOCS우성짱의 문서
Tag57건YouTube 2Article 55

#long-context

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

연관 태그

#long-context-inference공동문서 4 · 연관도 26%#mamba공동문서 2 · 연관도 19%#llm공동문서 44 · 연관도 15%#agent-orchestration-reliability공동문서 1 · 연관도 13%#agentic-memory공동문서 1 · 연관도 13%#agentic-reinforcement-learning공동문서 1 · 연관도 13%#agentic-rl공동문서 1 · 연관도 13%#agentic-rl-debugging공동문서 1 · 연관도 13%#agentic-science-tools공동문서 1 · 연관도 13%#ai-xr-prototyping공동문서 1 · 연관도 13%

문서 목록

총 57건 중 1-24건

Reduce LLM latency with prefix-aware routing on Amazon SageMaker Inference
Article2026년 9월 10일

Reduce LLM latency with prefix-aware routing on Amazon SageMaker Inference

Amazon SageMaker Inference의 PREFIX AWARE는 공통 프롬프트 접두사가 있는 요청을 같은 인스턴스로 보내 KV 캐시 재사용을 높이며, Llama 3.1 70B 벤치마크에서 P50 첫 토큰 지연 시간(TTFT)을 최대 77% 줄이고 처리량을 최대 16% 높였다.

aws.amazon.com
#amazon-sagemaker-inference#llm#llm-inference#prefix-caching
ICYMI: What landed for AI builders in August 2026
Article2026년 9월 9일

ICYMI: What landed for AI builders in August 2026

AWS는 2026년 8월 Amazon Bedrock, AgentCore, Strands 업데이트를 통해 대규모 컨텍스트 처리, 비용·행동 통제, 장기 실행, 규제 환경 지원과 물리적 시스템 연계를 확대했다.

aws.amazon.com
#amazon-bedrock#aws-govcloud#strands-robots#amazon-bedrock-agentcore
[한영자막] AI 에이전트에 100만 토큰 컨텍스트가 꼭 필요한 이유입니다
YouTube2026년 9월 7일

[한영자막] AI 에이전트에 100만 토큰 컨텍스트가 꼭 필요한 이유입니다

AI 에이전트에 100만 토큰 컨텍스트가 필요한 이유는 여러 차례의 도구 응답과 환경 정보를 쌓아 복잡한 작업을 이어가야 하기 때문이다.

Tech Bridge
#ai-agent#long-context#multimodality#sparse-attention
Granite 4.2 LLMs: How They're Built
Article2026년 8월 25일

Granite 4.2 LLMs: How They're Built

IBM의 Granite 4.2는 3B·8B·30B 밀집형 추론 모델 제품군으로, 약 15T 토큰 사전학습과 지도 미세조정, 다단계 강화학습을 거치며 8B·30B에는 실제 환경에서 도구를 사용하는 에이전트 강화학습이 추가된다.

huggingface.co
#granite-4-2#asynchronous-policy-correction#long-context#agentic-reinforcement-learning
What is Kimi K3? A Complete Developer Guide for 2026
Article2026년 8월 13일·👁️ 2

What is Kimi K3? A Complete Developer Guide for 2026

Kimi K3는 Moonshot AI가 공개한 2.8조 매개변수의 오픈 웨이트 멀티모달 모델로, 1,048,576토큰 문맥과 프런티어급 벤치마크 성능을 제공하지만 자체 호스팅에는 최소 8개의 엔터프라이즈급 가속기와 높은 초기 비용이 필요하다.

Jacob Nulty
#openrouter#kimi-k3#moonshot-ai#execution-conditioned-benchmarks
How enabling two settings tripled our scores on the ARC-AGI-3 benchmark
Article2026년 7월 29일·👁️ 2

How enabling two settings tripled our scores on the ARC-AGI-3 benchmark

ARC AGI 3에서 추론 기록 유지와 컨텍스트 압축을 활성화하자 GPT‑5.6 Sol의 공개 과제 점수는 13.3%에서 38.3%로 약 3배 높아지고 출력 토큰은 6분의 1로 줄었다.

openai.com
#openai#responses-api#arc-agi-3#compression-over-truncation
LFM2.5-Encoders for Fast Long-Context Inference on CPU
Article2026년 7월 28일·👁️ 2

LFM2.5-Encoders for Fast Long-Context Inference on CPU

리퀴드 AI의 LFM2.5 Encoder 230M과 350M은 최대 8,192토큰의 긴 입력을 지원하면서 CPU 추론 비용을 낮추고, 분류·라우팅·추출·정책 검사 등 상시 실행되는 자연어 이해 작업을 겨냥한 범용 인코더 모델이다.

huggingface.co
#liquid-ai#modernbert-base#long-context#always-on-nlu
Kimi K3 explained in 13min..
YouTube2026년 7월 21일

Kimi K3 explained in 13min..

Kimi K3는 초희소 MoE, Kimi Delta Attention, Attention Residual을 결합해 GPU 통신량과 장문 추론 비용을 줄이는 효율 중심의 거대 AI 모델 아키텍처다.

Caleb Writes Code
#kimi-k3#moonshot-ai#linear-attention#note-final
Welcome Inkling by Thinking Machines
Article2026년 7월 15일·👁️ 3

Welcome Inkling by Thinking Machines

Inkling은 텍스트·이미지·오디오를 기본 입력으로 처리하고 1M 문맥과 멀티모달 추론을 지원하는 Thinking Machines의 약 1T 규모 공개 MoE 모델이다.

huggingface.co
#inkling#transformers#hugging-face#thinking-machines
Run MiniMax models on Amazon Bedrock
Article2026년 7월 6일·👁️ 2

Run MiniMax models on Amazon Bedrock

이 글은 Amazon Bedrock에서 MiniMax M2 계열 모델을 사용하는 방법과 모델 선택 기준, 접근 엔드포인트, 초기 설정 및 도구 호출 예제를 설명한다.

aws.amazon.com
#service-design#ai-architecture#multimodal#agent-deployment
How to Use RLMs in Deep Agents
Article2026년 7월 1일·👁️ 2

How to Use RLMs in Deep Agents

Deep Agents는 RLM에서 영감을 받은 동적 서브에이전트와 코드 인터프리터를 통해 긴 컨텍스트 작업을 턴별 추론이 아니라 프로그래밍 가능한 재귀적 워크플로로 처리하려 한다.

langchain.com
#ai-architecture#agent-routing#workflow-automation#llm
The Agent Development Lifecycle: Build, Test, Deploy & Monitor AI Agents
Article2026년 6월 25일·👁️ 2

The Agent Development Lifecycle: Build, Test, Deploy & Monitor AI Agents

이 글은 AI 에이전트를 일회성 데모가 아니라 반복적으로 구축·검증·배포·관찰하며 개선하는 ‘Agent Development Lifecycle’을 Build, Test, Deploy, Monitor 네 단계로 설명한다.

langchain.com
#agent-deployment#agent-routing#context-compression#prompt-library
A startup claims it broke through a bottleneck that’s holding back LLMs
Article2026년 6월 19일·👁️ 2

A startup claims it broke through a bottleneck that’s holding back LLMs

마이애미 기반 스타트업 Subquadratic은 LLM의 핵심 병목으로 지목돼 온 dense attention의 계산 비용 문제를 sparse attention 방식의 SubQ로 완화했다고 주장하며, Appen의 일부 독립 평가 결과가 그 주장에 주목할 만한 근거를 제공했다.

technologyreview.com
#anthropic#ai-architecture#llm#semiconductors
GLM-5.2: Built for Long-Horizon Tasks
Article2026년 6월 17일·👁️ 3

GLM-5.2: Built for Long-Horizon Tasks

GLM 5.2는 안정적인 100만 토큰 문맥, 강화된 코딩 성능, 효율적인 장문맥 구조와 서빙·강화학습 체계를 결합해 장시간 수행되는 복잡한 엔지니어링 작업을 겨냥한 공개형 주력 모델이다.

huggingface.co
#service-design#ai-architecture#agent-routing#llm
Introducing North Mini Code: Cohere’s First Model For Developers
Article2026년 6월 15일·👁️ 2

Introducing North Mini Code: Cohere’s First Model For Developers

코히어가 에이전트형 소프트웨어 엔지니어링에 특화된 300억 매개변수 희소 전문가 혼합 모델 ‘노스 미니 코드’를 아파치 2.0 라이선스로 공개했다.

huggingface.co
#ai-architecture#agent-routing#llm#semiconductors
DeepSeek-V4: a million-token context that agents can actually use
Article2026년 6월 8일·👁️ 1

DeepSeek-V4: a million-token context that agents can actually use

DeepSeek V4는 최고 벤치마크 점수보다 100만 토큰 문맥을 실제 에이전트 작업에서 감당하게 만드는 긴 문맥 효율, 도구 호출 지속성, 샌드박스 기반 학습 인프라에 초점을 둔 모델이다.

huggingface.co
#ai-architecture#agent-memory#agent-routing#context-compression
A New Era of Discovery: Google Research at I/O 2026
Article2026년 5월 28일·👁️ 4

A New Era of Discovery: Google Research at I/O 2026

Google Research는 I/O 2026에서 Gemini for Science, 의료 AI, 엣지 AI 하드웨어, 재난 예측 모델을 통해 AI가 과학·보건·기후 대응의 실제 발견과 의사결정을 가속하는 방향을 제시했다.

Google
#alphaevolve#co-scientist#google-research#gemini-for-science
Introducing the Ettin Reranker Family
Article2026년 5월 19일·👁️ 3

Introducing the Ettin Reranker Family

Ettin Reranker는 1,760만~10억 매개변수의 여섯 가지 교차 인코더로, 검색 속도와 재정렬 품질 사이에서 선택 가능한 장문 지원 모델군이다.

huggingface.co
#service-design#ai-architecture#llm#ai-coding
Databricks brings GPT-5.5 to enterprise agent workflows
Article2026년 5월 15일·👁️ 5

Databricks brings GPT-5.5 to enterprise agent workflows

Databricks는 복잡한 기업 문서 작업 벤치마크인 OfficeQA Pro에서 GPT 5.5가 새 최고 성능을 기록하자, 이를 고객용 엔터프라이즈 에이전트 워크플로에 제공하기 시작했다.

openai.com
#databricks#openai#gpt-5-4#gpt-5-5
Top Companies Are Secretly Working on This (It Will Replace LLMs)
Article2026년 5월 5일·👁️ 7

Top Companies Are Secretly Working on This (It Will Replace LLMs)

SSM은 긴 컨텍스트에서 Transformer의 비용·메모리 병목을 줄이기 위한 대안적 시퀀스 처리 구조로, 특히 장기 작업을 수행하는 에이전트 시스템에서 주목받고 있다는 것이 원문의 핵심 주장입니다.

Siddharth
#hyena#mamba#mamba-2#state-space-model
The PR you would have opened yourself
Article2026년 4월 16일·👁️ 1

The PR you would have opened yourself

transformers 모델을 mlx lm으로 빠르고 정확하게 이식하도록 돕는 스킬과 비에이전트 테스트 하네스를 구축하되, 코드 소유권과 최종 판단은 기여자와 리뷰어에게 남겨 두는 접근을 설명한다.

huggingface.co
#privacy-design#ai-architecture#multimodal#llm
Training mRNA Language Models Across 25 Species for $165
Article2026년 3월 31일·👁️ 2

Training mRNA Language Models Across 25 Species for $165

OpenMed는 단백질 구조 예측, 서열 설계, 코돈 최적화를 잇는 단백질 AI 파이프라인을 구축하고, 코돈 수준 언어모델 비교 끝에 CodonRoBERTa large v2가 생물학적 지표에서 가장 유용하다는 결론을 제시했다.

huggingface.co
#ai-architecture#agent-routing#workflow-automation#llm
Vibe Coding XR: Accelerating AI + XR prototyping with XR Blocks and Gemini
Article2026년 3월 25일·👁️ 5

Vibe Coding XR: Accelerating AI + XR prototyping with XR Blocks and Gemini

Vibe Coding XR는 Gemini와 오픈소스 XR Blocks를 결합해 자연어 프롬프트를 60초 안팎의 상호작용형 WebXR/Android XR 프로토타입으로 바꾸는 빠른 XR 제작 워크플로입니다.

research.google
#gemini#gemini-canvas#google-xr#xr-blocks
TurboQuant: Redefining AI efficiency with extreme compression
Article2026년 3월 24일·👁️ 3

TurboQuant: Redefining AI efficiency with extreme compression

TurboQuant는 QJL과 PolarQuant를 결합해 벡터 양자화의 메모리 오버헤드를 줄이고, KV 캐시 압축과 고차원 벡터 검색에서 정확도 손실 없이 큰 압축·속도 향상을 보인 Google Research의 알고리즘입니다.

research.google
#privacy-design#agent-memory#context-compression#retrieval-index