context-compression 태그 문서 418개 | 우성짱의 문서

우성짱의 문서

Tag418건YouTube 27Article 391

#context-compression

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

연관 태그

#agent-memory공동문서 299 · 연관도 61%#prompt-library공동문서 155 · 연관도 53%#retrieval-index공동문서 169 · 연관도 51%#applications공동문서 344 · 연관도 51%#semiconductors공동문서 362 · 연관도 49%#llm공동문서 351 · 연관도 45%#agent-routing공동문서 117 · 연관도 24%#agent-deployment공동문서 81 · 연관도 21%#ai-architecture공동문서 97 · 연관도 20%#compute공동문서 37 · 연관도 18%

문서 목록

총 418건 중 385-408건

Operator System Card

Article2025년 1월 23일·👁️ 4

Operator System Card

오퍼레이터는 화면을 보고 브라우저를 조작하는 컴퓨터 사용 에이전트로, 오픈AI는 실제 행동에서 발생할 수 있는 피해를 줄이기 위해 위험 작업 거부, 중요 행동 전 사용자 확인, 외부 레드팀, 프런티어 위험 평가를 결합한 다층 안전 체계를 적용했다.

#openai #privacy-design #multimodal #context-compression

Optimize Transaction Throughput: 3 Patterns for Scaling with Convex and ACID Databases

Article2025년 1월 23일

Optimize Transaction Throughput: 3 Patterns for Scaling with Convex and ACID Databases

이 글은 직렬화 가능한 트랜잭션의 충돌을 줄여 처리량을 높이는 방법으로 큐, hot/cold 테이블 분리, predicate locking 세 가지 패턴을 설명한다.

stack.convex.dev

#agent-routing #workflow-automation #semiconductors #applications

Are better models better? — Benedict Evans

Article2025년 1월 22일·👁️ 5

Are better models better? — Benedict Evans

이 글은 더 좋은 생성형 AI 모델이 항상 더 유용한 것은 아니며, 특히 정답이 하나인 결정론적 업무에서는 ‘더 그럴듯한 답’이 아니라 검증 가능한 ‘맞는 답’이 필요하다고 설명합니다.

#agent-routing #llm #semiconductors #applications

Timm ❤️ Transformers: Use any timm model with transformers

Article2025년 1월 15일·👁️ 3

Timm ❤️ Transformers: Use any timm model with transformers

TimmWrapper는 방대한 timm 비전 모델을 Transformers의 파이프라인, 자동 클래스, 양자화, Trainer, LoRA 워크플로에서 사용하고 다시 timm으로 불러올 수 있게 연결합니다.

#ai-architecture #agent-memory #agent-routing #context-compression

Open R1: How to use OlympicCoder locally for coding

Article2025년 1월 12일·👁️ 2

Open R1: How to use OlympicCoder locally for coding

올림픽코더 7B의 4비트 양자화 모델을 엘엠 스튜디오에서 구동하고 컨티뉴 확장 기능으로 비주얼 스튜디오 코드에 연결해 로컬 코딩 도우미로 사용하는 방법을 설명한다.

#llm #semiconductors #applications #long-context

Tiny Agents in Python: a MCP-powered agent in ~70 lines of code

Article2025년 1월 12일·👁️ 3

Tiny Agents in Python: a MCP-powered agent in ~70 lines of code

이 글은 Hugging Face의 huggingface hub에 포함된 MCP 클라이언트를 활용해 Python에서 약 70줄짜리 Tiny Agent를 실행하고 구성하며, LLM이 MCP 서버의 도구를 발견·호출·반영하는 흐름을 설명한다.

#context-compression #prompt-library #llm #semiconductors

State of open video generation models in Diffusers

Article2025년 1월 8일·👁️ 1

State of open video generation models in Diffusers

오픈 비디오 생성 모델은 빠르게 발전하고 있지만 높은 메모리 요구량, 긴 생성 시간, 제한적인 일반화가 확산을 가로막고 있으며, 디퓨저스는 양자화·오프로딩·분할 추론을 조합해 이러한 모델을 더 적은 자원에서 실행할 수 있도록 지원한다.

#ai-architecture #agent-memory #context-compression #retrieval-index

Controlling Language Model Generation with NVIDIA's LogitsProcessorZoo

Article2024년 12월 23일·👁️ 2

Controlling Language Model Generation with NVIDIA's LogitsProcessorZoo

이 글은 언어 모델의 다음 토큰 선택 과정에서 로짓을 직접 조정해 길이, 문맥 유지, 필수 문구, 선택형 답변 같은 생성 제약을 제어하는 방법을 NVIDIA의 LogitsProcessorZoo와 Hugging Face 생성 API 예시로 설명한다.

#nvidia #privacy-design #agent-routing #capex-cycle

Mastering Long Contexts in LLMs with KVPress

Article2024년 12월 21일·👁️ 4

Mastering Long Contexts in LLMs with KVPress

KVPress는 긴 문맥에서 선형으로 증가하는 키·값 캐시를 중요도 기반으로 압축해 메모리 사용량을 줄이고 생성 속도를 높이는 모듈형 도구다.

#ai-architecture #multimodal #agent-memory #context-compression

Add a collaborative document editor to your app

Article2024년 12월 19일·👁️ 2

Add a collaborative document editor to your app

단순한 <textarea 로는 동시 편집이 충돌하므로, Convex와 ProseMirror 기반 동기화 컴포넌트, Tiptap 또는 BlockNote를 조합해 기존 앱에 협업 문서 편집기를 붙이는 절차를 설명한다.

stack.convex.dev

#agent-routing #llm #semiconductors #applications

Welcome to the Falcon 3 Family of Open Models!

Article2024년 12월 17일·👁️ 2

Welcome to the Falcon 3 Family of Open Models!

팰컨3는 10억~100억 매개변수 규모에서 과학·수학·코딩·추론 성능과 학습 효율을 함께 높이고, 다양한 배포 형식과 개방형 라이선스를 제공하는 디코더 전용 언어 모델 제품군이다.

#ai-architecture #llm #semiconductors #applications

Hugging Face models in Amazon Bedrock

Article2024년 12월 9일·👁️ 2

Hugging Face models in Amazon Bedrock

Models mentioned in this article 1 More Articles from our Blog aws partnerships How to deploy and fine tune DeepSeek models on AWS 56 January 30, 2025…

#service-design #agent-deployment #llm #semiconductors

Fast LoRA inference for Flux with Diffusers and PEFT

Article2024년 12월 5일

Fast LoRA inference for Flux with Diffusers and PEFT

Diffusers와 PEFT의 LoRA 핫스와핑, torch.compile, FP8 양자화, Flash Attention 3를 조합해 Flux.1 Dev의 재컴파일 문제를 피하고 고성능 GPU에서 약 2.23배, RTX 4090에서 약 2.04배 빠른 LoRA 추론을 구현한 최적화 방법을 설명한다.

#ai-architecture #agent-memory #agent-routing #context-compression

How good are LLMs at fixing their mistakes? A chatbot arena experiment with Keras and TPUs

Article2024년 12월 5일·👁️ 2

How good are LLMs at fixing their mistakes? A chatbot arena experiment with Keras and TPUs

간단한 일정 관리 대화 실험에서 대규모 언어 모델의 실수 수정 능력을 비교한 결과, 최신 3B~9B급 모델은 대체로 피드백을 반영했지만 소형·구형 모델은 형식 준수와 문맥 유지에서 반복적으로 실패했으며 모델 크기만으로 성능이 보장되지는 않았다.

#agent-memory #context-compression #retrieval-index #llm

Bringing Robotics AI to Embedded Platforms: Dataset Recording, VLA Fine‑Tuning, and On‑Device Optimizations

Article2024년 11월 28일·👁️ 4

Bringing Robotics AI to Embedded Platforms: Dataset Recording, VLA Fine‑Tuning, and On‑Device Optimizations

NXP는 로봇 VLA를 임베디드 플랫폼에 배포하기 위해 신뢰도 높은 데이터셋 수집, ACT·SmolVLA 미세조정, i.MX 95에서의 모델 분해·양자화·비동기 추론 최적화가 함께 필요하다고 설명한다.

#multimodal #agent-deployment #agent-memory #context-compression

Letting Large Models Debate: The First Multilingual LLM Debate Competition

Article2024년 11월 13일·👁️ 4

Letting Large Models Debate: The First Multilingual LLM Debate Competition

BAAI는 정적 벤치마크와 사용자 투표형 아레나의 한계를 보완하기 위해 대형 언어모델들이 다국어로 직접 토론하며 추론력·논증력·언어 능력을 드러내는 FlagEval Debate를 제안한다.

#anthropic #multimodal #context-compression #prompt-library

Launch Week II - Day 2: Introducing Location and Language Settings

Article2024년 10월 29일·👁️ 2

Launch Week II - Day 2: Introducing Location and Language Settings

Firecrawl은 Launch Week II 2일차에 웹 스크래핑 결과를 국가와 선호 언어에 맞춰 받을 수 있는 Location and Language Settings 기능을 공개했다.

#llm #semiconductors #applications #agent-deployment

Launch Week II - Day 1: Announcing the Batch Scrape Endpoint

Article2024년 10월 28일·👁️ 2

Launch Week II - Day 1: Announcing the Batch Scrape Endpoint

Firecrawl은 Launch Week II 첫날 여러 URL을 한 번에 스크랩할 수 있는 Batch Scrape 엔드포인트를 공개하고, 동기·비동기 처리 방식과 사용 예시를 함께 안내했다.

#agent-routing #llm #semiconductors #applications

Rearchitecting Hugging Face Uploads and Downloads

Article2024년 9월 27일·👁️ 3

Rearchitecting Hugging Face Uploads and Downloads

허깅페이스는 대용량 모델·데이터셋 전송의 한계를 극복하기 위해 바이트 단위 중복 제거와 검증을 수행하는 콘텐츠 주소 기반 저장소(CAS)를 도입하고, 전 세계 업로드 분포에 맞춰 세 지역에 노드를 배치하는 새로운 업로드·다운로드 구조를 설계했다.

#service-design #ai-architecture #llm #semiconductors

Bamba: Inference-Efficient Hybrid Mamba2 Model

Article2024년 9월 25일·👁️ 1

Bamba: Inference-Efficient Hybrid Mamba2 Model

Bamba 9B는 KV cache 병목을 줄이기 위해 Mamba2와 트랜스포머를 결합한 9B급 하이브리드 모델로, 공개 데이터로 학습되고 주요 오픈소스 추론·학습 생태계에서 바로 실험할 수 있도록 공개된 모델이다.

#model-scaling #ai-architecture #agent-memory #context-compression

Mini-R1: Reproduce Deepseek R1 „aha moment“ a RL tutorial

Article2024년 9월 25일·👁️ 1

Mini-R1: Reproduce Deepseek R1 „aha moment“ a RL tutorial

3B 규모의 큐원 모델을 카운트다운 산술 과제와 그룹 상대 정책 최적화로 훈련해, 별도의 인간 피드백 없이 풀이를 검토하고 탐색하는 딥시크 R1의 작은 ‘아하 순간’을 재현한 강화학습 실험이다.

#nvidia #service-design #agent-memory #capex-cycle

Expert Support case study: Bolstering a RAG app with LLM-as-a-Judge

Article2024년 9월 13일·👁️ 2

Expert Support case study: Bolstering a RAG app with LLM-as-a-Judge

Digital Green은 농업 RAG 챗봇 Farmer.chat의 응답 품질을 대규모로 평가하기 위해 LLM as a Judge 체계를 구축하고, 충실도와 답변률의 균형을 기준으로 생성 모델을 비교·선정했다.

#service-design #ai-architecture #agent-memory #context-compression

The Open Arabic LLM Leaderboard 2

Article2024년 8월 27일·👁️ 4

The Open Arabic LLM Leaderboard 2

오픈 아랍어 LLM 리더보드 2는 기존 평가의 번역 편향·포화·검증 오류를 바로잡고, 아랍어 고유 특성과 실제 활용을 반영한 원어·인간 검수 벤치마크와 생성형 평가를 확대한 개편판이다.

#agent-memory #context-compression #retrieval-index #llm

Announcing Fire Engine for Firecrawl

Article2024년 8월 6일·👁️ 2

Announcing Fire Engine for Firecrawl

Firecrawl은 외부 스크래핑 서비스의 실패와 속도 문제를 해결하기 위해 자체 기본 백엔드인 Fire Engine을 도입했다고 발표했다.

#llm #semiconductors #applications #agent-deployment