총 3611건 중 3385-3408건
다중 사용자 환경의 대규모 언어 모델 서빙에서는 사용자별 공정 스케줄링과 백엔드 지표 기반의 동적 요청 제어를 결합해야 지연 시간을 줄이면서 그래픽 처리 장치 활용률을 유지할 수 있다.
허깅페이스 허브의 추론 제공업체에 Groq가 추가되어, 사용자는 모델 페이지와 Python·JavaScript SDK에서 공개 대규모 언어 모델을 빠르게 호출하고 인증 및 결제 방식도 선택할 수 있게 됐다.
허깅페이스 허브의 Inference Providers에 Featherless AI가 추가되어, 다양한 텍스트·대화형 오픈소스 모델을 서버리스 방식으로 선택해 사용할 수 있게 되었다.
긴 프롬프트가 포함된 요청은 프리필 대기열과 동시 디코딩을 지연시키며, 요청 병렬 프리필은 첫 토큰 지연을 줄이고 프리필·디코드 분리 구조는 토큰 생성 간섭을 완화한다.
Hugging Face와 NVIDIA는 연구기관과 기업이 필요한 시점·규모·기간에 맞춰 대규모 GPU 클러스터를 요청하고 학습 작업에 활용할 수 있는 Training Cluster as a Service를 발표했다.
생성형 AI는 빠르게 커지고 있지만, 지금 쓰이는 사용자 수·토큰 수·성장 비교 지표만으로는 실제 제품 가치와 사용 방식, 시장 변화를 제대로 설명하기 어렵다는 글입니다.
H Company는 웹 UI를 이해하고 클릭 위치를 정밀하게 찾는 오픈소스 액션 비전 언어 모델 Holo1과 1,639개 UI 과제로 구성된 WebClick 벤치마크를 공개했으며, 이를 기반으로 브라우저 자동화 에이전트 Surfer H를 구동한다고 밝혔다.
OpenAI는 제3자 소프트웨어 취약점을 협력적이고 책임 있게 알리기 위한 Outbound Coordinated Disclosure Policy를 발표했다.
Answer HQ는 소규모 기업의 기존 웹사이트 콘텐츠를 AI 고객지원 도우미에 연결하기 위해 Firecrawl을 웹사이트 가져오기 기능의 핵심 인프라로 사용한다.
OpenAI는 사용자 데이터의 무기한 보존 의무가 종료되어 표준 30일 삭제 정책으로 복귀했지만, 뉴욕타임스가 요구한 2025년 4월부터 9월까지의 제한된 과거 데이터는 법적 의무에 따라 별도로 보호하고 있다고 밝혔다.
AssetOpsBench는 산업 설비 운영 환경에서 AI 에이전트가 실제로 안전하고 신뢰할 수 있게 작동하는지를 다중 에이전트 조정, 근거 기반 판단, 실패 인식, 작업 실행 가능성 중심으로 평가하는 벤치마크입니다.
나노브이엘엠에 계층별 키·값 캐시와 사전 채움·순차 해독 구조를 직접 구현해, 자기회귀 생성의 중복 계산을 줄이고 생성 속도를 38% 높인 과정과 원리를 설명한다.
Convex의 사례는 좋은 추상화가 개발자뿐 아니라 AI 에이전트도 복잡한 풀스택 앱을 더 안정적으로 만들게 한다는 점을 보여준다.
Firecrawl은 웹페이지 발견과 콘텐츠 추출을 한 번의 API 호출로 처리하는 /search 엔드포인트를 출시했다고 발표했다.
FLUX.1 dev의 트랜스포머를 4비트로 양자화하고 LoRA, 8비트 옵티마이저, 체크포인팅, 잠재 표현·텍스트 임베딩 캐시를 결합해 단일 GPU에서 약 10GB 미만의 VRAM으로 미세 조정하는 방법을 설명한다.
Wix는 OpenAI 모델과 자사의 웹사이트 제작 경험을 결합해, 사용자가 대화만으로 콘텐츠·이미지·레이아웃·업무 기능을 갖춘 웹사이트를 몇 분 안에 만들 수 있도록 했다.
이 글은 CodeAgent의 유연한 코드 실행 방식에 구조화된 JSON 출력을 결합하면, 충분히 강한 모델에서 파싱 안정성과 추론 명시성이 높아져 여러 벤치마크 성능이 개선된다고 설명한다.
AutoRound는 가중치 반올림과 클리핑 범위를 함께 최적화해 낮은 비트에서도 정확도를 유지하면서 빠른 양자화와 폭넓은 모델·장치·출력 형식 호환성을 제공하는 인텔의 가중치 전용 학습 후 양자화 도구다.
Dell Enterprise Hub의 새 버전은 Dell AI 서버와 AI PC에서 모델, 애플리케이션, 온디바이스 AI, SDK/CLI를 온프레미스로 빠르게 배포하도록 묶은 엔터프라이즈 AI 툴킷으로 소개된다.
CodeRabbit은 코드 생성량이 아니라 리뷰 처리량이 실제 배포 속도를 제한한다는 문제의식에서 출발해, 저장소 맥락을 보강한 다단계 AI 리뷰로 정확하고 신속한 코드 배포를 지원한다.
Meta의 네이티브 멀티모달 MoE 모델 Llama 4 Maverick과 Scout가 출시 당일부터 Hugging Face Hub, Transformers, TGI, 양자화 및 Xet 저장소를 통해 제공되며, 최대 1천만 토큰 문맥과 강력한 추론·이미지·코딩 성능을 지원한다.
OpenAI는 Responses API에 원격 MCP, 이미지 생성, 코드 인터프리터 등 새 도구와 장기 작업·추론 관리 기능을 추가해 에이전트 애플리케이션의 활용성, 신뢰성, 가시성, 개인정보 보호를 강화했다.
Microsoft는 Build에서 에이전트가 컴퓨터, 앱, 다른 에이전트, 인터넷과 연결될 수 있도록 개방형 ‘에이전틱 웹’ 인프라를 구축하겠다는 비전을 제시했다.
코덱스는 저장소별 격리 환경에서 여러 소프트웨어 개발 작업을 병렬로 수행하고, 코드 변경과 테스트 결과를 검증 가능한 근거와 함께 제시하는 클라우드 기반 소프트웨어 엔지니어링 에이전트다.
