총 1678건 중 1657-1678건
이 글은 소프트웨어 연구개발의 수익률이 1을 넘을 경우 AI가 자기 연구개발을 자동화하면서 초쌍곡적 성장, 즉 소프트웨어 특이점으로 이어질 수 있는지 이론과 제한적 실증 자료로 검토한다.
SyGra Studio는 합성 데이터 생성 흐름을 시각적으로 구성하고, 생성되는 설정과 실행 상태·비용·결과를 한 화면에서 확인할 수 있게 만든 대화형 작업 환경이다.
Epoch AI는 사전학습 언어모델에서 같은 성능에 필요한 컴퓨트가 약 8개월마다 절반으로 줄었지만, 지난 10년의 성능 향상은 알고리즘 혁신보다 컴퓨트와 데이터 확장의 영향이 더 컸다고 분석한다.
DPO는 인간 선호 데이터를 이용해 보상 모델과 강화학습 단계를 거치지 않고도 언어 모델을 직접 선호 방향으로 미세조정하는 방법이다.
임베딩젬마는 3억 800만 개 매개변수와 2,048토큰 문맥 길이, 100개 이상 언어 지원, 차원 축소 기능을 결합해 일상적인 기기에서도 고품질 다국어 임베딩을 생성하도록 설계된 구글의 소형 모델이다.
이 글은 Sentence Transformers로 희소 임베딩 모델을 미세조정하는 이유와 기본 구성요소를 설명하며, SPLADE 계열 모델의 해석 가능성·확장 방식·도메인 적응 필요성을 실용 예제로 보여준다.
라이거의 청크 단위 손실 계산을 TRL의 그룹 상대 정책 최적화에 통합해 모델 품질을 유지하면서 최대 GPU 메모리를 40% 줄이고, 분산 학습과 매개변수 효율적 미세 조정 및 고속 생성 서버 연계까지 지원한 결과를 소개한다.
TRL의 co located vLLM은 GRPO의 학습과 생성을 동일한 GPU·분산 프로세스 그룹에서 번갈아 실행해 유휴 시간과 통신 비용을 줄이며, 모델 크기와 텐서 병렬화 설정에 따라 최대 1.73배의 처리량 향상을 보였다.
Epoch AI는 출판·인용, 훈련 연산량, 알고리즘 혁신 채택을 함께 비교해 구글·오픈AI·메타가 산업 AI 연구를 주도하며 신생 연구소도 빠르게 선두권에 진입할 수 있다고 분석한다.
Epoch AI는 AI 자동화 예측 문헌을 검토하며, 기존 방법들이 기술적 자동화 가능성에 치우쳐 실제 배포·비용·노동시장 변화를 충분히 설명하지 못한다고 지적한다.
바이든 행정부의 AI 행정명령은 국방·비상권한에 근거해 일부 기초 모델의 보고·시험을 요구하고, 연방기관이 안전·프라이버시·차별·경쟁력·국제표준 관련 기준을 마련하도록 지시한 조치다.
Epoch AI 글은 고도화된 AI가 인간 노동을 대체할 때 폭발적 경제성장이 가능하다는 성장모형의 논거와, 규제·개발 난도·정렬 문제 같은 반론을 함께 검토하며 가능성은 배제하기 어렵지만 확실하지도 않다고 정리한다.
a16z는 오픈소스 AI 생태계가 폐쇄형 모델과 경쟁할 수준으로 성장하고 있지만 개발자들이 GPU 등 자원 부족을 겪고 있다며, 이를 지원하기 위한 오픈소스 AI 보조금 프로그램과 첫 수혜 프로젝트들을 발표했다.
Epoch AI는 훈련 컴퓨트와 추론 컴퓨트가 일정 범위에서 서로 대체될 수 있으며, 특히 대규모 배포 모델에서는 추론 비용 최적화와 고성능 소규모 사용 사이의 균형이 중요하다고 분석한다.
Epoch AI는 11개 최신 언어모델 아키텍처와 36개 모델 크기의 데이터를 분석해, 벤치마크 전체 성능은 컴퓨트 스케일링만으로도 어느 정도 예측 가능하지만 개별 과제 성능은 훨씬 변동성이 크다고 결론낸다.
마크 안드리센은 AI를 인간 지능을 증강해 교육·과학·경제·예술·의사결정을 개선할 도구로 보고, 현재의 AI 공포와 규제 요구를 역사적 기술 도덕 공황 및 이해관계의 산물로 비판한다.
a16z의 ‘AI Canon’은 현대 AI를 이해하기 위해 영향력이 컸던 논문, 글, 강의, 실무 가이드, 시장 분석 자료를 단계별로 묶은 선별 참고 목록이다.
로봇 정책이 미래 행동 묶음을 예측하는 동안 실행을 멈추는 문제를 줄이기 위해, 글은 행동 예측과 실행을 분리하는 비동기 추론 구조로 지연을 제거하고 더 촘촘한 제어 루프를 만드는 방법을 설명합니다.
Epoch AI는 현재의 ML 데이터 사용 증가 추세가 지속되고 데이터 효율성 혁신이 없다는 가정 아래, 고품질 언어 데이터는 2026년 전, 저품질 언어 데이터와 이미지 데이터는 2030~2060년 사이에 병목이 될 수 있다고 전망한다.
강화학습은 지도학습이 과거에 겪었던 것처럼 하이퍼파라미터에 매우 민감하지만, 실세계 벤치마크와 재현성의 어려움 때문에 더 견고한 발전 경로를 만들기 어렵다는 문제를 안고 있다.
Epoch AI는 1950년 이후 주요 머신러닝 모델 120여 개의 최종 학습 컴퓨트를 분석해, 학습 컴퓨트가 세 시대를 거쳐 증가했으며 2010년 이후 약 100억 배 늘었다고 정리한다.
TRL v1.0은 빠르게 변하는 포스트트레이닝 분야에서 안정적인 핵심 API와 실험적 방법을 함께 수용하도록 설계된 Hugging Face 생태계의 범용 포스트트레이닝 라이브러리다.
