Docs faviconDOCS우성짱의 문서
Tag17건Article 17

#ai-safety-evaluation

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

연관 태그

#democratic-ai-oversight공동문서 2 · 연관도 34%#jailbreak-resistance공동문서 2 · 연관도 28%#activation-analysis공동문서 1 · 연관도 24%#ai-development-pause공동문서 1 · 연관도 24%#ai-interpretability공동문서 1 · 연관도 24%#ai-power-deconcentration공동문서 1 · 연관도 24%#alignment-audit-tooling공동문서 1 · 연관도 24%#alignment-readiness-gap공동문서 1 · 연관도 24%#base-labs공동문서 1 · 연관도 24%#biosecurity-risk공동문서 1 · 연관도 24%

문서 목록

총 17건 중 1-17건

GPT-6 Sol and GPT-6 Luna: October 2026 update - OpenAI Deployment Safety Hub
Article2026년 10월 7일

GPT-6 Sol and GPT-6 Luna: October 2026 update - OpenAI Deployment Safety Hub

OpenAI는 ChatGPT에 GPT 6 Sol·Luna의 10월 버전을 출시하며 안전성과 유용성 개선을 보고했지만, 일부 성인·U18·이미지 안전 평가에서는 퇴행이 나타나 모델 평가와 시스템 차원의 보호 조치를 함께 해석해야 한다고 설명한다.

deploymentsafety.openai.com
#openai#preparedness-framework#gpt-6-luna#gpt-6-sol
Towards safety cases for frontier AI training
Article2026년 9월 28일

Towards safety cases for frontier AI training

OpenAI는 프런티어 강화학습 훈련을 계속하기 전에 정렬·격리·모니터링과 운영 책임을 입증하는 안전성 논증을 마련하자고 제안하며, 이를 지향점으로 삼아 관련 관행을 구현하고 발전시키고 있다.

OpenAI
#openai#reward-hacking#monitor-evasion-detection#model-alignment
Sam Altman’s remarks at the United Nations Security Council
Article2026년 9월 23일

Sam Altman’s remarks at the United Nations Security Council

Sam Altman은 유엔 안전보장이사회 연설에서 AI의 과학·경제적 잠재력을 실현하려면 인간 통제 유지, 권력 집중 방지, 민주적 의사결정과 국제 안전 협력이 필요하다고 강조했다.

OpenAI
#openai#sam-altman#ai-power-deconcentration#democratic-ai-oversight
Can AI Be Slowed Down? Stanford HAI Experts Weigh the Risks, Rules and Race Ahead
Article2026년 9월 22일

Can AI Be Slowed Down? Stanford HAI Experts Weigh the Risks, Rules and Race Ahead

Stanford HAI 전문가들은 AI 경쟁으로 개발 속도를 늦추기 어려운 상황에서 다중 에이전트와 재귀적 자기개선의 위험에 대응하려면 독립 평가, 투명성, 안전 중심 설계와 민주적 감독이 필요하다고 주장했다.

hai.stanford.edu
#openai#hugging-face#stanford-hai#democratic-ai-oversight
Introducing Claude Opus 5.5
Article2026년 9월 22일

Introducing Claude Opus 5.5

Anthropic은 대부분의 작업에서 Claude Fable 5.1 수준의 성능을 내면서 일반적인 작업 비용은 Opus 5보다 40% 낮추고 안전성과 소통 방식을 개선한 Claude Opus 5.5를 발표했다.

anthropic.com
#anthropic#benchmark-practice-gap#capability-specific-safeguards#lower-task-cost
Vals, backed by Andreessen Horowitz, is looking to become the gold standard for AI benchmarking
Article2026년 9월 19일

Vals, backed by Andreessen Horowitz, is looking to become the gold standard for AI benchmarking

Andreessen Horowitz의 투자를 받은 Vals는 비공개 시험과 산업별 실무 평가로 기존 AI 벤치마크의 한계를 보완하고 평가의 표준이 되려 한다.

Lucas Ropek
#andreessen-horowitz#rayan-krishnan#evaluation-standard-ambition#private-test-integrity
Anthropic's first embedded evaluator is…Accenture?
Article2026년 9월 18일

Anthropic's first embedded evaluator is…Accenture?

Anthropic이 Accenture의 Faculty를 첫 상주 안전성 평가자로 들이면서, 기업·정부 대상 AI 도입 경험과 독립성을 내세운 선택의 타당성 및 업계 자율 감시의 책임 문제가 쟁점으로 떠올랐다.

Tim Fernholz
#accenture#anthropic#faculty#developer-safety-accountability
Base Labs launches an open-weight AI safety partnership with Hugging Face and Goodfire
Article2026년 9월 17일

Base Labs launches an open-weight AI safety partnership with Hugging Face and Goodfire

Baseten과 연구 조직 Base Labs가 Hugging Face·Goodfire AI와 협력해 오픈웨이트 모델의 훈련·배포에 안전성을 내장하는 평가·모니터링 인프라 표준을 추진한다.

Russell Brandom
#baseten#base-labs#goodfire-ai#hugging-face
Anthropic and OpenAI want to embed safety evaluators. Will they really be independent?
Article2026년 9월 16일

Anthropic and OpenAI want to embed safety evaluators. Will they really be independent?

Anthropic과 OpenAI가 외부 안전 평가기관의 내부 상주를 약속했지만, 실질적 독립성은 훈련 과정 접근권, 충분한 평가 시간, 공개 권한과 법적 보장에 달려 있다.

Rebecca Bellan
#anthropic#openai#apollo-research#evaluator-independence
Gambling with our lives': Anthropic researcher quits, warns against self-improving AI
Article2026년 9월 9일

Gambling with our lives': Anthropic researcher quits, warns against self-improving AI

Anthropic 연구원 Jacob Coxon이 재귀적 자기개선 AI 개발 경쟁의 인류 생존 위험을 경고하며 사임했고, 업계의 안전 우려와 개발 속도 조절·초지능 금지 입법 논의가 커지고 있다.

Rebecca Bellan
#anthropic#controlai#openai#jacob-coxon
Sam Altman is ready to decelerate
Article2026년 7월 28일

Sam Altman is ready to decelerate

샘 올트먼은 실제 보안 사고와 고성능 모델의 등장을 계기로 인공지능 개발 속도 조절의 필요성을 인정하면서도, 안전 논리가 규제 포획과 권력 집중의 명분으로 이용되는 상황을 경계했다.

techcrunch.com
#anthropic#openai#hugging-face#sam-altman
Defining and evaluating political bias in LLMs
Article2026년 6월 4일

Defining and evaluating political bias in LLMs

OpenAI는 ChatGPT가 기본적으로 정치적 편향 없이 객관성을 유지해야 한다는 원칙을 실제 대화형 평가로 측정하기 위해, 약 500개 프롬프트와 다섯 가지 편향 축을 갖춘 자동 평가 체계를 만들고 GPT‑5 계열에서 편향 감소를 확인했다고 설명한다.

openai.com
#chatgpt#openai#gpt-5-instant#gpt-5-thinking
Why the U.S. Needs an Independent AI Evaluation Framework for National Security
Article2026년 5월 21일

Why the U.S. Needs an Independent AI Evaluation Framework for National Security

Scale AI는 미국이 첨단 AI 모델의 국가안보 위험을 기업의 자율 공개에 의존하지 말고, 정부·제3자 평가기관·모델 개발사가 참여하는 독립적 사전 평가 체계를 즉시 구축해야 한다고 주장한다.

scale.com
#anthropic#caisi#scale-ai#claude-mythos-preview
Natural Language Autoencoders
Article2026년 5월 7일

Natural Language Autoencoders

Anthropic은 모델 내부 활성화를 사람이 읽을 수 있는 자연어 설명으로 바꾸는 Natural Language Autoencoders를 소개하며, 이를 통해 Claude가 말하지 않는 평가 인식·숨은 동기·오류 원인을 조사할 수 있음을 보였다.

Anthropic
#anthropic#claude-ai#natural-language-autoencoders#swe-bench-verified
Introducing GPT-5.5
Article2026년 4월 23일

Introducing GPT-5.5

OpenAI는 GPT 5.5를 더 빠른 의도 파악, 장기적 도구 사용, 코딩·지식작업·초기 과학 연구 성능 향상을 결합한 차세대 작업형 모델로 소개하며, GPT 5.4 수준의 지연시간을 유지하면서 더 높은 지능과 효율을 제공한다고 밝혔다.

미상
#codex#openai#gpt-5-4#gpt-5-5
Findings from a pilot Anthropic–OpenAI alignment evaluation exercise: OpenAI Safety Tests
Article2025년 8월 27일

Findings from a pilot Anthropic–OpenAI alignment evaluation exercise: OpenAI Safety Tests

OpenAI와 Anthropic은 서로의 공개 모델에 내부 안전성·미스얼라인먼트 평가를 적용한 첫 공동 파일럿 결과를 공개하며, 모델별 강점과 취약점, 평가 협력의 필요성을 정리했다.

openai.com
#anthropic#openai#claude-opus-4#claude-sonnet-4
Estimating worst case frontier risks of open weight LLMs
Article2025년 8월 5일

Estimating worst case frontier risks of open weight LLMs

OpenAI는 gpt oss 공개 전 생물·사이버보안 영역에서 악의적 미세조정으로 최악의 위험을 추정했으며, 평가 결과 기존 최전선 모델을 넘어서지는 않는다고 밝혔다.

openai.com
#openai#gpt-oss#openai-o3#preparedness-high