GPT-Rosalind-6 System Card Addendum - OpenAI Deployment Safety Hub

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

GPT-Rosalind-6는 GPT-6 Astra와 같은 가중치를 사용하는 생명과학 연구 모델로, 신뢰 기반 접근을 통해 제공되며 연구 벤치마크 성능 향상과 함께 생물·화학 분야 High 수준의 역량으로 취급된다.

📌 핵심 요약

• OpenAI는 GPT-Rosalind-6 Research를 자격을 갖춘 과학자·연구기관·기업·정부 파트너에게 제공하며, 신청자의 사용 목적·보안 통제·거버넌스를 검토한다. 이중용도 생물학 질문에 대한 거절은 줄였지만 생물무기화 요청과 다른 안전 주제에 대한 거절은 유지한다. GPT-6 Astra와 가중치가 같고 추가 학습 데이터나 추가 사후학습은 없으며, 생물·화학은 High이자 Critical 미만, 사이버보안은 Critical, AI 자기개선은 High 미만으로 취급한다.
• 최고 추론 예산에서 GPT-Rosalind-6와 GPT-Rosalind-5.5의 성적은 MedChemBench v7 평균 루브릭 점수 49.6% 대 28.9%, GeneBench Pro v13 단일 시도 성공률 37.7% 대 16.7%, LifeSciBench Gold 평균 점수 61.3% 대 44.0%였다. 비교에는 동일한 벤치마크 버전과 문제 집합을 사용했으며, GeneBench Pro v13 평가 설정은 실제 서비스 설정과 다르다.
• 생물·화학 평가에는 실험 지식·문제 해결을 측정하는 High 평가 4개와 생물학적 설계 능력을 측정하는 Critical 평가 4개가 사용됐다. GPT-Rosalind-6는 거절 보정 후 High 평가 4개 중 3개에서 잠정 기준을 넘었으며, GPT-Rosalind-5.5의 보고된 결과보다 관측 점수가 3개 평가에서 높고 Biorisk knowledge에서는 낮았다.
• Biorisk knowledge의 cons@32는 GPT-Rosalind-6 78.3%, GPT-Rosalind-5.5 79.2%, GPT-6 Astra 63.3%였고, 거절률은 각각 9.4%, 1.8%, 29.2%였다. 거절을 정답으로 처리하고 합의 답을 다시 계산한 보정 점수는 GPT-Rosalind-6 85.0%, GPT-6 Astra 90.0%였다. GPT-Rosalind-5.5의 기존 보정 점수는 계산 방식이 달라 비교에서 제외됐다.
• 평가 결과는 특정 역량에 관한 증거이며 생물학적 위해를 일으킬 전체 능력을 완전히 검증한 것은 아니다. Critical 기준은 전문가 판단에 근거한 잠정 추정치로 변경될 수 있다. 제공된 본문에는 일부 평가표의 점수가 빠져 있고 AAV Capsid Packaging Prediction 설명 도중 내용이 끊겨, Critical 평가별 성적과 상세 배포 안전장치는 확인할 수 없다.

🧩 주요 포인트

1. 동일 가중치·추가 학습 없음 → GPT-Rosalind-6의 제공 방식을 이해하려면 모델 학습 이력과 함께 신뢰 기반 접근 및 거절 정책을 구분해 살펴볼 필요가 있다.
2. 동일 문제 집합으로 재평가한 연구 성능 비교 → 세 벤치마크의 향상은 확인되지만, GPT-Rosalind-5.5 출시 당시 점수와 직접 연결하거나 실제 서비스 성능으로 일반화하기에는 비교 조건과 설정 차이를 고려해야 한다.
3. 관측 점수·거절률·거절 보정 점수의 차이 → 안전 거절이 드러난 성능에 미치는 영향을 함께 해석해야 하며, High 판정과 자료가 불완전한 Critical 평가 결과를 구분할 필요가 있다.

🧠 상세 정리

1. 모델의 목적, 접근 조건과 학습 이력

GPT-Rosalind-6는 생물학·신약 개발·중개의학을 위한 프런티어 추론 모델로 소개되며, 자격을 갖춘 과학자와 연구기관·기업·정부 파트너에게 GPT-Rosalind-6 Research로 제공된다. OpenAI는 일부 이중용도 생물학 주제를 포함한 정당한 연구를 지원하도록 생물학 질문에 대한 거절을 줄였지만, 생물무기화 요청과 다른 안전 주제에 대한 거절은 유지한다고 설명한다. 접근은 신뢰 기반으로 제한되며, 승인 전에 신청자의 사용 목적·보안 통제·거버넌스 관행을 검토하고 다른 배포 안전장치도 유지한다. 모델은 GPT-6 Astra와 동일한 가중치를 사용하며, 이번 출시를 위한 학습 데이터 추가나 추가 사후학습은 없었다. Preparedness Framework에서는 생물·화학을 High이면서 Critical 미만으로 취급하고, 다른 위험은 부모 모델의 평가에 의존해 사이버보안을 Critical, AI 자기개선을 High 미만으로 취급한다. 이 부록은 생물학적 역량과 추가 안전·정렬 평가 및 배포 안전장치를 다루는 문서로 소개되며, 더 넓은 평가를 설명하는 GPT-6 Astra 시스템 카드와 함께 읽도록 안내한다.

2. 연구 성능 비교 방식과 의약화학 결과

OpenAI는 GPT-Rosalind-6의 유익한 연구 역량을 생명과학 벤치마크 3개로 평가하고 GPT-Rosalind-5.5와 비교했다. 여기서 제시한 GPT-Rosalind-5.5 점수는 GPT-Rosalind-6와 동일한 벤치마크 버전 및 문제 집합으로 얻은 결과이므로, GPT-Rosalind-5.5 출시 당시 발표된 점수와는 다르다. 채점은 각 문제 안에서 응답 점수를 평균한 뒤 문제마다 같은 가중치를 부여하는 방식으로 집계했다. MedChemBench v7은 화학 구조 해석, 구조와 활성의 관계, 약물 효능 및 독성 예측을 시험한다. 두 모델은 동일한 99개 문제를 풀었으며, 각 추론 예산에서 문제당 최대 9개 응답을 채점했다. 시험한 최고 추론 예산의 평균 루브릭 점수는 GPT-Rosalind-6가 49.6%, GPT-Rosalind-5.5가 28.9%로, 이 평가 조건에서 GPT-Rosalind-6가 더 높은 성적을 보였다.

3. 유전체·정량생물학과 응용 생명과학 결과

GeneBench Pro v13은 에이전트가 생물학 데이터의 정량 분석을 계획하고 수행하는 능력을 평가한다. 연구진은 각 추론 예산에서 129개 문제마다 모델별 응답 7개를 사용해 단일 시도 성공률을 추정했으며, 최고 추론 예산에서 GPT-Rosalind-6는 37.7%, GPT-Rosalind-5.5는 16.7%를 기록했다. 다만 이 평가에는 실제 서비스와 다른 벤치마크 전용 설정이 사용됐다는 제한이 명시돼 있다. LifeSciBench Gold는 현업 생명과학자가 제공한 연구 과제로 구성되며, 과제나 평가 환경에 문제가 있을 가능성이 표시된 6개 문제를 제외했다. 두 모델은 남은 동일한 94개 문제에서 추론 예산별로 문제당 최대 8개 응답을 채점받았다. 최고 추론 예산의 평균 점수는 GPT-Rosalind-6가 61.3%, GPT-Rosalind-5.5가 44.0%였으며, 이러한 결과는 명시된 문제 집합과 평가 조건에서의 비교로 해석해야 한다.

4. Preparedness 평가의 구성과 점수 해석

Preparedness Framework는 새로운 심각한 위해 위험을 만드는 프런티어 역량을 추적하고 대비하기 위한 OpenAI의 접근 방식으로 설명된다. GPT-Rosalind-6에는 생물학적 역량 평가를 다시 수행했으며, GPT-6 Astra와 가중치가 같다는 점에서 안전 거절이 가릴 수 있는 능력을 드러내기 위한 부모 모델의 helpful-only 평가도 추가 근거로 사용했다. 생물·화학 분야에는 GPT-6 Astra 시스템 카드의 High 평가 4개와 Critical 평가 4개를 사용했고, GPT-Rosalind-5.5에서 보고했던 hard-negative 단백질 결합 및 DNA 서열 설계 평가는 폐기됐다. High 평가는 실제 실험 지식과 문제 해결을, Critical 평가는 전문가가 매우 위험한 새로운 위협을 개발하는 데 도움이 될 수 있는 생물학적 설계 능력을 시험한다. 결과에는 관측 성능과 High 평가의 거절 보정 점수가 포함되며, pass@1은 단일 시도 성공을 뜻하고 거절 보정은 거절을 정답으로 처리해 안전 학습이 가릴 수 있는 역량을 추정한다. 다만 이 평가들은 특정 역량의 증거이며 생물학적 위해 유발 능력 전체를 완전히 시험한 것은 아니고, Critical 기준도 전문가 판단에 근거한 잠정 추정치여서 평가 개선에 따라 바뀔 수 있다.

5. 공개·비공개 실험 절차의 문제 해결 평가

ProtocolQA Open-Ended는 FutureHouse의 ProtocolQA 데이터에서 객관식 108문항을 개방형 단답형으로 바꿔, 일반적으로 발표된 실험 절차의 문제를 해결하는 능력을 평가한다. 문항은 흔한 공개 절차에 명백한 오류를 넣고 그 절차를 실행했을 때의 실험 결과를 설명한 다음 수정 방법을 묻는 방식이며, 원문은 객관식보다 어렵고 현실적인 평가라고 설명한다. 이 평가의 잠정 High 기준은 54%지만, 제공된 본문에는 해당 표의 모델별 점수가 나타나지 않는다. TroubleshootingBench는 관련 생물학 분야 박사 학위를 가진 과학자들이 직접 사용한 실험 절차를 기록하고, 미묘하거나 현실적인 실행 오류와 그에 따른 실패 결과를 바탕으로 만든 단답형 평가다. 온라인에 공개되지 않은 절차와 암묵적인 실무 지식을 시험한다는 점에서 공개 절차 중심의 ProtocolQA Open-Ended와 구분되며, 잠정 High 기준은 36.4%다. GPT-Rosalind-6의 성적은 832회 중 491회 정답으로 제시되며, 실패한 평가 시도 9회도 오답에 포함했다.

6. Biorisk knowledge의 관측 성능과 거절 보정

Biorisk knowledge는 Gryphon Scientific과 함께 만든 객관식 데이터로, 생물학적 위협 생성 과정의 5개 단계에 걸친 암묵적 지식과 실험 문제 해결 능력을 평가한다. 문항은 해당 분야 종사자나 직접 실험해 본 사람이 아니면 알기 어려운 내용을 겨냥하며, cons@32는 문항별 응답 32개의 합의 답을 사용하고 잠정 High 기준은 80%다. 관측 cons@32는 GPT-Rosalind-6가 78.3%, GPT-Rosalind-5.5가 79.2%, GPT-6 Astra가 63.3%로, GPT-Rosalind-6는 이 평가에서 이전 모델보다 낮았다. 거절률은 같은 순서로 9.4%, 1.8%, 29.2%여서, 관측 점수와 함께 거절 양상도 확인할 수 있다. 거절을 정답으로 처리한 뒤 합의 답을 다시 계산한 보정 cons@32는 GPT-Rosalind-6가 85.0%, GPT-6 Astra가 90.0%였다. GPT-Rosalind-5.5 시스템 카드의 거절 보정 점수는 계산 방식이 달라 이번 비교에서 제외됐으므로, 세 모델의 보정 점수를 같은 방식으로 비교할 자료는 제공되지 않는다.

7. 바이러스학 문제 해결과 High 판정

Multi-select Virology Troubleshooting은 SecureBio가 제공한 완전히 분리된 바이러스학 문제 해결 문항을 사용해, 멀티모달 환경에서 실제 실험 문제를 해결하는 능력을 평가한다. 복수 선택 형식이며 모든 옳은 진술을 선택하고 틀린 진술은 하나도 선택하지 않아야 정답으로 인정되는 엄격한 채점 조건을 적용한다. 이 평가의 잠정 High 기준은 31%로 제시되지만, 제공된 본문에는 모델별 점수가 담긴 표 내용이 빠져 있다. 네 가지 High 평가를 종합하면 GPT-Rosalind-6는 거절 보정 후 4개 중 3개에서 잠정 기준을 넘었고, OpenAI는 이를 근거로 모델을 계속 High 역량으로 취급한다. GPT-Rosalind-5.5의 보고된 결과와 비교하면 관측 점수는 3개 평가에서 더 높고 Biorisk knowledge에서 더 낮았다고 설명한다. 따라서 전체적인 High 판정의 근거는 확인할 수 있지만, 생략된 표 때문에 제공된 본문만으로 모든 평가의 관측 점수와 보정 점수를 개별적으로 확인할 수는 없다.

8. Critical 설계 평가와 제공 자료의 한계

Critical 평가 목록에는 AAV Capsid Packaging Prediction, SHP2 Protein Function Prediction, Coronavirus-ACE2 Cell-Entry Screen, Phage-plasmid Co-evolution의 4개가 제시된다. 각각 평가용으로 분리한 캡시드 변이의 포장 성능, 단백질 변이의 기능 실험 결과, 세포 진입 측정값의 예측과 순위, 이후 실험 시점에 나타나는 돌연변이 예측을 다루며, 단백질 설계·바이러스와 숙주의 상호작용·공진화 역량을 살펴본다. 이 목록은 Critical 평가가 무엇을 측정하는지 설명하지만, 제공된 본문에는 개별 성적이나 기준 충족 여부에 관한 결과가 포함돼 있지 않다. 본문은 AAV Capsid Packaging Prediction의 상세 설명을 시작한 뒤 문장 중간에서 끊기므로, 그 이후 논의와 나머지 상세 평가 내용을 확인할 수 없다. 따라서 생물·화학 분야를 High이자 Critical 미만으로 취급한다는 문서의 입장과, 제공된 발췌에서 직접 확인되는 평가 증거의 범위를 구분해야 한다. 서두에서 예고한 추가 안전·정렬 평가와 배포 안전장치도 이 발췌만으로는 상세 내용을 확인할 수 없으며, 이러한 빈 부분을 보조 개요의 문구로 채울 근거는 없다.

🧾 핵심 주장 / 시사점

• 세 연구 벤치마크에서는 GPT-Rosalind-6가 GPT-Rosalind-5.5보다 높은 점수를 보였지만, Biorisk knowledge의 관측 점수는 낮아 성능 변화가 모든 평가에서 같은 방향은 아니다.
• Biorisk knowledge에서 GPT-6 Astra는 관측 점수가 GPT-Rosalind-6보다 낮지만 거절 보정 점수는 더 높다. 이는 관측 응답 성능만으로 평가하려는 잠재 역량을 해석하기 어렵다는 점을 보여준다.
• 신뢰 기반 접근과 거절 정책은 유용한 이중용도 연구를 지원하면서 위해 위험을 줄이려는 배포 방식의 핵심이다. 다만 제공된 발췌에는 상세 안전장치와 Critical 평가 결과가 없어 그 효과를 충분히 판단하기 어렵다.

✅ 액션 아이템

• MedChemBench v7·GeneBench Pro v13·LifeSciBench Gold의 성능 향상을 동일 문제 집합과 최고 추론 예산 조건에서 검토하고, 실제 서비스 설정과의 차이를 반영.
• Biorisk knowledge의 관측 점수·거절률·거절 보정 점수를 함께 해석하고, 계산 방식이 다른 GPT-Rosalind-5.5 보정 점수의 직접 비교는 유보.
• GPT-Rosalind-6의 활용 검토에 신뢰 기반 접근과 사용 목적·보안 통제·거버넌스 검토 조건을 반영하고, Critical 평가별 성적과 상세 배포 안전장치의 정보 공백을 확인.

❓ 열린 질문

• GeneBench Pro v13의 벤치마크 전용 설정과 실제 서비스 설정의 차이는 GPT-Rosalind-6의 단일 시도 성공률에 어떤 영향을 미치는가?
• 전문가 판단에 근거한 잠정 추정치인 Critical 기준이 변경되면 GPT-Rosalind-6의 생물·화학 위험 판정은 어떻게 달라질 수 있는가?
• GPT-Rosalind-6의 신뢰 기반 접근에서 사용 목적·보안 통제·거버넌스는 구체적으로 어떤 기준으로 검토되는가?