🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

RiskRubric.ai는 인공지능 모델을 투명성·신뢰성·보안·개인정보 보호·안전성·평판의 여섯 축으로 평가해, 개발자와 조직이 비교 가능한 위험 점수에 근거하여 모델을 선택하고 배포하도록 돕는 공개 표준화 구상이다.

📌 핵심 요약

• 허깅페이스 허브에 50만 개가 넘는 모델이 있지만, 개발자가 각 모델의 보안 상태와 개인정보 보호 문제, 잠재적 실패 유형을 체계적으로 비교하기는 어렵다.
• RiskRubric.ai는 모델마다 1,000건 이상의 신뢰성 시험, 200건 이상의 적대적 보안 탐색, 코드 검사, 문서 검토, 개인정보 보호 및 유해 콘텐츠 평가를 수행한다.
• 평가 결과는 여섯 위험 영역별 0점에서 100점까지의 점수와 에이부터 에프까지의 종합 등급으로 제공되며, 발견된 취약점과 완화책 및 개선 제안도 함께 제시된다.
• 2025년 9월 기준 총점은 47점에서 94점 사이이고 중앙값은 81점이었으며, 54%가 에이 또는 비 등급이었지만 50점에서 67점 사이의 중간 등급 모델에는 실질적인 보호 공백이 나타났다.
• 분석에서는 보안 강화가 안전성 향상과 밀접하게 연결되는 한편, 강한 보호 장치가 설명 없이 작동하면 투명성과 신뢰를 약화할 수 있으므로 설명 가능한 거부와 출처 신호, 감사 가능성을 함께 설계해야 한다고 제안한다.

🧩 주요 포인트

1. 허깅페이스 허브에 50만 개가 넘는 모델이 있지만, 개발자가 각 모델의 보안 상태와 개인정보 보호 문제, 잠재적 실패 유형을 체계적으로 비교하기는 어렵다.
2. RiskRubric.ai는 모델마다 1,000건 이상의 신뢰성 시험, 200건 이상의 적대적 보안 탐색, 코드 검사, 문서 검토, 개인정보 보호 및 유해 콘텐츠 평가를 수행한다.
3. 평가 결과는 여섯 위험 영역별 0점에서 100점까지의 점수와 에이부터 에프까지의 종합 등급으로 제공되며, 발견된 취약점과 완화책 및 개선 제안도 함께 제시된다.
4. 2025년 9월 기준 총점은 47점에서 94점 사이이고 중앙값은 81점이었으며, 54%가 에이 또는 비 등급이었지만 50점에서 67점 사이의 중간 등급 모델에는 실질적인 보호 공백이 나타났다.
5. 분석에서는 보안 강화가 안전성 향상과 밀접하게 연결되는 한편, 강한 보호 장치가 설명 없이 작동하면 투명성과 신뢰를 약화할 수 있으므로 설명 가능한 거부와 출처 신호, 감사 가능성을 함께 설계해야 한다고 제안한다.

🧠 상세 정리

1. 모델 선택에 필요한 공통 위험 기준

허깅페이스 허브에는 50만 개가 넘는 모델이 공개되어 있지만, 사용자가 자신의 용도에 가장 적합하면서도 안전한 모델을 고르기는 쉽지 않다. 기능상 요구에 잘 맞는 모델을 찾더라도 보안 수준, 개인정보 보호 영향, 예상 가능한 실패 유형을 같은 기준으로 확인할 체계가 부족하기 때문이다. 모델의 성능과 보급 속도가 빠르게 높아지는 만큼, 저자는 인공지능 안전성과 보안 보고 역시 같은 속도로 발전해야 한다고 본다. 이러한 문제를 해결하기 위해 클라우드 보안 연합과 노마 시큐리티가 주도하고 헤이즈 랩스와 하모닉 시큐리티가 기여한 RiskRubric.ai가 제시되었다. 이 구상의 핵심 목적은 공개 모델 생태계에 표준화되고 투명한 위험 평가를 도입해 모델 선택과 배포에 필요한 신뢰 기반을 만드는 것이다.

2. 여섯 위험 영역과 반복 가능한 평가 절차

RiskRubric.ai는 투명성, 신뢰성, 보안, 개인정보 보호, 안전성, 평판이라는 여섯 영역을 기준으로 모델마다 일관되고 상호 비교할 수 있는 위험 점수를 산출한다. 평가 과정에는 출력의 일관성과 극단적 조건 처리를 확인하는 1,000건 이상의 신뢰성 시험과 탈옥 및 프롬프트 주입을 겨냥한 200건 이상의 적대적 보안 탐색이 포함된다. 모델 구성 요소에 대한 자동 코드 검사와 학습 데이터 및 학습 방법을 다룬 문서의 종합 검토도 수행된다. 개인정보 보호 영역에서는 데이터 보존과 정보 유출 가능성을 확인하고, 안전성 영역에서는 구조화된 유해 콘텐츠 시험을 실시한다. 저자는 이런 절차가 엄격성과 투명성, 재현 가능성을 중시하는 공개 소스의 가치에 부합하며, 노마 시큐리티의 기능을 이용해 평가 작업을 자동화한다고 설명한다.

3. 점수와 등급을 활용한 배포 판단

각 평가에서는 여섯 위험 영역별로 0점에서 100점까지의 점수가 산출되고, 이를 종합해 에이부터 에프까지의 문자 등급이 제시된다. 단순한 종합 점수에 그치지 않고 실제로 발견된 취약점, 권장되는 완화 조치, 향후 개선 방향도 함께 제공되므로 개발자는 보완해야 할 지점을 구체적으로 확인할 수 있다. 플랫폼의 필터는 조직이 자신의 사용 목적에 중요한 영역을 우선해 모델을 고를 수 있도록 설계되었다. 예를 들어 의료 분야처럼 개인정보 보호가 중요한 환경에서는 해당 영역의 점수가 높은 모델을 찾고, 고객에게 직접 노출되는 서비스에서는 출력 일관성을 나타내는 신뢰성 평가를 우선할 수 있다. 따라서 동일한 평가 결과라도 사용 사례에 따라 서로 다른 위험 기준과 선택 조건을 적용할 수 있다.

4. 양극화된 점수 분포와 중간 등급의 위험

2025년 9월 기준으로 공개 모델과 비공개 모델을 동일한 기준으로 평가한 결과, 일부 위험 영역에서는 공개 모델이 비공개 모델보다 높은 점수를 기록했으며 특히 투명성에서 공개 개발 방식의 강점이 나타났다. 전체 위험 점수는 47점에서 94점까지 분포했고 중앙값은 81점이었으며, 평가 모델의 54%는 에이 또는 비 등급에 속했다. 그러나 낮은 점수의 긴 꼬리가 평균을 끌어내려, 모델들이 비교적 안전한 집단과 중간 수준의 보호만 제공하는 집단으로 양극화되는 모습도 확인되었다. 특히 50점에서 67점 사이의 시 또는 디 등급 모델은 완전히 고장 난 것은 아니지만 전반적인 보호 수준이 중간 이하이고, 보안 공백도 우선 대응이 필요할 만큼 실질적이었다. 저자는 평균적인 모델이 당연히 안전하다고 가정하지 말고, 조달이나 배포 과정에서 예를 들어 75점과 같은 최소 종합 점수 기준을 설정해 취약한 예외 모델이 운영 환경에 들어오지 않도록 하라고 제안한다.

5. 보안 강화와 안전성의 연관성

유해한 출력 방지 등을 다루는 안전성·사회적 영향 영역은 모델 사이에서 점수 차이가 가장 크게 나타난 영역이었다. 동시에 프롬프트 주입 방어와 정책 집행 같은 보안 강화에 투자한 모델은 대체로 안전성 점수도 더 높았다. 이는 탈옥을 막기 위한 핵심 보안 통제가 단순히 공격 기법 하나를 차단하는 데 그치지 않고, 이후 발생할 수 있는 유해한 결과를 줄이는 데에도 직접 연결된다는 분석이다. 원문은 이런 결과를 바탕으로 안전성이 견고한 보안 태세의 부산물처럼 나타난다고 설명한다. 따라서 안전성과 보안을 서로 분리된 평가 항목으로만 취급하기보다, 기반 보안 통제가 안전한 출력과 사회적 피해 억제에 어떤 영향을 주는지 함께 살펴볼 필요가 있다는 것이 평가 결과의 핵심 논점이다.

6. 투명성을 지키는 보호 장치와 공동 개선

강한 보호 장치는 보안을 높일 수 있지만, 설명 없는 거부 응답이나 공개되지 않은 경계로 작동하면 최종 사용자에게 모델을 더 불투명하게 보이게 할 수 있다. 저자는 보안을 강화하면서도 신뢰를 유지하려면 설명 가능한 거부, 출처를 확인할 수 있는 신호, 평가와 결정 과정을 검토할 수 있는 감사 가능성을 함께 제공해야 한다고 제안한다. 공개되고 표준화된 평가는 개발자가 취약한 영역을 확인하고, 공동체가 수정 사항과 보안 보완판, 더 안전하게 미세 조정된 변형 모델을 제공하는 개선 순환을 가능하게 한다. 글은 모델 제출과 기존 모델 추천뿐 아니라 평가 방법론과 점수 체계에 대한 의견도 요청한다. 이어진 문답에서 작성자는 RiskRubric을 지속적 통합·배포 또는 모델 승인 절차에 연계할 수 있으며, 정해진 점수를 넘은 모델은 배포를 빠르게 진행하고 그렇지 않은 모델은 추가 검토나 보완 통제, 용도 제한을 거치게 할 수 있다고 설명한다.

🧾 핵심 주장 / 시사점

• 모델 위험을 하나의 평균값으로만 판단하면 낮은 점수의 모델을 놓칠 수 있으므로, 종합 점수의 최소 기준과 사용 목적별 세부 영역 기준을 함께 적용하는 방식이 제시된다.
• 평가 결과에서 보안 강화와 안전성 점수가 함께 높아진 경향은 프롬프트 주입 방어와 정책 집행 같은 기반 통제가 유해 출력 감소에도 연결된다는 점을 보여준다.
• 보호 장치가 강하더라도 거부 이유와 경계가 드러나지 않으면 신뢰가 약화될 수 있으므로, 보안 통제에는 설명 가능한 거부와 출처 신호 및 감사 가능성이 병행되어야 한다.

✅ 액션 아이템

• 신규 모델 후보는 RiskRubric의 6개 위험 축 0~100 점수와 A~F 등급을 함께 비교해 배포 적합성을 판단한다.
• 총점이 50~67점인 중간 등급 모델은 보호 공백이 드러날 수 있어 배포 전 완화 계획을 우선 확정한다.
• 평가 결과 적용 시 보안 강화와 함께 설명 가능한 거부, 출처 신호, 감사 가능성까지 운영 기준에 반영한다.

❓ 열린 질문

• 허브의 50만 개 이상 모델 중 어떤 분포 구간을 우선적으로 RiskRubric으로 재평가할 것인가?
• 중간 등급(50~67점) 모델에서 보호 공백은 어떤 실패 유형에서 실제 운영 리스크로 연결되나?
• 강한 보호 장치 적용 시 거부 사유·출처 신호·감사 로그를 어떤 수준으로 공개해야 신뢰를 유지할 수 있나?