🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

메타가 공개한 라마 가드 4는 텍스트와 이미지를 함께 검사해 유해한 입력과 출력을 분류하는 120억 매개변수의 다국어 안전 모델이며, 프롬프트 주입과 탈옥을 탐지하는 라마 프롬프트 가드 2도 함께 제공된다.

📌 핵심 요약

• 라마 가드 4는 텍스트뿐 아니라 이미지와 텍스트가 결합된 입력을 분석하고, 사용자 요청과 모델 응답 양쪽의 부적절한 콘텐츠를 탐지하도록 설계됐다.
• 이 모델은 라마 4 스카우트에서 라우팅 전문가와 라우터 계층을 제거하고 공유 전문가만 유지해 만든 120억 매개변수의 밀집 모델로, 24기가바이트 비디오 메모리를 갖춘 단일 그래픽처리장치에서 실행할 수 있다.
• 폭력 범죄, 개인정보, 지식재산권, 혐오, 자해, 성적 콘텐츠, 선거, 코드 인터프리터 악용 등 14개 위험 범주를 분류하며, 추론할 때 검사하지 않을 범주를 사용자가 제외할 수 있다.
• 이전 세대와 비교하면 영어·단일 이미지·다중 이미지 평가에서 종합 점수가 향상됐고, 특히 다중 이미지 평가에서는 재현율과 종합 점수가 크게 높아졌다.
• 라마 프롬프트 가드 2는 8천600만 및 2천200만 매개변수 모델로 제공되며, 프롬프트 주입과 탈옥 시도를 정상 또는 악성으로 빠르게 이진 분류한다.

🧩 주요 포인트

1. 라마 가드 4는 텍스트뿐 아니라 이미지와 텍스트가 결합된 입력을 분석하고, 사용자 요청과 모델 응답 양쪽의 부적절한 콘텐츠를 탐지하도록 설계됐다.
2. 이 모델은 라마 4 스카우트에서 라우팅 전문가와 라우터 계층을 제거하고 공유 전문가만 유지해 만든 120억 매개변수의 밀집 모델로, 24기가바이트 비디오 메모리를 갖춘 단일 그래픽처리장치에서 실행할 수 있다.
3. 폭력 범죄, 개인정보, 지식재산권, 혐오, 자해, 성적 콘텐츠, 선거, 코드 인터프리터 악용 등 14개 위험 범주를 분류하며, 추론할 때 검사하지 않을 범주를 사용자가 제외할 수 있다.
4. 이전 세대와 비교하면 영어·단일 이미지·다중 이미지 평가에서 종합 점수가 향상됐고, 특히 다중 이미지 평가에서는 재현율과 종합 점수가 크게 높아졌다.
5. 라마 프롬프트 가드 2는 8천600만 및 2천200만 매개변수 모델로 제공되며, 프롬프트 주입과 탈옥 시도를 정상 또는 악성으로 빠르게 이진 분류한다.

🧠 상세 정리

1. 생성형 모델 운영에서 필요한 안전 계층

운영 환경에 배치된 시각·언어 모델은 텍스트나 이미지로 구성된 탈옥 프롬프트에 악용되어 유해한 결과를 생성할 수 있다. 문제가 되는 콘텐츠는 직접적인 위해나 부적절한 표현뿐 아니라 개인정보 침해와 지식재산권 위반까지 폭넓게 포함된다. 이를 줄이기 위한 안전 모델은 사용자 입력, 이미지, 그리고 본 모델이 생성한 응답을 별도로 평가한다. 위험하다고 판정된 사용자 메시지는 본 모델에 전달하지 않고, 생성된 답변이 위험한 경우에는 서비스가 외부에 노출되기 전에 걸러낼 수 있다. 따라서 안전 검사는 생성 전 입력 차단과 생성 후 출력 검토를 함께 수행하는 운영 계층으로 배치된다.

2. 라마 가드 4의 기능과 위험 분류 범위

라마 가드 4는 입력 또는 출력으로 사용되는 텍스트와 이미지에서 부적절한 콘텐츠를 탐지하는 다중양식 안전 모델이다. 텍스트만 있는 대화와 이미지가 결합된 대화를 모두 평가할 수 있으며, 여러 언어도 이해하도록 설계됐다. 분류 대상에는 폭력·비폭력 범죄, 성 관련 범죄, 아동 성 착취, 명예훼손, 전문적 조언, 개인정보, 지식재산권, 무차별 무기, 혐오, 자살과 자해, 성적 콘텐츠, 선거 및 코드 인터프리터 악용이 포함된다. 이 가운데 코드 인터프리터 악용은 텍스트 입력만을 대상으로 한다. 서비스 운영자는 추론 시점에 필요하지 않은 범주를 제외하여 실제 정책과 용도에 맞게 검사 범위를 조정할 수 있다.

3. 밀집 모델로 변환된 구조와 학습 구성

라마 가드 4는 전문가 혼합 구조가 아니라 밀집 순전파 조기 융합 구조를 사용하는 120억 매개변수 모델이다. 기반이 된 라마 4 스카우트에는 계층마다 하나의 공유 밀집 전문가와 열여섯 개의 라우팅 전문가가 있지만, 라마 가드 4에서는 라우팅 전문가와 라우터 계층을 모두 제거하고 공유 전문가만 남겼다. 이렇게 구성한 밀집 모델은 사전 학습된 공유 전문가의 가중치로 초기화됐으며 별도의 추가 사전 학습은 수행하지 않았다. 후속 학습에는 최대 다섯 장의 이미지를 포함하는 다중 이미지 자료와 이전 라마 가드 3 학습에도 사용된 사람 주석 다국어 자료가 활용됐다. 전체 학습 자료에서 텍스트 전용 자료와 다중양식 자료의 비율은 3대 1이며, 모델은 24기가바이트 비디오 메모리를 갖춘 단일 그래픽처리장치에서 실행할 수 있다.

4. 이전 세대와 비교한 성능 변화

영어 평가에서 라마 가드 4는 재현율 69퍼센트, 오탐률 11퍼센트, 종합 점수 61퍼센트를 기록했다. 라마 가드 3과 비교하면 영어 재현율은 4퍼센트포인트 높아지고 오탐률은 3퍼센트포인트 낮아졌으며, 종합 점수는 8퍼센트포인트 향상됐다. 단일 이미지에서는 재현율 41퍼센트와 종합 점수 38퍼센트로 각각 10퍼센트포인트와 8퍼센트포인트 개선됐다. 다중 이미지에서는 재현율 61퍼센트, 오탐률 9퍼센트, 종합 점수 52퍼센트였고, 이전 세대보다 재현율은 20퍼센트포인트, 종합 점수는 17퍼센트포인트 높아졌다. 다국어 평가는 재현율 43퍼센트, 오탐률 3퍼센트, 종합 점수 51퍼센트로, 재현율과 오탐률이 각각 2퍼센트포인트와 1퍼센트포인트 낮아졌지만 종합 점수는 변하지 않았다.

5. 입력·출력·이미지를 검사하는 사용 방식

허깅 페이스 트랜스포머스를 이용할 때는 전처리기와 조건부 생성 모델을 불러온 뒤, 대화 형식의 메시지를 채팅 템플릿으로 변환해 판정을 생성한다. 본문의 폭탄 제조 질문 예시는 위험 판정과 함께 무차별 무기 범주를 뜻하는 항목으로 분류됐다. 반대로 해당 무기 범주와 일부 범죄 범주를 제외하도록 설정한 예시에서는 같은 질문이 안전한 것으로 출력되어, 범주 설정이 실제 판정에 직접 반영됨을 보여준다. 검사 대상은 사용자 입력에 한정되지 않으며, 사용자 메시지와 어시스턴트의 생성 답변을 함께 전달해 모델 출력의 유해성도 판별할 수 있다. 대화에 이미지 주소를 포함하면 텍스트와 이미지를 함께 검사할 수 있고, 채팅 템플릿은 제외된 범주를 감시 대상 목록에서 제거한 시스템 지시문을 구성한다.

6. 프롬프트 주입과 탈옥을 맡는 보조 분류기

라마 프롬프트 가드 2는 일반적인 콘텐츠 위험 분류와 별도로 프롬프트 주입 및 탈옥 시도를 탐지하는 분류기 계열이다. 8천600만 매개변수 모델과 더 빠르고 작은 2천200만 매개변수 모델이 제공되며, 이전 세대보다 성능이 개선되고 적대적 공격에 견디는 토큰화 방식이 적용됐다. 분류 체계도 정상과 악성의 단순한 이진 판정으로 정리되어 서비스의 사전 입력 검사에 활용하기 쉽다. 본문에서는 파이프라인 인터페이스와 토크나이저·문장 분류 모델 인터페이스를 각각 사용하는 방법을 제시한다. 두 예시 모두 이전 지시를 무시하라는 문장을 입력했을 때 악성으로 판정했으며, 라마 가드 4와 함께 모델 모음 및 대화형 실습 자료도 제공된다.

🧾 핵심 주장 / 시사점

• 라마 가드 4는 사용자 입력만 차단하는 도구가 아니라 생성된 응답까지 다시 검사할 수 있어, 생성 전후에 안전 검사를 배치하는 이중 방어 흐름을 지원한다.
• 위험 범주를 추론 시점에 선택적으로 제외할 수 있으므로 서비스별 정책에 맞춘 조정이 가능하지만, 제외된 범주는 실제로 감시 대상에서 빠져 같은 입력의 판정이 달라질 수 있다.
• 다중 이미지 평가의 개선 폭이 가장 컸지만 다국어 재현율은 이전 세대보다 낮아졌으므로, 공개된 종합 수치만으로 모든 언어와 입력 유형에서 일관되게 향상됐다고 볼 수는 없다.

✅ 액션 아이템

• 라마 가드 4를 운영에 적용할 때 사용자 요청·모델 응답을 함께 점검하고 14개 위험군별 제외 규칙을 정한다.
• 라우팅 전문가·라우터를 제거해 만든 120억 매개변수 밀집형 구조를 단일 24GB GPU 조건에 맞춰 배포 자원과 연동해 점검한다.
• 영어·단일 이미지·다중 이미지 지표 개선을 기준으로 기존 안전 모델과 라마 가드 4의 다중 이미지 처리 성능을 우선 비교한다.

❓ 열린 질문

• 사용자 요청과 모델 응답 동시 검사에서 어떤 위험군을 제외해야 오탐을 줄이면서 효과를 유지할 수 있을까?
• 다중 이미지 평가에서 재현율·종합 점수 개선이 실서비스 유입 패턴에서도 동일한 성능 이득으로 이어질지 어떻게 검증할 수 있을까?
• 라마 프롬프트 가드 2의 8천600만·2천200만 파라미터 이진 분류 모델을 어떤 구간에서 어떤 조합으로 운용하면 탈옥 탐지 반응성을 확보할 수 있을까?