prompt-injection-defense 태그 문서 7개

Tag7건Article 7

이 태그와 연결된 문서를 한곳에서 모아보고, 함께 자주 등장하는 연관 태그까지 이어서 탐색할 수 있습니다.

연관 태그

AI 에이전트가 코드를 작성·실행할 때 생기는 프롬프트 인젝션과 데이터 유출 위험을 줄이려면, 격리 파일시스템·네트워크 제한·자원 제한·재사용 통제·커널 수준 격리를 갖춘 샌드박스를 선택해야 한다.

미상

구글 딥마인드는 수많은 AI 에이전트가 온라인에서 서로 지시하고 협력할 때 생길 새로운 안전 위험을 연구하기 위해 외부 연구 생태계 조성에 나섰다.

AI 에이전트는 챗봇을 넘어 도구 사용과 반복적 의사결정으로 실제 업무를 수행하지만, 그 유용성만큼 인간 통제, 목표 정렬, 프롬프트 인젝션 방어, 투명성·프라이버시를 함께 설계해야 한다.

OpenAI는 프롬프트 인젝션이 단순한 악성 지시 탐지를 넘어 사회공학적 조작에 가까워지고 있으며, AI 에이전트 보안은 입력 필터링만이 아니라 권한 제한·민감 정보 전송 통제·사용자 확인 같은 구조적 방어로 설계되어야 한다고 설명한다.

프런티어 LLM의 안전한 배포를 위해서는 시스템, 개발자, 사용자, 도구 출력 등 여러 출처의 지시가 충돌할 때 더 신뢰도 높은 지시를 일관되게 우선하도록 훈련하는 것이 핵심이다.

OpenAI는 AI 에이전트가 링크를 자동으로 열 때 URL 자체에 민감정보가 실려 유출되는 위험을 줄이기 위해, 이미 공개 웹에서 관측된 URL만 자동으로 가져오도록 하는 보호 방식을 설명한다.

OpenAI는 프롬프트 인젝션을 대화형 AI가 외부 콘텐츠의 악성 지시에 속아 사용자의 의도와 다른 행동을 하게 되는 새로운 보안 과제로 설명하며, 모델 훈련·모니터링·제품 보호장치·사용자 통제를 결합한 다층 방어가 필요하다고 강조한다.