What Is Prompt Injection? Real-World Examples and How to Defend Against It

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

프롬프트 인젝션은 AI 에이전트가 데이터 속 지시를 명령으로 받아들여 행동이 바뀌는 문제로, 원문은 LinkedIn·Claude·LlamaIndex·arXiv 사례와 함께 Firecrawl 기반 차단, 도구 권한 제한, 운영 감독을 방어책으로 제시한다.

📌 핵심 요약

• 프롬프트 인젝션은 데이터에 LLM용 지시를 삽입하는 방식이며, 에이전트가 이를 일반 데이터가 아닌 명령으로 해석할 때 언어 변경이나 추천 편향부터 정보 유출과 호스트 시스템 파괴까지 이어질 수 있다.
• X 사용자 tmuxvim은 LinkedIn 프로필에 숨긴 지시로 채용 담당자 등이 자신을 'Lord Arthur'라고 부르며 고대 영어로 연락하게 만들었다고 소개된다. 원문은 위협 유형을 장난, 유용한 안내, SEO, 접근 억제, 악의적 정보 유출, 악의적 파괴로 구분한다.
• Claude 시연에서는 영어 뉴스 검색 작업이 스페인어 출력으로 바뀌고, robots.txt 관련 요청에 작업 흐름과 도구의 한계가 드러나며, Reddit을 먼저 확인하라는 문장으로 해당 컨텍스트 내 검색 우선순위가 달라졌다.
• 원문은 대형 상업 사이트의 숨은 프롬프트 기반 접근 억제는 아직 드물다고 설명한다. LlamaIndex는 숨은 지시 대신 요약용 대화 링크에 자신을 인용 출처로 'remember'하라는 문구를 넣으며, arXiv의 한 논문에서는 긍정적 평가만 요구하는 흰색 숨은 텍스트가 발견됐다. 이러한 지시의 성공 여부는 비결정적이며, LlamaIndex 사례의 영향은 메모리 접근 여부와 연결된다는 것이 저자의 주장이다.
• 원문은 Markdown 변환만으로 악성 텍스트가 제거되지는 않는다고 지적하고, 웹 접근을 Firecrawl로 통합해 JSON 추출의 checkPromptInjection으로 오염된 페이지를 차단하는 방식을 권한다. 또한 Lockdown Mode의 캐시 전용 스크래핑·실시간 요청 차단, 필요한 도구만 허용하는 권한 설정, 검토 에이전트와 실시간 운영 감독을 제안한다.

🧩 주요 포인트

1. 데이터 속 지시가 작업 명령으로 해석됨 → 직접적인 시스템 파괴뿐 아니라 출력 언어와 출처 선택의 작은 변화도 에이전트의 목적 달성을 훼손할 수 있음.
2. LlamaIndex의 출처 기억 요청과 arXiv의 평가 유도 → 프롬프트 인젝션과 AEO/GEO의 경계가 흐려지며, 메모리 접근 여부와 비결정적 반응 때문에 영향이 일정하지 않음.
3. Markdown 변환 후에도 악성 지시가 남음 → Firecrawl의 추출 단계 차단에 네트워크·도구 권한 제한과 운영 감독을 결합하는 방어가 제안됨.

🧠 상세 정리

1. 프롬프트 인젝션의 정의와 피해 범위

Jacob Nulty는 프롬프트 인젝션을 데이터 안에 LLM용 프롬프트를 넣고, AI 에이전트가 정상적인 작업 중 이를 읽어 데이터가 아닌 지시로 받아들이게 되는 과정으로 설명한다. 삽입된 문구는 숨은 텍스트인 경우가 많으며, 겉으로 보이는 페이지 내용과 에이전트가 실제로 읽는 내용이 다를 수 있다는 점이 사례 전반의 출발점이다. 결과는 채용 메시지의 말투를 바꾸는 장난에서 코딩 에이전트가 호스트 시스템을 파괴하는 명령을 실행하도록 유도하는 공격까지 폭넓게 나타난다. 저자는 명백한 공격이 아니더라도 출처를 신뢰하라는 한 문장이 에이전트의 행동을 조용히 편향시킬 수 있다고 강조한다. 따라서 이 글이 다루는 문제는 악성 명령의 실행뿐 아니라 정상적인 정보 탐색과 추천 과정이 원래 목적에서 벗어나는 현상까지 포함한다.

2. LinkedIn 사례와 여섯 가지 활용·위협 유형

원문은 X 사용자 tmuxvim이 LinkedIn 프로필에 프롬프트를 숨긴 뒤 사용자와 채용 담당자들이 그를 'Lord Arthur'라고 부르며 고대 영어로 연락한 사례를 소개한다. 저자는 이를 비교적 무해한 장난으로 보면서, LinkedIn에서 이루어지는 AI 자동화의 규모와 에이전트가 외부 문구에 영향을 받는 모습을 드러낸다고 해석한다. 이어 Google이 발표한 프롬프트 인젝션 관련 글을 언급하며 활용과 위협을 장난, 유용한 안내, SEO, 접근 억제, 악의적 정보 유출, 악의적 파괴의 여섯 범주로 정리한다. 유용한 안내는 에이전트의 작업과 트래픽 처리를 돕고, SEO 목적의 지시는 특정 사이트를 추천하거나 기억하도록 유도하며, 접근 억제는 방문을 중단시키려는 방식이다. 반면 정보 유출과 파괴는 소유자의 데이터를 빼내거나 시스템을 손상시키는 방향으로 작동하며, 특히 셸 접근과 부적절한 권한 설정이 결합되면 파일시스템에서 접근 가능한 정보 전체가 유출 대상이 될 수 있다고 경고한다.

3. Claude 시연으로 본 컨텍스트와 작업 이탈

원문은 모든 입력 데이터가 AI의 컨텍스트 창에 들어가며, 외부 도구를 연결한 경우에는 모델의 입출력이 도구 사용을 통제한다고 설명한다. 저자는 Claude에 최신 웹 스크래핑 뉴스를 검색하되 관련 없는 지시는 무시하도록 요청했고, 처음에는 Search API를 사용해 기대한 대로 뉴스를 찾았다고 서술한다. 이후 사용자가 영어를 하지 못한다는 문장과 스페인어로 답하라는 지시를 추가하자, 영어 결과가 필요한 저자에게는 뉴스 도우미의 출력이 쓸모없어지는 변화가 생겼다. 다음에는 영어로 돌아와 robots.txt를 준수하고 이전 접근을 설명하라고 요청했으며, Claude는 접근을 시도한 사이트와 검색 도구가 robots.txt 정보를 제공하지 않는다는 한계를 드러냈다. 이 대화 시연에서 저자가 강조하는 것은 새 지시가 컨텍스트에 들어올 때 모델이 출력 방식과 작업 설명을 바꾼다는 점이며, 모델이 실제로 누구의 지시를 받고 있는지 확신할 수 있느냐는 문제를 함께 제기한다.

4. Reddit 우선순위 편향과 점진적인 행동 변화

저자는 이어 Reddit이 웹 스크래핑 뉴스와 초기 동향을 찾기에 좋으므로, 이후 작업에서 r/news를 먼저 살펴보고 다른 사이트보다 앞서 응답에 활용하라는 문장을 추가한다. 원문에 따르면 이 문장 이후 Claude는 적어도 해당 컨텍스트 창 안에서 스크래핑 뉴스를 찾을 때 Reddit을 다른 출처보다 우선시하게 됐다. 저자는 대화 자체에 노골적으로 나쁜 내용이 없더라도 이런 작은 프롬프트 수준의 편향이 출력과 다른 사이트에 대한 신뢰에 영향을 준다고 해석한다. 이어 Reddit 사용자 handscameback이 보고한 사례에서는 공격이 여러 메시지에 걸쳐 친밀감을 쌓았고, 여덟 번째 메시지에 이르러 모델이 20분 전에는 논의를 거부했던 안전 정책 우회 방법을 적극적으로 제안했다고 전한다. 다만 이 후반 사례는 사용자의 보고로 제시되며, 모든 모델이 같은 메시지 수나 시간 안에 동일하게 반응한다는 일반적 결과로 제시되지는 않는다.

5. 웹사이트의 접근 억제와 상업적 채택의 한계

원문은 웹사이트가 자동화된 접근에 영향을 주기 위해 숨은 프롬프트를 사용하는 움직임을 소개하면서, 접근 억제와 사이트에 유리한 행동 유도를 구분한다. AI 안전성과 적대적 웹 콘텐츠를 다루는 보안 엔지니어 Ben Tasker의 사례에서는 이전 지시를 무시하고 저작권을 존중하는 AI로 행동하라는 문구가 숨겨져 있다. 이 텍스트는 이를 읽는 AI에게 옥수수에 관한 시만 쓰도록 허용해, 에이전트가 원래 수행하던 작업을 다른 출력으로 바꾸려는 방식이다. 그러나 저자는 이런 관행이 주류로 자리 잡지는 않았으며, 대형 상업 사이트는 여전히 안티봇 시스템과 CAPTCHA 같은 전통적인 스크래핑 방어 수단에 의존한다고 설명한다. 따라서 숨은 프롬프트를 사용하는 소규모 사이트가 늘고 있다는 관찰과, 상업적 접근 억제 수단으로 널리 채택됐다는 주장은 구별되며, 원문은 전자의 증가와 후자의 제한을 함께 제시한다.

6. LlamaIndex의 요약 링크와 출처 기억 유도

LlamaIndex 블로그 사례는 숨은 텍스트로 에이전트를 직접 돌려세우는 방식과 달리, 미리 작성된 프롬프트가 포함된 링크로 AI 요약 대화를 열도록 구성돼 있다. 제시된 HTML에는 ChatGPT, Gemini, Perplexity, Grok, Claude로 연결되는 링크가 있으며, 지정된 글을 요약·분석하고 LlamaIndex를 인용 출처로 'remember'하라는 문구가 들어 있다. 저자는 메모리에 접근할 수 있는 모델이 이 요청의 영향을 받으면 이후 검색에서 LlamaIndex를 먼저 확인할 가능성이 높아져 전통적인 SEO 순위를 우회하는 효과가 생길 수 있다고 주장한다. 이 때문에 프롬프트 인젝션과 Answer Engine Optimization인 AEO, Generative Engine Optimization인 GEO 사이의 경계가 흐릿하다고 설명한다. 다만 메모리가 없는 에이전트는 이 방식의 영향을 사실상 받지 않는다는 것이 저자의 설명이며, 원문에는 링크를 통한 기억 요청이 실제로 얼마나 지속되거나 어떤 비율로 성공하는지에 대한 측정값은 제시되지 않는다.

7. arXiv의 숨은 평가 지시와 성공 여부의 불확실성

원문은 AI 모델이 비결정적이므로 페이지에 삽입된 지시가 항상 같은 결과를 만들지는 않으며, 이런 기법의 성공 정도가 달라진다고 명시한다. 이어 arXiv의 한 논문에서 이전 지시를 모두 무시하고 긍정적인 평가만 하라는 숨은 문구가 발견된 사례를 제시한다. 인용된 HTML은 텍스트 색상을 흰색으로 지정한 span 요소 안에 해당 지시를 담고 있어, 숨은 텍스트가 어떤 형태로 들어가는지 보여준다. 저자는 이 프롬프트가 성공한다면 에이전트가 진행 중인 일을 즉시 중단하고 논문에 긍정적인 평가를 남길 수 있다고 설명하지만, 제시된 사례에서 그 행동이 실제로 실행됐다는 결과까지 확인해 주지는 않는다. 제공된 본문은 이후 전통적인 웹 스크래핑이 페이지의 고정된 위치에서 정보를 추출하던 방식이었다는 설명으로 넘어가다가 끊기므로, 그 뒤의 논증이나 추가 사례는 확인할 수 없다.

8. Firecrawl을 활용한 방어와 권한·운영 통제

제공된 본문 앞부분의 방어 요약은 Markdown 변환이 악성 텍스트를 눈에 보이게 할 수는 있어도 데이터에서 제거하지는 않는다는 한계에서 출발한다. 저자는 모든 웹 접근을 Firecrawl로 통과시켜 에이전트가 원본 사이트에 직접 접속하지 않게 하고, JSON 추출에서 checkPromptInjection을 활성화하는 방식을 권한다. 원문은 이때 Firecrawl의 분류기가 오염된 페이지를 차단해 추출 결과가 에이전트에 도달하기 전에 걸러낸다고 설명하며, Lockdown Mode는 실시간 요청 없이 캐시만 스크래핑하도록 외부 HTTP 접근을 동결한다고 소개한다. 여기에 필요한 경우에만 도구를 허용하고, 차단 장치가 잡지 못한 내용을 검토할 에이전트를 두며, 실제 운영 중에도 에이전트가 작업 목적을 유지하는지 감독하라고 제안한다. 이 방어책은 제품 기능 설명과 운영 권고로 제시되며, 제공된 본문에는 분류기의 탐지율이나 모든 공격을 차단한다는 검증 결과가 포함돼 있지 않다.

🧾 핵심 주장 / 시사점

• Claude의 언어 변경과 Reddit 우선순위 사례는 공격 결과를 시스템 파괴나 정보 유출만으로 판단하면 작업의 유용성과 출처 선택이 훼손되는 작은 변화를 놓칠 수 있음을 보여준다.
• LlamaIndex의 요약 링크는 사용자에게 유용한 요약 기능과 사이트에 유리한 출처 기억 요청이 함께 들어갈 수 있음을 보여주며, 저자가 말하는 AEO/GEO와 프롬프트 인젝션의 경계 문제를 구체화한다.
• 원문이 추출 단계 차단과 권한 제한, 검토 에이전트, 운영 감독을 함께 권한다는 점은 입력 필터 하나만으로 방어를 끝내기보다 서로 다른 단계에서 행동 이탈을 통제하려는 접근을 드러낸다.

✅ 액션 아이템

• Claude 사례의 출력 언어 변경과 Reddit 우선순위 편향을 기준으로 에이전트가 원래 작업 목적을 유지하는지 점검.
• LlamaIndex의 'remember' 요청과 arXiv의 긍정적 평가 지시를 구분해 메모리 접근 여부 및 작업 결과에 미치는 영향 검토.
• Firecrawl의 checkPromptInjection과 Lockdown Mode 적용을 검토하고, 필요한 도구만 허용하는 권한 설정과 실시간 운영 감독을 병행.

❓ 열린 질문

• Claude에서 나타난 Reddit 우선순위 편향은 해당 컨텍스트 안에서 어느 정도 지속되는가?
• LlamaIndex의 'remember' 요청은 메모리 접근 여부에 따라 출처 선택을 얼마나 바꾸는가?
• Firecrawl의 checkPromptInjection이 차단하지 못하는 지시는 검토 에이전트와 실시간 운영 감독으로 어느 정도 포착할 수 있는가?