Four layers of context engineering for production AI agents: How Deep Insight applies them in working code

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Deep Insight는 컨텍스트 격리, 프롬프트 제어, 파일 외부화, 독립 검증의 네 계층으로 운영용 AI 에이전트의 컨텍스트 부담을 줄이며, 제시된 예시에서 스크립트당 컨텍스트 토큰 약 95% 감소와 스킬 온디맨드 로딩에 따른 시스템 프롬프트 약 97% 축소를 보고한다.

📌 핵심 요약

• 원문은 Amazon Bedrock에서 제공되는 Claude Sonnet 4.5의 200K 토큰 컨텍스트도 복잡한 분석·보고서 작업에는 부족할 수 있으며, 판매 데이터 분석과 DOCX 보고서 생성 사례가 15분 동안 150K 토큰 이상을 소비한다고 설명한다.
• Strands Agents SDK와 Amazon Bedrock AgentCore 기반의 오픈소스 다중 에이전트 분석 솔루션 Deep Insight는 에이전트별 컨텍스트를 격리하고 압축된 결과만 공유하며, 사용량이 가장 많은 Coder도 총 컨텍스트를 25K 토큰 미만으로 유지한다고 설명한다.
• 프롬프트는 Coder의 응답을 1,000~1,500토큰, Validator를 800토큰, Reporter를 1,000토큰으로 제한하고, 독립 실행 가능한 스크립트와 Supervisor의 작업 완료 규칙을 통해 불필요한 맥락과 미완료 작업의 누적을 줄인다.
• write_and_execute_tool은 코드 작성과 실행을 하나로 묶고 코드 대신 실행 요약을 반환한다. 원문은 105줄의 코드를 약 3줄의 요약으로 남기는 예시에서 스크립트가 컨텍스트에 추가하는 토큰을 약 95% 줄인다고 설명한다.
• 원문 도입부는 스킬 온디맨드 로딩으로 시스템 프롬프트를 약 97% 축소했다고 밝히고, 독립 검증 에이전트와 안전장치를 네 번째 계층으로 제시한다. 다만 제공된 본문은 write_and_execute_tool 구현 도입부에서 끊겨 이 두 항목의 상세 구현과 측정 조건은 확인할 수 없다.

🧩 주요 포인트

1. 컨텍스트 격리와 응답 예산을 함께 적용 → 개별 에이전트 내부의 정보 누적과 Supervisor로 전달되는 결과의 팽창을 각각 제어한다.
2. 독립 실행 가능한 스크립트와 파일 외부화 → 이전 코드의 대화 내 보존 필요성을 낮추고, write_and_execute_tool의 약 95% 감소 사례처럼 실제 데이터 대신 짧은 참조·요약을 유지한다.
3. 네 계층은 앞선 계층의 한계를 보완하는 구조 → 독립 검증과 안전장치가 최종 방어선이지만, 약 97% 시스템 프롬프트 축소와 함께 제공된 본문만으로는 상세 구현이나 일반적인 재현 조건을 판단하기 어렵다.

🧠 상세 정리

1. 긴 분석 작업에서 컨텍스트가 병목이 되는 이유

컨텍스트 엔지니어링은 LLM의 제한된 컨텍스트 창에 들어가는 정보를 최적화해 에이전트가 성능을 유지하도록 하는 작업이다. 원문은 Amazon Bedrock에서 제공되는 Claude Sonnet 4.5의 200K 토큰 창도 데이터 분석과 보고서 생성 같은 복합 작업에서는 빠르게 소진될 수 있다고 설명한다. 판매 데이터 분석과 DOCX 보고서 생성 요청은 데이터 탐색, 범주별 분석, 시계열 차트 다섯 개 생성, 통계 검증, 최종 보고서 작성으로 이어지며, 원문은 이 사례가 15분 동안 150K 토큰 이상을 소비한다고 서술한다. 이 과정을 하나의 컨텍스트에 쌓으면 실행 도중 한도를 넘거나 오래된 정보 때문에 정확도가 낮아지고, 오류가 발생하면 전체 파이프라인을 다시 실행해야 할 수 있다. 또한 토큰이 늘수록 중요한 정보를 정확히 회상하는 능력이 떨어지는 컨텍스트 부패와 토큰당 과금에 따른 비용 증가가 함께 문제로 제시된다.

2. Deep Insight가 적용하는 네 계층의 역할

이 글은 운영용 다중 에이전트 시스템을 다루는 시리즈의 두 번째 글이며, 첫 번째 글에서 소개한 아키텍처 위에 컨텍스트 관리 기법을 어떻게 구현하는지 설명한다. 참조 구현인 Deep Insight는 Strands Agents SDK와 Amazon Bedrock AgentCore를 기반으로 만든 오픈소스 다중 에이전트 데이터 분석 솔루션이다. 원문은 Anthropic의 엔지니어링 지침과 Strands Agents SDK 기능을 연결해 아키텍처 차원의 격리, 프롬프트를 통한 유입 제어, 파일시스템으로의 외부화, 독립 검증과 안전장치라는 네 계층을 제시한다. 각 계층은 앞선 계층만으로 해결되지 않는 문제를 보완하며, 검증과 안전장치는 오류와 컨텍스트 초과에 대응하는 최종 방어선으로 설명된다. 따라서 컨텍스트 관리는 단일 프롬프트를 짧게 만드는 작업을 넘어 아키텍처, 행동 규칙, 도구 구현, 검증을 함께 설계하는 과제로 제시된다.

3. 다중 에이전트 구조로 작업별 컨텍스트 격리

첫 번째 계층의 원칙은 전문 에이전트마다 별도의 컨텍스트 창을 주고, 오케스트레이터에는 압축된 결과만 전달하는 것이다. Deep Insight는 Coordinator, Planner, Plan Reviewer, Supervisor와 Coder, Validator, Reporter, Tracker, Auditor 등의 Tool Agent로 계층을 구성한다. 단일 에이전트에서는 사용자 요청부터 데이터 탐색, 분석, 차트 생성, 검증, 보고까지 모든 정보가 한곳에 쌓이지만, 역할을 나누면 각 에이전트는 필요한 정보만 받고 완료 알림과 짧은 요약으로 다른 에이전트에 결과를 전달한다. 원문은 이 방식으로 사용량이 가장 많은 Coder도 총 컨텍스트를 25K 토큰 미만으로 유지한다고 설명한다. 이러한 구조는 리드 에이전트가 전문 하위 에이전트에 일을 맡기는 Anthropic의 오케스트레이터·워커 패턴과 연결되며, Strands Agents SDK의 agents-as-tools 패턴이 프레임워크 수준의 격리를 제공한다고 소개된다.

4. 공유 상태에는 전체 대화 대신 압축된 결과 보존

에이전트를 분리하더라도 전체 대화를 서로 전달하면 격리의 효과가 줄어들기 때문에, 원문은 공유 정보의 최소화를 핵심 조건으로 강조한다. Deep Insight의 Python 딕셔너리 shared_state는 messages, clues, full_plan, history라는 네 항목만 저장한다. messages에는 이전 에이전트의 최종 메시지만, clues에는 각 에이전트의 압축 요약을, full_plan에는 Planner가 만들고 Tracker가 갱신하는 체크리스트를, history에는 에이전트 이름과 메시지의 짧은 기록을 담는다. 특히 clues는 고정된 CLUES_FORMAT을 사용해 수만 토큰에 이를 수 있는 전체 대화 대신 핵심 결과만 전달하도록 구성된다. 이는 작업의 연속성에 필요한 정보는 남기면서도 각 에이전트가 수행한 모든 중간 과정을 다음 단계의 컨텍스트에 복제하지 않도록 하는 구현이다.

5. 응답 예산과 공통 형식으로 Supervisor의 유입량 제어

두 번째 계층은 에이전트별 컨텍스트를 격리해도 긴 응답이 Supervisor에 계속 쌓일 수 있다는 한계에서 출발한다. Deep Insight는 시스템 프롬프트에 Coder 1,000~1,500토큰, Validator 800토큰, Reporter 1,000토큰이라는 최대 응답 예산을 명시한다. Coder의 분석 코드는 파일에, Validator의 검증 결과는 citations.json에, Reporter의 보고서는 DOCX 파일에 저장되므로 응답은 상태와 완료 작업, 주요 결과를 요약하는 데 집중할 수 있다. 모든 에이전트는 Status, Completed Tasks, Key Insights, Generated Files라는 공통 형식을 사용하고, 완료 작업에는 Tracker가 대응시킬 수 있도록 FULL_PLAN의 정확한 문구를 쓰게 한다. 원문은 가장 강력한 모델과 단순한 프롬프트로 시작한 뒤 실제로 관찰한 실패 사례에 따라 지침을 추가하라는 Anthropic의 권고를 이러한 제어 방식의 배경으로 제시한다.

6. 독립 실행 스크립트와 작업 완료 판단 규칙

프롬프트 제어는 응답 길이뿐 아니라 이전 대화를 계속 보존해야 하는 의존성도 줄이는 데 사용된다. Coder에는 스크립트 사이에서 변수가 유지되지 않는다는 규칙을 명시하고, 각 스크립트가 필요한 모듈을 직접 가져오고 데이터를 다시 읽도록 요구한다. 원문 예시에서는 이전 실행의 total 변수를 그대로 참조하면 NameError가 발생하지만, 캐시 파일을 읽어 값을 다시 계산하는 스크립트는 독립적으로 실행할 수 있다. 이러한 독립성은 과거 코드를 계속 컨텍스트에 남겨둘 필요를 줄여 이전 코드를 제거할 수 있게 한다. 한편 Supervisor에는 현재 에이전트 구역의 모든 체크리스트 항목이 [x]로 표시되기 전에는 다음 에이전트로 넘어가지 말라는 규칙을 두며, 원문은 이 판단에 Tracker의 갱신 내용과 계획 해석이 필요하므로 코드만으로 표현하기 어렵다고 설명한다.

7. 코드 작성과 실행을 묶어 파일로 외부화

세 번째 계층은 에이전트 격리와 짧은 응답 지침만으로는 긴 코드 자체가 컨텍스트에 들어오는 문제를 해결하기 어렵다는 점을 다룬다. Coder가 분석 계획에 따라 Python 코드를 작성하고 시각화를 생성할 때, 파일 쓰기와 실행을 별도 도구로 처리하면 스크립트마다 약 100줄의 코드가 컨텍스트에 추가되고 누적량은 1,000줄을 넘을 수 있다고 설명한다. Deep Insight의 write_and_execute_tool은 파일 작성과 실행을 하나로 묶어 실제 코드를 파일에 두고 실행 결과의 짧은 요약만 반환하도록 설계됐다. 원문은 105줄을 작성하고 다섯 범주 분석을 성공적으로 끝냈다는 내용을 약 3줄로 남기는 예시를 들며, 이 경우 스크립트가 컨텍스트에 추가하는 토큰이 약 95% 감소한다고 제시한다. 이 수치는 해당 예시에 근거한 설명이며, 제공된 본문은 함수 선언과 문서 문자열의 시작 부분에서 끊겨 구체적인 함수 본문은 확인할 수 없다.

8. 제시된 효과와 제공 본문에서 확인 가능한 범위

원문 도입부는 기법을 함께 적용하면 측정 가능한 차이가 난다고 설명하며, 단일 작성·실행 도구의 약 95% 토큰 감소와 스킬 온디맨드 로딩의 약 97% 시스템 프롬프트 축소를 대표 결과로 제시한다. 다만 제공된 본문에서 구체적으로 설명된 범위는 컨텍스트 격리, 프롬프트 규칙, 파일 외부화의 첫 번째 구현 사례까지다. 파일 외부화에는 네 가지 기법이 있다고 예고하지만 나머지 기법은 나타나지 않으며, 스킬 로딩에 따른 축소 효과도 상세한 구현이나 측정 조건 없이 도입부의 주장으로 제시된다. 네 번째 계층인 독립 검증 에이전트와 안전장치 역시 오류 포착과 컨텍스트 초과 방지라는 역할은 명시되지만 실제 동작 코드는 포함되지 않는다. 따라서 제공 자료로는 네 계층의 전체 설계 방향과 일부 작동 사례를 정리할 수 있으나, 모든 계층의 구현 완결성이나 보고된 감소율의 일반적인 재현 조건까지 확인할 수는 없다.

🧾 핵심 주장 / 시사점

• 역할별 컨텍스트 격리만으로는 Supervisor의 정보 누적을 막을 수 없으므로, 공유 결과의 압축과 응답 예산이 함께 작동해야 한다.
• 독립 실행 가능한 스크립트는 실행 의존성을 명확히 하는 동시에 과거 코드를 컨텍스트에서 제거할 수 있게 해, 코드 작성 방식과 컨텍스트 관리가 연결됨을 보여준다.
• 약 95%와 약 97%라는 수치는 서로 다른 대상의 감소를 뜻한다. 전자는 예시 스크립트가 추가하는 컨텍스트 토큰이고 후자는 시스템 프롬프트 크기이므로, 전체 작업 비용이나 정확도의 동일한 개선율로 해석할 근거는 없다.

✅ 액션 아이템

• Deep Insight의 컨텍스트 격리와 Coder·Validator·Reporter 응답 예산을 함께 검토해 Supervisor의 정보 누적을 줄이는 적용 가능성 판단.
• 독립 실행 가능한 스크립트와 write_and_execute_tool을 활용하는 파일 외부화 방식의 적용 가능성 검토.
• 약 95% 컨텍스트 토큰 감소와 약 97% 시스템 프롬프트 축소의 측정 조건 및 독립 검증·안전장치의 상세 구현 확인.

❓ 열린 질문

• Deep Insight에서 작업 복잡도가 달라져도 Coder의 총 컨텍스트 25K 토큰 미만과 에이전트별 응답 예산을 유지할 수 있는가?
• write_and_execute_tool의 약 95% 컨텍스트 토큰 감소는 다른 길이의 스크립트에서도 어느 정도 재현되는가?
• 스킬 온디맨드 로딩의 약 97% 시스템 프롬프트 축소는 어떤 측정 조건에서 얻어졌으며, 독립 검증 에이전트와 안전장치는 구체적으로 어떻게 구현되는가?