Architecture patterns for fast session startup on Amazon Bedrock AgentCore runtime
Quick Summary
Amazon Bedrock AgentCore runtime V2는 초기화 상태를 스냅샷으로 복원해 세션 시작을 단축하며, 정적 작업의 사전 실행과 메모리·파일 배치, build hook, 사용자 참여 시점의 세션 사전 시작을 요구 지연에 맞춰 선택하도록 제안한다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
Amazon Bedrock AgentCore runtime V2는 초기화 상태를 스냅샷으로 복원해 세션 시작을 단축하며, 정적 작업의 사전 실행과 메모리·파일 배치, build hook, 사용자 참여 시점의 세션 사전 시작을 요구 지연에 맞춰 선택하도록 제안한다.
📌 핵심 요약
- Amazon Bedrock AgentCore runtime은 세션마다 격리된 microVM을 제공하는 완전 관리형 서버리스 환경이다. platformVersion을 V2로 설정하면 환경을 한 번 초기화해 스냅샷으로 저장하고 새 세션마다 복원하며, 사용하지 않는 메모리도 회수한다.
- V2는 런타임 생성·업데이트 중 초기화를 수행하며, 첫 정상 GET /ping은 120초 안에 도착해야 한다. 생성·업데이트에는 스냅샷 구축으로 몇 분이 걸리고, AgentCore Python SDK에서는 app.run() 이전 작업이 초기화에 해당한다.
- 스냅샷에 담긴 프로세스 메모리와 /dev/shm의 데이터는 복원 직후 메모리 속도로 접근할 수 있다. 반면 운영체제 파일 캐시는 동결 전에 비워지므로, 초기화 중 파일을 읽기만 하면 새 세션의 첫 파일 읽기 비용은 남는다.
- Amazon CloudWatch의 Latency는 첫 바이트까지의 시간이고 OverheadLatency는 플랫폼 처리 시간이다. 두 지표의 차이로 코드 처리 시간을 구분하고, 첫 요청과 후속 요청의 차이 및 P90·P99·TM90 등을 활용해 병목을 판단해야 한다.
- 정적 import·클라이언트·데이터·도구 초기화를 app.run() 이전으로 옮기면 첫 요청의 작업을 줄일 수 있지만, 보유 메모리는 스냅샷 크기와 세션별 비용을 늘린다. 약 2초가 허용되면 V2와 사전 초기화를 우선 적용하고, 프로세스에 유지하기 어려운 대용량 파일·CLI·브라우저에는 build hook을, 1초 미만이 필요하고 사용자의 사전 참여 신호가 있으면 세션 사전 시작을 검토한다.
🧩 주요 포인트
- 초기화 비용의 이동 → V2에서는 정적 작업을 요청 처리에서 스냅샷 구축으로 옮길 수 있으므로, 지연 초기화보다 준비된 객체와 클라이언트를 복원하는 구조가 유리하다.
- 저장 위치에 따른 복원 차이 → 메모리·/dev/shm은 즉시 활용되지만 일반 파일의 첫 읽기는 남으므로, 데이터 유지 방식과 별도 프로세스 실행 방식이 세션 시작 성능을 좌우한다.
- 지연 목표와 비용의 동시 판단 → Latency와 OverheadLatency로 병목을 구분하고, 약 2초 또는 1초 미만이라는 요구에 맞춰 초기화·build hook·세션 사전 시작을 선택하되 메모리 비용까지 비교해야 한다.
🧠 상세 정리
1. V2가 바꾸는 세션 시작과 적용 기준
Amazon Bedrock AgentCore runtime은 코드 검토, 청구 처리, 장시간 무인 실행부터 사람이 첫 응답을 기다리는 대화형 경험까지 지원하는 완전 관리형 서버리스 실행 환경이다. 각 세션은 독립된 microVM에서 실행되고, 작업이 없으면 실행 규모가 0까지 줄어들며, 세션이 소비한 리소스에 대해서만 비용을 지불한다. platformVersion을 V2로 설정하면 세션마다 컨테이너를 초기화하는 대신 한 번 준비한 환경을 스냅샷으로 저장해 복원하므로, 시작 시간이 더 짧고 일관되며 사용하지 않는 메모리도 회수한다. 원문은 대부분의 에이전트에는 V2 전환만으로 충분하지만, 약 2초의 시작 시간도 느린 채팅·음성 경험이나 대용량 파일을 사용하는 에이전트에는 추가 구조 변경이 필요할 수 있다고 설명한다. 약 2초가 허용되면 사전 초기화, 별도 도구나 대용량 파일에는 build hook, 1초 미만이 필요하면서 사용자의 사전 참여 신호가 있으면 세션 사전 시작을 선택 기준으로 제시한다.
2. 생성·업데이트 시 구축하는 스냅샷
V1에서는 새 세션을 시작할 때 Amazon Elastic Container Registry의 이미지를 가져오고 컨테이너를 실행한 뒤 초기화 코드를 수행하며, 이미지 가져오기가 지배적인 비용이어서 이미지 크기가 커질수록 콜드 스타트가 길어진다. V2에서는 런타임을 생성하거나 업데이트할 때 새로운 microVM에서 컨테이너를 시작하고, 120초 안에 도착해야 하는 첫 정상 GET /ping을 기다린다. 이후 스냅샷 크기를 줄이기 위해 운영체제 파일 캐시를 비우고 microVM을 동결한 다음 메모리와 디스크를 저장하므로, 생성·업데이트에는 이제 몇 분이 걸린다. 원문에서 초기화는 /ping이 정상 상태를 보고하기 전까지의 모든 작업이며, AgentCore Python SDK에서는 app.run() 이전 작업을 뜻한다. Node.js 등으로 자체 HTTP 서버를 실행한다면 초기화가 끝난 뒤에만 정상 상태를 보고해야 하고, 새 세션은 이렇게 준비한 스냅샷을 별도의 microVM으로 복원해 실행한다.
3. 메모리는 복원되지만 파일 캐시는 유지되지 않음
V2에서 프로세스는 동결된 지점부터 재개되므로, 당시 메모리에 있던 import 결과와 객체, 클라이언트를 새 세션이 이어받는다. /dev/shm 같은 RAM 기반 파일 시스템에 둔 내용도 메모리 상태로 복원되지만, 일반 파일을 초기화 중 읽기만 한 경우에는 파일 캐시가 삭제되므로 그 읽기 작업의 효과가 새 세션에 남지 않는다. 이미지 파일은 블록을 처음 읽을 때 스냅샷 저장소에서 지연 로딩되고 이후 호스트에 더 가까운 위치에 캐시되므로, 정적 데이터를 객체로 보유하는 것과 파일을 읽고 버리는 것은 결과가 다르다. 초기화 중 만든 클라이언트는 엔드포인트·자격 증명 해석 결과를 이어받을 수 있지만 네트워크 연결은 복원 후 낡은 상태가 되므로 스냅샷 전에 닫아야 한다. 별도 프로세스로 실행된 뒤 종료되는 CLI나 브라우저 바이너리는 읽었던 내용이 프로세스 메모리에 유지되지 않기 때문에, 단순한 초기화 실행만으로 새 세션의 파일 읽기를 없애지는 못한다.
4. 플랫폼 지연과 코드 실행 시간의 분리
에이전트 요청의 지연에는 세션을 준비하는 플랫폼 시간과 모델 호출, 도구 호출, 하위 에이전트 실행, 응답 스트리밍 등 코드 내부 작업이 함께 포함되므로 먼저 어느 쪽이 지배적인지 구분해야 한다. Amazon CloudWatch의 AWS/Bedrock-AgentCore 네임스페이스에서 Latency는 첫 바이트까지의 시간이고, OverheadLatency는 microVM 시작과 스냅샷 복원 등 플랫폼에 속하는 부분이다. Latency에서 OverheadLatency를 빼면 코드에 해당하는 시간을 구분할 수 있지만, V2의 초기화는 스냅샷 구축 중 한 번 실행되므로 요청 지표에는 포함되지 않는다. 초기화 시간은 모듈 시작부터 app.run() 직전까지 직접 측정해 빌드 로그에 기록하며, 이 시간은 요청 지연 대신 생성·업데이트가 READY에 도달하는 시간에 더해진다. 새 세션의 OverheadLatency가 높으면 세션을 미리 시작하는 방식을 살펴보고, 같은 세션의 첫 요청에서만 코드 시간이 길면 AgentCore Observability의 사용자 정의 span으로 도구 준비·파일 로딩·늦은 import를 추적해 초기화로 옮길 대상을 찾는다.
5. 운영 조건과 클라이언트 체감에 맞춘 측정
원문은 단순 평균이 느린 요청을 가릴 수 있으므로 P90·P99 같은 백분위수나, 가장 빠른 90%의 요청을 평균하고 느린 꼬리를 제외하는 TM90 같은 절사 평균을 보고하도록 권한다. OverheadLatency에는 새 세션뿐 아니라 이미 실행 중인 세션에 대한 요청도 포함되므로, 비교하는 실행 사이에서 새 세션을 시작하는 요청의 비중이 비슷해야 한다. 배포 직후 소수 세션만 시험하는 대신 운영 환경에서 예상하는 새 세션 생성률로 테스트해야 실제 조건에 가까운 판단이 가능하다. 클라이언트부터의 네트워크 시간을 포함하려면 클라이언트에서 호출 소요 시간을 측정하고 핸들러가 반환한 실행 시간을 빼며, 각 시간 차이를 같은 머신에서 측정하므로 클라이언트와 microVM의 시계 차이를 맞출 필요는 없다. 스트리밍에서는 아주 작은 이벤트가 수백 바이트의 출력이 쌓일 때까지 지연될 수 있어, 첫 이벤트까지의 시간이 실제 세션 시작보다 길게 관측될 수 있다는 점도 구분해야 한다.
6. 정적 객체와 클라이언트를 초기화 단계로 이동
일반적인 콜드 스타트 최적화는 import를 늦추고 초기화를 줄이지만, V2에서는 초기화가 스냅샷 구축 때 한 번 실행되므로 정적 작업에 대해서는 반대 접근이 유리하다. 라이브러리를 import하는 데 그치지 않고 객체를 생성하면 의존 모듈까지 로딩해 활성 메모리에 유지할 수 있으며, 외부 라이브러리를 사용하는 로컬 도구도 처음 호출될 때가 아니라 초기화 단계에서 준비한다. 클라이언트도 미리 생성하면 엔드포인트·자격 증명 해석 결과와 관련 모듈을 복원할 수 있고, boto3는 첫 호출에 재연결하지만 일부 클라이언트는 낡은 소켓을 먼저 시도해 수백 밀리초를 더 소비할 수 있으므로 연결 처리가 필요하다. 프롬프트, 스킬의 front matter, 설정, 작은 인덱스 같은 정적 데이터는 읽고 버리지 말고 객체에 보유하며, 동적 데이터는 스냅샷에 담는 방식의 대상으로 볼 수 없다고 구분한다. 예제는 prompts.json과 DynamoDB 클라이언트를 로딩하고 us.anthropic.claude-haiku-5-5를 사용하는 BedrockModel 및 Agent를 app.run() 전에 생성해, 새 세션이 준비된 객체를 이어받는 구조를 보여준다.
7. 별도 프로세스·도구 체인·대용량 파일의 처리
요청 시 이미지에서 큰 파일을 읽는 에이전트는 작은 로컬 모델의 가중치, 임베딩, 데이터셋, 큰 라이브러리, 자동화용 브라우저, 코딩용 CLI 도구 체인 때문에 시작 지연이 두드러질 수 있다. TypeScript 프로젝트를 컴파일할 때처럼 작은 파일을 많이 읽는 작업도 같은 영향을 주며, 호스팅된 모델을 호출하고 라이브러리 몇 개만 사용하는 에이전트는 주로 import와 클라이언트 초기화가 중요하다. 핸들러에서 매번 하위 프로세스를 시작하면 새 세션마다 바이너리와 라이브러리를 읽으므로, 가능하다면 언어 서버나 import를 마친 작업 프로세스를 초기화 중 시작해 유지하고 파이프나 소켓으로 통신한다. tsc처럼 자체 파일을 읽는 별도 프로그램은 필요한 도구 체인을 초기화 중 /dev/shm 또는 ramfs에 복사해 메모리에서 읽도록 할 수 있다. 또한 uv pip install은 기본적으로 바이트코드를 컴파일하지 않으므로 UV_COMPILE_BYTECODE=1 또는 pip install --compile을 사용하면 늦은 import 과정의 소스 컴파일을 줄일 수 있고, 프로세스에 유지하기 어려운 파일과 도구에는 build hook을 통한 적재·예열이 제안된다.
8. 지연 감소와 스냅샷·메모리 비용의 절충
새 세션의 첫 바이트까지 걸리는 시간은 microVM을 시작하고 스냅샷을 복원하는 시간에 핸들러 실행 시간을 더한 값이므로, 핸들러의 작업만 줄였다고 전체 시작 시간이 반드시 개선되는 것은 아니다. 초기화로 옮긴 객체와 데이터를 메모리에 계속 보유하면 스냅샷이 커지고, 각 세션에서 그 메모리에 대한 비용도 지불해야 한다. 따라서 변경 전후의 전체 세션 시작 시간을 측정해 핸들러의 비용이 복원 단계로 이동했을 뿐인지, 실제 사용자 지연이 줄었는지를 확인해야 한다. 원문이 제시하는 선택 기준은 약 2초를 허용하는 경우 V2와 app.run() 이전 초기화를 우선하고, 대용량 파일·CLI·브라우저를 프로세스에 유지하기 어려우면 build hook을 활용하는 것이다. 1초 미만이 필요하면서 사용자가 앱이나 채팅 창을 여는 사전 신호가 있다면 그 시점에 백그라운드로 세션을 시작하는 방식을 제안하지만, 제공된 본문에는 build hook과 세션 사전 시작의 구체적인 구현 절차까지 담겨 있지는 않다.
🧾 핵심 주장 / 시사점
- V2에서는 초기화 시간을 줄이는 것 자체보다 반복되는 세션별 작업을 스냅샷 구축 단계로 옮기는 것이 중요해지며, 생성·업데이트 시간과 요청 지연을 분리해 판단해야 한다.
- 같은 파일을 초기화 중 읽더라도 객체나 /dev/shm에 유지하는지에 따라 복원 효과가 달라지므로, 데이터의 저장 위치와 수명이 최적화의 핵심 변수다.
- 세션 시작 최적화의 성공 여부는 핸들러 시간만으로 판단할 수 없으며, 스냅샷 복원 시간·메모리 비용·운영 환경의 새 세션 비중을 함께 살펴야 한다.
✅ 액션 아이템
- Amazon CloudWatch의 Latency와 OverheadLatency를 분리하고 첫 요청·후속 요청의 차이 및 P90·P99·TM90으로 병목 확인.
- V2에서 정적 import·클라이언트·데이터·도구 초기화를 app.run() 이전으로 옮기고, 전체 세션 시작 지연과 메모리 비용의 변화 비교.
- 약 2초와 1초 미만의 지연 요구, 대용량 파일·CLI·브라우저의 유지 제약, 사용자 참여 신호를 기준으로 build hook과 세션 사전 시작의 적용 여부 검토.
❓ 열린 질문
- Latency와 OverheadLatency를 구분했을 때 현재 병목은 플랫폼 처리 시간인가, 첫 요청의 코드 처리 시간인가?
- 정적 작업을 app.run() 이전으로 옮길 때 스냅샷 크기와 메모리 비용 증가에 비해 전체 세션 시작 지연은 얼마나 줄어드는가?
- 요구 지연은 약 2초인가, 1초 미만인가, 그리고 세션 사전 시작에 활용할 사용자 참여 신호가 있는가?