How Airbnb uses cost per task to operate coding agents on Amazon Bedrock
Quick Summary
Airbnb는 실제 코딩 과제의 평가 점수와 과제당 비용을 함께 보고 Amazon Bedrock에서 사용할 모델과 추론 강도를 정한 뒤, 배포 후 사용량과 비용이 평가 당시의 예상과 일치하는지 확인한다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
Airbnb는 실제 코딩 과제의 평가 점수와 과제당 비용을 함께 보고 Amazon Bedrock에서 사용할 모델과 추론 강도를 정한 뒤, 배포 후 사용량과 비용이 평가 당시의 예상과 일치하는지 확인한다.
📌 핵심 요약
- Airbnb에서는 매주 엔지니어와 엔지니어링 관련 직군 수천 명이 AirChat을 사용한다. 약 5주 동안 새 모델 8개가 출시됐고, 10월 중순에는 엔지니어들이 코딩 에이전트를 통해 보낸 요청의 약 3분의 2가 이 모델들로 향했다.
- Airbnb는 과제 하나에 쓰인 모든 요청의 비캐시 입력·캐시 읽기·캐시 쓰기·출력 토큰에 평가 당시의 공개 정가를 적용한다. 한 모델에서 추론 강도를 낮음에서 높음으로 올리자 점수는 0.8점 상승했고 과제당 비용은 2.5배가 됐다.
- Airbnb는 새 모델 출시 당일 오후에 7개 평가 묶음에 속한 수백 개 과제를 실행했다. 첫 결과는 몇 시간 안에 나왔고, 다음 날 아침에는 모든 묶음의 점수와 과제당 비용을 확보했다.
- 배포 후에는 Amazon CloudWatch 지표와 게이트웨이 기록을 매주 대조한다. 지연 시간이 40% 늘어난 사례에서는 첫 토큰 대기 시간과 초당 출력 토큰 수가 일정했고, 더 자세한 답변을 요구하도록 설정을 바꾼 뒤 요청당 출력 토큰이 50% 늘었다.
- 모델 A는 같은 채점기로 평가한 코딩 과제에서 기존 최고 모델보다 3점 넘게 높은 점수를 받았고 과제당 비용은 비슷했다. Airbnb는 추론 강도 상한을 높음으로 설정해 배포했다. 제공된 원문은 이 대목에서 끝나 배포 후 결과는 확인할 수 없다.
🧩 주요 포인트
- 코딩 과제 하나에 여러 요청이 필요하므로, 낮은 점수를 받은 시도까지 반영한 평균 과제당 비용과 점수가 기본 모델과 추론 강도 상한을 정하는 근거가 된다.
- 고정 과제와 공통 채점기를 미리 준비하면 출시 직후에도 모델을 같은 기준으로 비교할 수 있다. 장기 과제에서는 검토자의 반복 개입이 필요할 때 총점에 상한을 둔다.
- 평가 때의 과제당 비용과 배포 후 지출을 연결하려면 요청당 비용과 사용자당 주간 평균 요청 수를 함께 봐야 한다. 지연 원인을 해석할 때도 첫 토큰 대기 시간, 응답 길이, 생성 속도를 구분해야 한다.
🧠 상세 정리
1. 약 5주 만에 달라진 AirChat의 모델 사용 비중
Airbnb에서는 매주 엔지니어와 엔지니어링 관련 직군 수천 명이 사내 도구 AirChat으로 코딩 에이전트를 사용한다. 엔지니어는 개인 클라우드 개발 환경인 AirDev에서 직접 에이전트를 실행하거나, AirChat Remote에 과제를 맡기고 별도 클라우드 작업 공간에서 실행되는 동안 다른 일을 할 수 있다. 두 경로의 모델 요청은 모두 Airbnb의 대규모 언어 모델 게이트웨이를 거쳐 Amazon Bedrock으로 전달되며, 코드와 모델 입출력은 AWS 안에서 처리된다. 약 5주 동안 새 모델 8개가 출시됐고 10월 중순에는 엔지니어들이 코딩 에이전트를 통해 보낸 요청의 약 3분의 2가 이 모델들에 집중됐다. 출시 때 공개되는 벤치마크만으로는 사내 과제에서 출력 길이와 비용, 지연, 처리 용량이 어떻게 달라질지 알기 어려워 Airbnb는 배포 전 평가와 배포 후 관측을 병행한다.
2. 게이트웨이와 CloudWatch에서 확인하는 비용·용량 신호
게이트웨이는 요청별로 모델, 클라이언트, 팀, 사용자를 기록하고, Airbnb는 이 기록을 집계한 형태로만 비용과 용량 계획에 사용한다. Amazon CloudWatch는 Amazon Bedrock의 토큰 수, 지연 시간, 오류, 호출 제한 지표를 제공하므로 게이트웨이 기록과 함께 보면 어느 모델의 사용량과 처리 상태가 달라졌는지 살필 수 있다. 호출 제한을 조사할 때는 InvocationThrottles와 함께 요청마다 할당량에서 얼마나 많은 토큰을 예약하는지 자체 게시한 지표를 확인한다. Bedrock이 제공하는 EstimatedTPMQuotaUsage는 캐시 쓰기 토큰과 출력 토큰의 할당량 차감 배수를 반영해 여러 추론 API의 분당 토큰 할당량 소비를 추정한다. 이 지표로 한도에 도달하기 전에 경보를 받거나 증액을 요청할 수 있고, 비용 변화는 단가가 다른 네 종류의 토큰 사용량을 나눠 살펴본다.
3. 평가와 운영 데이터를 비교하기 위한 준비
평가할 모델을 사용하는 AWS 리전에서 접근 권한을 확보해야 하며, 첫 토큰 대기 시간인 TimeToFirstToken을 측정하려면 스트리밍 API로 호출해야 한다. 모델 호출 로깅은 기본적으로 꺼져 있어 호출하는 리전마다 활성화해야 하고, 로그에는 입력과 응답 전문 및 호출자 신원이 담길 수 있어 읽기 권한과 보관 기간을 정한다. 호출자 IAM 역할에 붙인 비용 배분 태그는 활성화 전 비용에 소급 적용되지 않으므로 수집 시작 시점이 중요하다. Airbnb는 실제 코드 변경과 리뷰 의견, 원래 티켓에 명시되지 않았던 판단을 토대로 과제를 만들고, 과제마다 시작 저장소 상태와 채점기를 준비하며 모델별 공개 정가에는 날짜를 기록한다. 배포 전에는 에이전트의 접근 범위와 사람의 검토가 필요한 작업을 정하고, 격리된 환경에서 코드를 실행해 변경 사항을 병합하기 전에 테스트한다. Amazon Bedrock Guardrails를 적용한다면 자체 과제에서 효과를 시험하고 추가 지연과 비용도 측정에 포함한다.
4. 과제당 비용과 추론 강도 상한
코딩 에이전트는 한 과제를 마칠 때까지 모델을 여러 번 호출하고, 호출할 때마다 그 시점까지 쌓인 문맥을 다시 읽는다. Airbnb는 각 요청의 비캐시 입력, 캐시 읽기, 캐시 쓰기, 출력 토큰에 실행 당시의 공개 정가를 각각 적용한 뒤 과제에 속한 모든 요청의 비용을 합산한다. 캐시 읽기는 비캐시 입력보다 저렴하고 캐시 쓰기는 모델에 따라 비캐시 입력보다 비쌀 수 있어, 캐시 적중률이 낮아지면 요청당 비용도 오를 수 있다. 모델·추론 강도·에이전트 클라이언트 조합마다 낮은 점수를 받은 시도까지 포함한 평균 과제당 비용을 점수와 나란히 기록한다. 한 모델에서는 추론 강도를 낮음에서 높음으로 바꿨을 때 점수가 0.8점 올랐지만 과제당 비용은 2.5배가 됐다. Airbnb는 이런 비교를 바탕으로 엔지니어가 별도로 선택하지 않을 때 쓸 기본값과 모델별 추론 강도 상한을 정하고, 게이트웨이에서 상한을 적용한다.
5. 새 모델 출시 다음 날 아침까지 마친 7개 평가 묶음
Airbnb는 성격이 같은 고정 과제들을 묶어 7개 평가 묶음을 미리 준비했다. 새 모델이 출시된 날 오후 한 번의 평가 요청을 시작으로 에이전트들이 수백 개 과제를 여러 클라우드 작업 공간에 나누어 실행했고, 각 과제는 채점이 끝나는 대로 결과가 표시됐다. 몇 시간 안에 첫 결과가 나왔으며 다음 날 아침에는 모든 묶음의 점수와 과제당 비용을 확보해 조직 전체의 배포 여부를 판단할 수 있었다. 이런 속도를 낼 수 있었던 이유는 각 과제에 실행 환경과 자원 제한, 채점기, 채점기를 통과해야 하는 참조 해법을 미리 갖춰 두었기 때문이다. 예시로 든 머신러닝 과제는 두 예측 모델 중 기존 운영 시스템을 대체할 만한 후보가 있는지 판단하는 문제였고, 채점기는 고정 데이터에서 매번 정답을 다시 계산해 모든 검사를 통과한 경우에만 보상 1을 부여했다.
6. 장기 과제에서 검토자의 개입을 점수에 반영하는 방식
Airbnb는 평가 실행을 효율화할 수 있어도 가장 어려운 일은 채점기가 따를 기준을 작성하는 것이라고 설명한다. 여러 차례 이어지는 장기 과제에서는 모의 검토자가 중간에 이의를 제기하고, 모델 채점기가 여덟 항목을 각각 0~3점으로 평가한 뒤 가중치를 적용한다. 결과물의 정확성에 25%, 검증 품질과 자율성에 각각 15%를 배정하고, 판단력, 근거 제시와 보고, 가독성, 설계와 작업 특성의 적합성에는 각각 10%, 운영 규율에는 5%를 배정한다. 검토자가 에이전트의 작업을 바로잡기 위해 반복해서 개입해 자율성 점수가 0점 또는 0.5점이면 다른 항목의 점수와 관계없이 총점은 100점 만점에 25점으로 제한된다. 따라서 사람이 거듭 개입해야 완성한 결과물은 표현이나 가독성이 뛰어나도 높은 총점을 받기 어렵다.
7. 지연 40% 증가의 원인을 응답 길이에서 찾은 사례
배포 후 응답이 느려지면 Airbnb는 생성이 시작되기까지의 대기 시간, 응답에 포함된 출력 토큰 수, 생성이 시작된 뒤의 초당 출력 토큰 수를 함께 살핀다. Bedrock은 초당 출력 토큰 수를 기본 지표로 제공하지 않으므로, 출력 토큰 수를 전체 호출 지연에서 첫 토큰 대기 시간을 뺀 생성 시간으로 나눠 계산한다. 소개된 사례에서 전체 지연 시간은 40% 늘었지만 첫 토큰 대기 시간과 초당 출력 토큰 수는 일정했다. 더 자세한 답변을 요구하도록 시스템 설정을 바꾼 뒤 요청당 출력 토큰이 50% 늘었고, 모델이 같은 속도로 더 긴 응답을 작성한 것이 지연 증가를 설명했다. Airbnb는 이런 변화를 추적할 수 있도록 모델 업그레이드와 시스템 입력 변경을 모두 배포로 취급하고, 변경 시점을 운영 지표를 보는 화면에 표시하도록 권한다.
8. 주간 운영 비교와 모델 A의 배포 결정
Airbnb는 매주 모델별 CloudWatch 실행 지표를 게이트웨이 사용 기록과 나란히 놓고 배포 후 변화를 살핀다. 비용과 용량 계획에는 집계한 요청당 비용과 사용자 한 명이 일주일에 보내는 평균 요청 수도 사용하는데, 새 모델을 배포하면 두 값이 모두 달라질 수 있기 때문이다. 배포할 때마다 이 수치를 평가에서 측정한 과제당 비용에 비춰 보고, 실제 사용 양상이 예상과 어긋나면 원인을 조사해 기본값이나 추론 강도 상한을 다시 검토한다. 원문이 모델 A라고 부르는 모델은 동일한 채점기로 평가한 사내 코딩 과제에서 기존 최고 모델보다 3점 넘게 높은 점수를 받았고 과제당 비용은 비슷했다. Airbnb가 모델 A를 배포하고 추론 강도 상한을 높음으로 정했다는 대목에서 제공된 본문이 끝나므로, 이후 실제 사용량과 비용이 평가 결과에 부합했는지는 알 수 없다.
🧾 핵심 주장 / 시사점
- 추론 강도의 가치는 점수 상승 폭과 과제 전체에 드는 추가 비용을 함께 봐야 판단할 수 있다. 0.8점 상승에 비용이 2.5배가 된 사례는 특정 모델에서 측정한 결과다.
- 출시 다음 날 아침까지 평가를 마칠 수 있었던 데에는 과제와 채점 기준을 미리 정해 둔 점이 중요했다. 특히 장기 과제의 자율성 상한은 사람이 얼마나 개입했는지를 최종 점수에 반영한다.
- 응답 지연과 지출은 각각 여러 요인의 영향을 받는다. 지연은 대기 시간·응답 길이·생성 속도로, 지출은 요청당 비용·사용자당 요청 수로 나눠 보면 배포 뒤 무엇이 변했는지 해석하기 쉽다.
✅ 액션 아이템
- 기본 모델과 추론 강도 상한을 정할 때 낮은 점수를 받은 시도까지 포함한 평균 과제당 비용과 평가 점수를 함께 비교한다.
- 배포 후에는 요청당 비용과 사용자당 주간 평균 요청 수를 함께 살펴 과제당 비용에서 예상한 지출과 실제 사용 양상을 대조한다.
- 지연 시간이 늘면 첫 토큰 대기 시간, 응답 길이, 생성 속도를 나눠 확인한다.
❓ 열린 질문
- 추론 강도를 높였을 때 평가 점수가 0.8점 오르고 과제당 비용이 2.5배가 된 모델에서 Airbnb는 최종적으로 어느 강도를 기본값으로 정했는가?
- 7개 평가 묶음 각각에서 새 모델의 점수와 과제당 비용은 기존 모델과 어떻게 달랐는가?
- 모델 A를 배포한 뒤 요청당 비용과 사용자당 주간 평균 요청 수는 어떻게 달라졌는가?