Articleaws.amazon.com·2026년 11월 17일·0

Cut generative AI costs: Code for rules, models for judgment

Quick Summary

AWS는 생성형 AI 비용을 줄이려면 모델 선택에 앞서 호출 자체가 필요한지 따지고, 규칙으로 판정할 수 있는 일은 코드에, 판단이 필요한 일은 요구 조건을 충족하는 모델에 맡기라고 권한다.

Cut generative AI costs: Code for rules, models for judgment 관련 대표 이미지

🖼️ 인포그래픽

Cut generative AI costs: Code for rules, models for judgment 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

Cut generative AI costs: Code for rules, models for judgment의 핵심 내용을 4단계로 요약한 인포그래픽
Cut generative AI costs: Code for rules, models for judgment 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 요약

AWS는 생성형 AI 비용을 줄이려면 모델 선택에 앞서 호출 자체가 필요한지 따지고, 규칙으로 판정할 수 있는 일은 코드에, 판단이 필요한 일은 요구 조건을 충족하는 모델에 맡기라고 권한다.

📌 핵심 요약

  • 프로토타입에서 입력 검증·형식 변환·라우팅까지 대규모 언어 모델(LLM)에 맡기면 운영 규모에서 요청 건수에 따라 비용이 늘어난다. 연속된 모델 호출은 한 번에 수백 밀리초씩 지연을 더하고, 같은 입력에도 출력이 달라질 수 있어 테스트와 감사가 어려워진다.
  • 각 단계에서 기존 규칙으로 판정할 수 있는지, 모델이 재사용할 규칙을 한 번 작성할 수 있는지, 고정된 선택지에서 답을 고르는 일인지 차례로 확인한다. 일부만 규칙으로 처리할 수 있으면 규칙을 먼저 적용하고, 개방형 작업에는 요구 조건을 충족하는 Amazon Bedrock 모델을 사용한다.
  • 라우팅·분류에서는 허용된 답을 제한하고 불확실한 사례를 상위 모델로 넘긴다. 소형 모델의 ‘unsure’ 응답이나 임베딩 유사도를 상위 모델 호출의 기준으로 쓰려면 해당 업무의 레이블 데이터로 검증해야 하며, 환불 한도 같은 권한 판단은 규칙에 둔다.
  • AWS Step Functions는 모델 호출 전에 요청을 분기하고, AWS Lambda는 더 복잡한 규칙을 실행하며, Amazon API Gateway는 REST API 요청의 형식을 검증할 수 있다. 규칙이 요청의 95%를 처리하면 20건 중 1건만 모델에 도달한다는 수치는 가정에 따른 계산 예시다.
  • 모델이 필요한 작업은 정답이 표시된 평가 세트로 측정할 품질 하한, 비용 상한, p95 또는 p99 지연 목표, 데이터 레지던시 같은 규정 준수 제약을 먼저 정한다. AWS는 작업별 평가를 지속적 통합에서 실행하고 모델 교체를 설정으로 되돌릴 수 있게 하라고 권한다.

🧩 주요 포인트

  1. 규칙으로 성공 여부를 판정할 수 있는 단계는 실행 코드로도 옮길 수 있는 경우가 많다. 호출을 줄이면서 결과의 재현성과 감사 가능성도 높이는 기준이다.
  2. 고정된 선택지에서는 분류 결과와 그 결과를 신뢰할 근거가 별개다. 해당 업무의 레이블 데이터가 있어야 어떤 사례를 상위 모델로 넘길지 정할 수 있다.
  3. 모델 교체의 판단 기준은 작업별 품질 하한이다. 더 저렴한 후보라도 하한에 미달하면 성능 퇴행으로 처리하며, 교체 후에는 설정을 통해 이전 모델로 복귀할 수 있다.

🧠 상세 정리

1. 프로토타입의 편의가 운영 비용으로 이어지는 과정

프로토타입에서는 한 단계가 모델 호출로 잘 작동하면 다음 단계에도 같은 방식을 적용하기 쉽고, 요청이 적을 때는 개별 호출의 비용이 눈에 띄지 않는다. 하지만 입력 형식 확인, 요청 본문 변환, 처리 경로 선택에까지 호출이 붙으면 운영 환경에서는 요청이 늘 때마다 단순한 처리에 드는 지출도 함께 늘어난다. 호출을 연달아 실행하면 각 호출에서 수백 밀리초의 지연이 더해지고, 동일한 입력에 대한 응답이 달라질 수 있어 테스트 결과를 재현하거나 감사 과정에서 판단을 설명하기도 어려워진다. AWS는 새 모델이 출시될 때마다 어느 모델로 바꿀지 논의하기에 앞서, 해당 단계에서 모델 호출을 없앨 수 있는지부터 검토하라고 제안한다.

2. 고객 지원 업무에 적용한 세 가지 판단 질문

첫 질문은 형식·스키마·키워드·범위처럼 명시한 규칙으로 성공 여부를 판정할 수 있는지다. 고객 지원에서 주문번호의 형식은 바로 검사할 수 있고, 메시지의 의도는 명확한 키워드가 있는 경우만 먼저 분기한 뒤 나머지에 대해 판단을 이어갈 수 있다. 둘째 질문은 모델이 규칙을 한 번 작성해 줄 수 있는지로, 배송사 이메일에서 운송장 번호를 추출하는 정규표현식을 모델이 초안으로 만들고 사람이 검토해 코드에 반영하는 사례가 여기에 해당한다. 셋째 질문은 답이 고정된 목록에 있는지로, 네 개 지원 대기열 중 하나를 고르는 일은 선택지를 제한한 호출로 처리하고 불확실한 경우를 상위 모델로 넘긴다. 고객에게 보낼 답장 작성처럼 세 질문으로 해결되지 않는 개방형 작업은 요구 조건을 충족하는 가장 작은 Amazon Bedrock 모델에 맡기는 것이 글의 예시다.

3. 규칙 실행과 모델 호출의 비용·정확성 차이

AWS의 비교에 따르면 결정적 코드는 일반적으로 호출당 비용이 모델보다 몇 자릿수 낮고 한 자릿수 밀리초 이내에 실행되는 반면, 모델은 토큰을 기준으로 비용이 발생하고 호출에 수백 밀리초가 걸린다. 코드는 작성된 규칙을 정확히 적용하고 규칙을 바꿀 때까지 같은 방식으로 동작하므로, 소스 관리 기록에서 특정 판단의 근거를 확인할 수 있다. 모델은 잘 정의된 규칙에서도 오류를 낼 수 있고 모델 버전을 교체할 때 동작이 달라질 수 있으며, 온도를 0으로 설정해도 같은 입력에 항상 같은 답을 내는 것은 보장되지 않는다. Amazon Bedrock의 모델 평가 기능과 Amazon Bedrock Guardrails는 이런 위험의 측정과 통제를 돕는다. AWS는 규제 요건이 있는 업무에서 규칙이 선호되는 이유를 설명하며, 인수 테스트를 규칙으로 쓸 수 있다면 대개 처리 단계 자체도 규칙으로 구현할 수 있다고 본다.

4. 고정된 선택지에서 답을 고르는 네 가지 방식

규칙만으로 모든 사례를 가르기 어렵더라도 답이 정해진 목록에 있다면, 필요한 것은 자유 형식의 문장보다 허용된 선택지 하나와 불확실한 사례를 식별할 신호다. 소형 Amazon Bedrock 모델의 구조화 출력은 네 개 대기열에 ‘unsure’를 더해 답을 제한할 수 있지만, ‘unsure’는 모델의 자기 판단이므로 보정된 확률처럼 해석하기 전에 레이블 데이터와 대조해야 한다. 임베딩 방식은 입력과 가장 가까운 레이블 예시를 찾아 유사도를 기준으로 삼으며, Amazon SageMaker AI에서 학습한 분류기는 레이블이 있는 학습 데이터를 확보하면 낮은 지연과 비용으로 클래스별 확률을 반환한다. 직접 호스팅하는 실험적 오픈 소스 모델 Strands Decider는 보정된 신뢰도를 제공하며, 프로젝트 README에 따르면 짧은 분류 과제에서 신뢰도 0.9 이상인 답은 약 95%가 맞았다. AWS는 이 실험 결과도 운영 적용 전에 자체 데이터로 검증하고, 어떤 방식을 택하든 환불 한도 같은 권한 판단은 규칙으로 처리하라고 권한다.

5. 규칙을 먼저 실행해 모델에 도달하는 요청 줄이기

AWS가 설명하는 방식은 모델 간 라우팅보다 한 단계 앞에서 시작한다. 고객 메시지에 환불이나 비밀번호 재설정을 명확히 나타내는 문구가 있으면 키워드 규칙으로 해당 처리 경로를 선택하고, 규칙으로 결론을 내릴 수 없는 메시지만 선택지가 제한된 판단 단계로 보낸다. AWS Step Functions의 Choice 상태는 JSONata 조건으로 모델 호출 전에 분기할 수 있고, 더 복잡한 검증과 스키마 검사는 AWS Lambda에서 수행할 수 있으며, Amazon API Gateway의 REST API 요청 검증은 잘못된 형식의 입력을 후속 연산 전에 거부할 수 있다. 전체 요청의 95%가 규칙에서 해결된다고 가정하면 모델에 도달하는 요청은 20건 중 1건이므로, 이 단계의 절감 효과는 어떤 모델을 고르느냐와 별도로 생긴다. AWS는 이 비율을 실제 워크로드에서 측정한 벤치마크가 아닌 산술 예시로 제시한다.

6. 모델이 작성한 규칙과 구조화 출력의 검증 범위

정규표현식이나 JSON 스키마로 반복 작업을 표현할 수 있다면, 모델에 초안 작성을 한 번 맡기고 검토한 규칙을 소스 관리에 반영해 이후 요청부터 코드의 속도와 비용으로 실행할 수 있다. 모델이 작성한 정규표현식은 정상 입력과 잘못된 입력을 모두 시험하고, 특정 입력에서 처리 시간이 과도하게 늘어날 수 있는 패턴이 있는지도 검토해야 한다. 모델 실행이 필요한 경우 Amazon Bedrock의 구조화 출력은 응답을 지정한 JSON 스키마에 맞춰 별도의 파싱 로직 없이 읽을 수 있게 하지만, 응답 내용이 맞는지는 따로 확인해야 한다. AWS는 수치 범위와 길이 제한을 코드에서 검사하고, 설정 파일에 규칙을 둘 때에도 정규표현식·스키마 검사·키워드 목록·범위 검사처럼 미리 정한 연산만 허용하라고 권한다.

7. 모델 비교 전에 정해야 할 작업별 요구 조건

AWS는 모델이 필요하다고 판단한 뒤에는 작업의 품질 하한을 충족하면서 비용이 낮고 빠른 모델을 고르라고 권한다. 품질 하한은 정답을 아는 레이블 예시로 구성한 평가 세트에서 측정하고, 비용 상한은 요청 한 건이나 성공한 결과 한 건에 지불할 수 있는 금액으로 정하며, 지연 목표는 사용 경험이 감당할 수 있는 p95 또는 p99 응답 시간으로 표현한다. 데이터 레지던시 같은 규정 준수 요건은 성능 비교에 앞서 일부 후보를 제외하는 조건이 될 수 있다. Amazon Bedrock은 하나의 API에서 여러 모델 제품군과 크기를 제공하고, Amazon Bedrock Intelligent Prompt Routing은 지원되는 제품군 안에서 요청에 맞는 모델을 선택한다. Amazon Bedrock Model Distillation은 특정 용도에서 큰 모델의 지식을 더 작고 저렴한 모델로 이전하는 선택지다.

8. 평가로 검증하고 되돌릴 수 있는 모델 교체

모델 제공업체가 새 모델을 폭넓은 벤치마크에서 평가하더라도, 실제 서비스가 해결하는 개별 작업에는 고유한 품질 하한과 지연 목표가 있다. 더 큰 모델이 해당 작업의 결과를 개선하지 못하면서 비용과 지연만 늘릴 수도 있으므로, AWS는 교체를 결정하기 전에 새 후보를 같은 작업의 정답 데이터와 요구 조건에 대조하라고 권한다. 이를 반복할 수 있도록 작업마다 레이블이 있는 기준 평가 세트를 유지하고 지속적 통합에서 실행하며, 비용이 낮아진 후보라도 품질 하한을 넘지 못하면 성능 퇴행으로 처리한다. 모델 선택을 설정 플래그로 관리하면 교체 결정을 되돌릴 수 있고, 규칙으로 처리하는 단계는 규칙의 결과를 정답 데이터와 직접 비교해 검증할 수 있다.

🧾 핵심 주장 / 시사점

  • 모델 단가와 모델에 도달하는 요청 비율은 서로 다른 비용 요인이다. 규칙으로 먼저 처리할 수 있는 요청의 비율을 알면 모델 교체에 앞서 호출 감소 효과를 가늠할 수 있다.
  • 구조화 출력은 답의 형식을 제한하지만, 허용된 대기열 중 잘못된 곳을 고를 가능성은 남는다. 분류의 정확성과 불확실성 신호의 신뢰도는 해당 업무의 정답 데이터로 판단해야 한다.
  • 레이블이 있는 작업별 평가 세트는 도입 시 후보를 비교하는 데 쓰이고, 이후에는 모델 교체로 품질이 하락하는 경우를 찾아내는 기준이 된다.

✅ 액션 아이템

  • 입력 검증·형식 변환·라우팅에서 기존 규칙으로 처리할 부분과 모델이 재사용할 규칙을 한 번 작성할 부분을 식별한다.
  • ‘unsure’ 응답과 임베딩 유사도가 실제 오분류를 얼마나 잘 구분하는지 해당 업무의 레이블 데이터로 검증하고 상위 모델 호출 기준을 정한다.
  • Amazon Bedrock 후보 모델을 작업별 품질 하한, 비용 상한, p95 또는 p99 지연 목표, 규정 준수 제약에 대조해 평가한다.

❓ 열린 질문

  • 실제 요청 중 AWS Step Functions의 규칙으로 해결되는 비율은 얼마이며, 그 결과 모델 호출은 얼마나 줄어드는가?
  • 해당 업무의 레이블 데이터에서 ‘unsure’ 응답과 임베딩 유사도는 각각 상위 모델로 넘겨야 할 사례를 얼마나 잘 식별하는가?
  • Amazon Bedrock 후보 가운데 작업별 품질 하한과 규정 준수 제약을 충족하면서 비용 상한과 p95 또는 p99 지연 목표를 지키는 모델은 무엇인가?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.