Production MLOps at GS Caltex with Amazon SageMaker Canvas, part 1
Quick Summary
GS Caltex는 Amazon SageMaker Canvas의 검증된 전처리 흐름과 모델을 Amazon SageMaker Pipelines에 연결해 배포 인계를 자동화했으며, 배포 시간을 약 1주에서 수시간으로 줄이고 30분 간격 배치 추론으로 추론 비용을 낮췄다고 보고한다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
GS Caltex는 Amazon SageMaker Canvas의 검증된 전처리 흐름과 모델을 Amazon SageMaker Pipelines에 연결해 배포 인계를 자동화했으며, 배포 시간을 약 1주에서 수시간으로 줄이고 30분 간격 배치 추론으로 추론 비용을 낮췄다고 보고한다.
📌 핵심 요약
- GS Caltex는 공정 엔지니어가 SageMaker Canvas에서 코드 없이 모델을 개발·검증하고, ML 엔지니어가 SageMaker Pipelines로 배포와 정기 추론을 운영하도록 역할을 나눴다. 기존 자산을 재사용하는 인계 자동화 이후 모델 배포에 걸리는 시간이 약 1주에서 수시간으로 줄었다고 보고한다.
- 새 모델 버전의 검토·승인·배포와 반복 추론을 분리한다. Amazon EventBridge가 30분마다 파이프라인을 시작하면 Amazon S3의 입력 데이터를 전처리하고 SageMaker Batch Transform으로 예측한 뒤 결과를 S3에 저장하며, GS Caltex는 상시 실행 엔드포인트의 필요성을 줄여 추론 비용을 유의미하게 낮췄다고 설명한다.
- Data Wrangler의 .flow 파일을 SageMaker Processing에서 재사용할 때는 실제 작업의 컨테이너 이미지, 출력 노드, 학습된 변환 값을 보존하고 동일 입력에 대한 변환 결과를 검증해야 한다. .flow 내부의 S3 URI는 파일 업로드나 파이프라인 매개변수 선언만으로 바뀌지 않으며, 고정 입력 경로를 공유하는 실행은 중첩을 막아야 한다.
- 추론 입력에 타깃 열이 없으면 PrepareInput에서 자리표시자를 추가하고 전처리 후 DropTargetColumn에서 제거할 수 있다. 다만 타깃이 특성 값에 영향을 주는 흐름에는 이 방식을 그대로 적용할 수 없으며, 열 순서·개수·자료형·결측값 처리·행 수가 학습 시 조건과 맞는지 검증해야 한다.
- Model Registry의 모델 패키지는 모델 파일·추론 설정·평가 결과를 묶으며, 배포 코드는 패키지의 Completed 상태와 Approved 승인을 확인해 Batch Transform용 모델 리소스를 만든다. Model Registry는 매 추론 요청의 승인을 강제하지 않으므로 승인 철회 시 관련 스케줄과 실행 설정을 갱신해야 하며, 반복 추론마다 모델을 다시 등록할 필요는 없다.
🧩 주요 포인트
- 공정 지식과 운영 역량의 역할 분담 → SageMaker Canvas의 검증 자산을 재사용하되, 운영용 경로·설정·작업 연결은 ML 엔지니어의 통합 작업으로 완성된다.
- 분 간격 배치 추론과 모델 버전별 배포 분리 → 배포된 모델을 반복 사용하고 상시 실행 엔드포인트의 필요성을 줄이는 운영 구조다.
- 전처리 상태·입력 스키마·승인 상태의 명시적 관리 → .flow 재사용만으로 운영 적합성이 보장되지 않으며, 실행 중첩과 타깃 의존성, 승인 철회에 대한 별도 처리가 필요하다.
🧠 상세 정리
1. 역할 분담과 배포 인계 자동화
한국의 에너지·화학 기업 GS Caltex는 공정 엔지니어와 ML 엔지니어의 상호 보완적인 역량을 활용해 모델 개발과 운영을 나눴다. 공정 엔지니어는 공정 변수와 데이터에 대한 지식을 바탕으로 SageMaker Canvas에서 코드를 작성하지 않고 모델을 만들고, 예측 결과가 실제로 유용한지 평가한다. ML 엔지니어는 검증된 자산을 운영 작업으로 전환하고 모델 버전과 실행 이력을 관리하지만, 기존에는 운영 데이터 경로와 모델 설정을 지정하고 전처리·추론 작업을 연결하는 통합 작업이 필요했다. GS Caltex는 Canvas에서 만든 자산을 재사용하면서 이 인계를 자동화했고, 그 결과 ML 엔지니어의 모델 배포 시간이 약 1주에서 수시간으로 줄었다고 보고한다.
2. 모델 배포와 정기 추론을 분리한 구조
전체 MLOps 흐름은 새 모델 버전을 배포하기 위한 준비 경로와 이미 배포된 모델로 배치 추론을 실행하는 경로로 나뉜다. 새 버전을 배포할 때 ML 엔지니어는 SageMaker Canvas의 전처리 흐름과 모델을 전달받아 데이터 형식과 예측 결과를 검토하고, Model Registry에서 모델을 승인한 뒤 배포한다. 이후에는 Amazon EventBridge가 정기 실행을 시작하고, SageMaker Pipelines가 Amazon S3의 입력 데이터를 준비해 전처리와 SageMaker Batch Transform을 수행한 다음 결과를 S3에 저장한다. 운영자는 단계별 상태와 Amazon CloudWatch 로그로 실행을 살펴볼 수 있으며, GS Caltex는 30분 간격 배치 추론이 상시 실행 엔드포인트의 필요성을 줄여 추론 비용을 유의미하게 낮췄다고 설명하지만 구체적인 절감률은 제시하지 않는다.
3. 구현에 필요한 자산과 환경
구현에 앞서 SageMaker Canvas에서 구축하고 평가한 모델, 해당 모델의 Data Wrangler 전처리 흐름, 추론용 CSV 데이터와 파일을 저장할 S3 버킷이 필요하다. 권한 측면에서는 SageMaker 실행 역할과 파이프라인을 시작할 권한을 가진 Amazon EventBridge 역할을 준비하고, Python 환경에는 Boto3와 SageMaker Python SDK 2.x를 설치해야 한다. 원문은 전체 참조 구현을 GitHub 저장소에서 제공한다고 설명하며, 본문의 코드 예제는 구성 요소 사이의 연결에 초점을 맞춘다. 참조 구현이 사용하는 모델은 대출 분류 예제이므로, 이를 적용할 때는 실제 모델의 입력·출력 형식에 맞춰 설정을 조정해야 하며 예제 구성이 모든 모델에 그대로 맞는다고 전제하지 않는다.
4. 검증된 전처리를 Processing에서 재현
Data Wrangler의 전처리 흐름은 데이터 원천과 변환 단계를 기록하며, 참조 구현은 SageMaker Processing으로 S3 내보내기를 수행한 작업에서 설정과 .flow 파일을 확보한다. 내보내기 설정에서 Auto job configuration을 끄고 SageMaker Processing을 선택한 뒤, 실제 작업 상세에서 컨테이너 이미지 URI, flow 입력의 S3 URI, 실행 역할과 출력 설정을 확인해야 한다. 운영 환경에 맞게 데이터 원천과 경로를 조정하더라도 검증된 변환 논리와 학습 중 얻은 스케일링·인코딩 값은 보존하며, 각 추론 배치에서 이를 다시 학습하지 않는다. 출력 노드와 이름은 내보내기 설정에 정확히 맞추고, 동일 입력에 대해 Canvas와 Processing이 생성한 열·자료형·변환 값을 비교하며, 다른 AWS Region으로 옮길 때는 이미지 가용성도 확인한다. 일부 .flow 파일에 실행 메타데이터가 있더라도 모든 내보내기에 해당 필드가 있다고 가정하지 않고 실제 Processing 작업 설정을 기준으로 삼아야 한다.
5. S3 입력 경로와 실행 간 격리
전처리 흐름을 운영에 재사용할 때는 .flow 파일의 데이터 원천이 참조하는 S3 URI를 직접 확인해야 하며, 원시 데이터를 다른 위치에 업로드하는 것만으로 이 참조가 갱신되지는 않는다. 참조 구현은 중간 산출물과 최종 결과를 runs/<execution-id>/ 아래에 실행별로 구분하지만, PrepareInput은 .flow가 참조하는 고정 S3 위치에 입력 데이터를 쓴다. 따라서 결과 경로가 실행별로 나뉘어 있어도 입력 경로를 공유하는 실행은 서로 겹치지 않도록 막아야 하며, 출력 분리만으로 입력까지 격리되는 것은 아니다. 입력도 실행마다 분리하려면 .flow 사본의 원천 URI를 수정하는 준비 단계를 추가해야 하고, SageMaker Pipelines 매개변수를 선언하는 것만으로 파일 내부 URI가 자동 교체되지는 않는다는 점이 구현상 제약이다.
6. 학습 입력과 추론 입력의 타깃 열 차이
학습 데이터로 만든 전처리 흐름은 타깃 열이 존재하는 스키마를 기대할 수 있지만, 추론 데이터에는 아직 알려지지 않은 결과인 타깃이 없다. 참조 구현은 전처리 앞의 PrepareInput에서 누락된 타깃 열을 자리표시자로 추가하고, 전처리가 끝난 뒤 DropTargetColumn에서 이를 제거하는 방식으로 차이를 처리한다. 자리표시자의 자료형과 열 위치는 학습 스키마에 맞추고, 모델에는 학습 당시 순서대로 필요한 특성만 전달해야 하며 열 순서·개수·자료형·결측값 처리·행 수도 검증 대상이다. 다만 타깃으로 행을 필터링하거나 특성을 만들거나 타깃 인코딩을 수행하는 흐름에는 이 방식을 그대로 적용할 수 없으며, 추론에 필요한 변환과 학습된 상태를 별도로 분리해야 한다.
7. 모델 등록·승인과 배치 추론용 배포
검증된 SageMaker Canvas 모델 버전은 Model Registry에 등록하며, 모델 패키지에는 모델 파일과 추론 설정, 평가 결과를 함께 담을 수 있고 ML 엔지니어가 이를 검토한 뒤 승인 상태를 바꾼다. model.tar.gz 같은 파일은 올바른 추론 컨테이너와 환경 설정에 맞춰 사용해야 하며, 이 배치 구조의 배포는 승인된 패키지에서 Batch Transform이 참조할 SageMaker 모델 리소스를 만드는 작업이다. 제시된 코드는 패키지 상태가 Completed이고 승인 상태가 Approved인지 확인한 뒤 버전별 고유 모델 이름으로 리소스를 생성하며, 선택한 패키지 ARN과 모델 이름을 파이프라인 설정에 유지한다. Model Registry가 모든 추론 요청에서 승인을 강제하는 것은 아니므로 승인 철회 시 해당 모델을 사용하는 스케줄과 실행 설정을 갱신해야 하며, 모델 등록과 배포는 버전 출시 시 수행하고 30분마다 반복하지 않는다.
8. 다섯 단계로 연결하는 추론 파이프라인
추론 파이프라인은 PrepareInput, PreprocessNewData, DropTargetColumn, BatchPredict, AssembleResults의 다섯 단계로 구성되며 입력 준비부터 최종 결과 조립까지 연결한다. PrepareInput은 필요할 때 타깃 자리표시자를 추가하고, PreprocessNewData는 준비된 입력과 .flow로 전처리하며, DropTargetColumn은 타깃 열과 CSV 헤더를 제거해 모델에 전달할 특성 CSV를 만든다. BatchPredict는 승인된 모델로 예측 파일을 생성하고, AssembleResults는 전처리 데이터와 예측 파일을 결합해 최종 결과 CSV를 만든다. 원문은 단계 연결에 앞서 각 작업을 설정하고 처리기와 transformer가 같은 PipelineSession을 사용하며 transformer에는 앞서 배포한 model_name을 지정하도록 설명한다. 제공된 본문은 ProcessingStep 구성 코드 도중에 끝나므로, 이후의 구체적인 단계 연결 코드나 스케줄 등록 코드는 이 자료에서 확인할 수 없다.
🧾 핵심 주장 / 시사점
- SageMaker Canvas의 코드 없는 개발은 공정 엔지니어의 모델 검증을 돕지만, 운영 전환에는 경로·권한·실행 순서·승인·스케줄을 연결하는 ML 엔지니어의 작업이 계속 필요하다.
- 전처리 재사용의 핵심은 .flow 파일 보유 자체보다 학습된 변환 값과 입력 스키마를 보존하고 운영에서도 같은 결과가 나오는지 확인하는 데 있다.
- GS Caltex의 시간 단축과 비용 개선은 회사가 보고한 성과이며, 배포 시간은 약 1주에서 수시간으로 제시되지만 추론 비용 절감 폭은 수치로 공개되지 않았다.
✅ 액션 아이템
- Data Wrangler의 .flow를 SageMaker Processing에서 재사용할 때 컨테이너 이미지·출력 노드·학습된 변환 값을 보존하고 동일 입력의 변환 결과를 비교 검증한다.
- PrepareInput과 DropTargetColumn 적용 전 타깃이 특성 값에 미치는 영향을 확인하고, 학습 시 열 순서·개수·자료형·결측값 처리·행 수를 검증한다.
- 고정 S3 입력 경로를 공유하는 실행의 중첩을 방지하고, Model Registry 승인 철회 시 관련 스케줄과 실행 설정을 갱신한다.
❓ 열린 질문
- GS Caltex가 30분 간격 배치 추론으로 유의미하게 낮췄다고 보고한 추론 비용의 구체적인 절감 폭은 얼마인가?
- Data Wrangler의 .flow에서 타깃이 특성 값에 영향을 주는 경우, 추론에 필요한 변환과 학습된 상태를 어떻게 분리할 것인가?
- Model Registry의 승인 철회 시 관련 스케줄과 실행 설정을 갱신하는 책임과 시점은 어떻게 정할 것인가?