Exowatt beats frontier models on accuracy with SageMaker serverless model customization

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Exowatt는 Amazon SageMaker AI 서버리스 모델 맞춤화로 엣지 경보 분류와 클라우드 에너지 시장 분석용 특화 모델을 구축했으며, 프런티어 모델보다 높은 정확도와 최대 49배 낮은 비용을 달성했다고 보고했다.

📌 핵심 요약

• Exowatt의 Exowatt P3는 태양에너지를 열로 저장한 뒤 필요할 때 전기를 공급하며, 회사는 수천 대의 현장 장비로 확대되는 운영을 지원하기 위해 GPU와 인터넷 연결 없이도 작동하는 경보 분류 AI가 필요했다.
• Amazon SageMaker AI 서버리스 모델 맞춤화 기반 파이프라인은 운영 데이터에서 검증된 학습 데이터, 미세조정 모델, 평가된 배포 산출물까지 이어지는 과정을 수개월에서 수일로 줄였다. 같은 접근법으로 엣지용 Qwen3-1.7B와 클라우드용 Qwen3-14B를 구축했다.
• 경보 분류용 Qwen3-1.7B는 2,522개 예제로 학습했고, 약 32분과 20~25달러의 학습 비용으로 320개 테스트 사례에서 macro-F1 0.911을 기록했다. 8비트 양자화 후 약 1.71 GiB 크기로, GPU 없이 6 GiB llama.cpp pod에서 오프라인 실행된다.
• 에너지 시장 분석용 Qwen3-14B는 ERCOT의 5년치 공개 데이터를 바탕으로 학습했다. 답변당 세 가지 재서술을 추가하자 macro-F1이 0.950에서 0.975로 상승했으며, 기본 모델은 0.415였다. 초기 계획부터 Cloud EMS에서 최종 선정 모델을 제공하기까지 6일이 걸렸다.
• 클라우드 모델은 Amazon Bedrock Custom Model Import에서 유휴 비용 없이 활성 시간에만 시간당 6.86달러가 청구된다. 원문은 전체 접근법이 프런티어 모델보다 높은 정확도와 최대 49배 낮은 비용을 달성했다고 주장하지만, 제공된 본문은 벤치마크 설명 도중 끊겨 전체 비교 조건과 비용 산출 근거는 확인할 수 없다.

🧩 주요 포인트

1. 전용 하드웨어와 연결 제약에 맞춘 Qwen3-1.7B → 범용 모델의 크기보다 현장에 배포 가능한 작업 특화 정확도가 중요하며, 근거가 부족하면 판단을 보류하도록 설계했다.
2. 결정·라벨·수치를 보존한 재서술과 Qwen3-14B의 macro-F1 개선 → 데이터 표현의 다양성이 성능 향상의 핵심 요인으로 제시되며, 모델 확대만으로는 경보 분류 성능이 개선되지 않았다.
3. 서버리스 학습과 엣지·클라우드 배포 경로의 결합 → GPU 용량 선택과 대기 부담을 줄이고 반복 실험을 일상화했으며, 두 모델보다 재사용 가능한 파이프라인 자체가 장기 성과로 강조됐다.

🧠 상세 정리

1. Exowatt P3와 현장 AI의 필요성

Exowatt는 AI 데이터센터처럼 에너지 소비가 큰 용도에 안정적으로 전력을 공급하는 모듈형 태양에너지 시스템을 개발한다. 대표 제품인 Exowatt P3는 광학 렌즈로 태양에너지를 모으고 장시간 열 배터리에 열로 저장한 뒤, 열기관을 통해 필요할 때 전기를 공급한다. 계통 연계형 태양광 발전 시스템과 달리 데이터센터의 계량기 후단에 직접 전력을 공급하므로, 수년이 걸리는 전력망 접속 대기 없이 데이터센터 가동을 시작하도록 돕는다는 설명이다. 회사는 실시간 경보를 감시하고 분류하며 운영 판단을 지원하는 AI 에이전트를 구축하고 있으며, 이들은 연결이 제한되거나 없는 엣지 환경에서도 작동해야 한다. 시험 장비 단계에서 제조와 수천 대의 현장 배치로 확장하면서, 물리적 설비를 운영하는 지능 계층도 함께 확장해야 하는 상황이 출발점이다.

2. 범용 프런티어 모델과 기존 학습 방식의 한계

Exowatt의 에너지 관리 시스템인 EMS에서는 하드웨어 사양 이탈, 연결 끊김, 허용 범위를 벗어난 전압 측정값 같은 경보가 지속적으로 발생하며, 수천 대의 장비를 사람이 실시간으로 모두 감시하기는 어렵다. 원문은 범용 프런티어 모델이 Exowatt 고유의 하드웨어·데이터·운영 논리에 특화되지 않았고, 인터넷 연결이 끊기면 클라우드 호출에 의존하는 에이전트의 운영 지원도 중단된다고 설명한다. 또한 반복적으로 발생하는 모든 운영 판단을 프런티어 모델로 보내는 비용은 전체 장비 규모에서 경제적이지 않다고 본다. 기존 미세조정 과정 역시 공개 가중치 모델 선택, 컨테이너 구축, 맞춤 학습 레시피 작성과 GPU 인스턴스 선택이 먼저 필요해 실험 진입 장벽이 높았다. 선택한 GPU 용량을 확보하지 못하면 실행이 지연되거나 막혔으므로, GPU 없는 현장 제어기에서 실행하면서도 자율 판단에 필요한 정확도를 확보하는 작은 특화 모델이 요구됐다.

3. 재사용 가능한 파이프라인과 두 배포 경로

Exowatt는 Amazon SageMaker AI 서버리스 모델 맞춤화를 도입해 하나의 학습 접근법으로 엣지 경보 분류용 Qwen3-1.7B와 클라우드 에너지 시장 분석용 Qwen3-14B를 만들었다. 학습 단계에서는 공개 가중치 기본 모델에 LoRA와 지도 미세조정인 SFT를 적용하고, 평가를 거쳐 가장 좋은 모델을 SageMaker Model Registry에 등록한다. 엣지 경로에서는 미세조정한 Qwen3-1.7B를 고정하고 GGUF 형식으로 양자화한 뒤, 현장 제어기의 Kubernetes pod 안에서 llama.cpp로 실행해 GPU와 인터넷 연결 없이 동작하도록 한다. 클라우드 경로에서는 Qwen3-14B를 Amazon Bedrock Custom Model Import로 제공해 인터넷에 연결된 전체 설비 차원의 분석을 처리한다. 원문은 이 두 모델을 최종 목표가 아닌 첫 산출물로 규정하며, 원시 운영 데이터에서 검증된 학습 데이터와 평가된 배포 산출물까지 수개월 대신 수일 안에 반복할 수 있는 경로 자체를 더 지속적인 성과로 강조한다.

4. AWS 구성 요소와 서버리스 학습의 효과

파이프라인은 Amazon S3에 데이터·매니페스트·모델 산출물·테스트 세트를 보관하고, SageMaker AI 서버리스 미세조정과 평가를 통해 후보별 학습 및 2,000개 답변 채점을 관리형 작업으로 실행하며, 완료된 미세조정 결과와 근거·지표를 Model Registry에 기록한다. Amazon Bedrock은 학습 데이터 재서술과 프런티어 모델 비교에 쓰이고, AWS Lambda와 Amazon EventBridge는 평가 채점 및 맞춤 모델의 주기적 준비 상태 유지 호출을 담당한다. 서비스 표는 경보 재서술에 Qwen3-VL-235B, 시장 분석 재서술에 Claude Sonnet 4.6을 사용한다고 적지만, 뒤의 경보 학습 설명에서는 모델명을 Qwen3-235B로 표기한다. SageMaker Public Hub의 준비된 학습 레시피는 수주가 걸릴 수 있는 맞춤 컨테이너 구축·최적화 작업을 줄였고, 서버리스 용량 할당은 팀이 직접 선택한 GPU를 기다리지 않고 하루 여러 차례 실험하도록 도왔다. 전용 GPU를 실험 사이에도 유지하면 유휴 시간 비용이 발생할 수 있는 반면, 서버리스 방식은 기반 인프라를 자동 관리하고 실제 미세조정 작업 실행 시간에 대해서만 과금한다는 점이 선택 이유로 제시된다.

5. 엣지 경보 분류와 작은 모델의 선택

현장 경보 분류 모델은 개별 경보와 해당 사이트의 상태·원격 측정값을 함께 읽고, 근거를 인용하면서 제한된 분류 집합 중 하나를 반환한다. 예시 분류에는 시스템 오프라인, 구성 요소 출력 저하, 센서 불일치가 포함되며, 근거가 충분하지 않을 때는 명시적으로 판단을 보류한다. 팀은 처음에 Qwen3-8B에 프롬프트와 가드레일을 적용했지만 macro-F1 0.735 수준에서 목표에 도달하지 못했고, 이후 미세조정한 Qwen3-1.7B가 이 좁은 단일 턴 작업에서 더 좋은 결과를 보였다. Qwen3-1.7B는 매개변수가 대략 5분의 1이면서 GPU 없는 엣지 추론에 적합한 크기를 유지했다. 특히 12개 데이터 세트 버전에 걸쳐 미세조정한 Qwen3-8B 후보 13개도 프롬프트 기반 8B 기준선을 넘지 못했지만, 더 다양한 데이터를 사용한 작은 모델은 이를 넘어섰다는 점이 주요 전환점이다.

6. 경보 데이터의 검증과 오프라인 배포

경보 분류 학습 세트는 생성된 현장 시나리오에서 검증한 판단 684개와, 판단은 유지하면서 문장만 바꾼 검증된 재서술 1,838개를 합친 총 2,522개 예제로 구성됐다. 재서술 생성에는 Amazon Bedrock의 Qwen3-235B를 사용해 약 3.72달러가 들었으며, 결정·라벨·근거 인용·모든 수치가 바뀌지 않았음을 결정적 검사로 확인한 후보만 채택해 2,218개 중 1,838개가 통과했다. 한 고장 유형군은 학습에서 완전히 제외했고, 별도로 320개 사례를 테스트용으로 남겨 두었다. SageMaker 서버리스 미세조정은 약 32분에 끝났고 비용은 약 20~25달러였으며, 완성 모델은 8비트 양자화 후 약 1.71 GiB가 됐다. 이 모델은 기존 현장 CPU 서버의 6 GiB llama.cpp pod에서 오프라인으로 실행되며 t3.2xlarge 인스턴스에서도 동작한다. 제공된 벤치마크 부분에서는 유효한 답변을 생성하지 못하던 모델이 미세조정 후 320개 테스트 사례에서 macro-F1 0.911을 기록하고 모든 프런티어 기준 모델을 앞섰다고 보고한다.

7. 클라우드 에너지 시장 분석의 입력과 모델 선택

필요할 때 전력을 공급할 수 있는 저장 시스템에서는 저장 에너지를 현장 부하를 위해 얼마나 남기고 언제 방출할지가 지속적인 운영 판단이 되며, 전력망에 연결된 사이트에서는 시장 상황도 이 선택에 반영된다. 미세조정한 Qwen3-14B는 실시간 가격, 하루 전 예측, 전력망 공지 약 90행으로 구성된 6시간 분량의 시장 데이터를 읽고 약 4초 안에 결과를 반환한다. 출력은 가격 급등이나 희소성 추가요금 같은 다섯 가지 시장 이벤트 중 하나이며, 각 주장은 구체적인 데이터 행에 연결되어 전력 공급 전략 판단을 돕는다. 팀은 Qwen3-14B가 Amazon Bedrock Custom Model Import에서 지원되고, SageMaker Public Hub에 바로 사용할 수 있는 LoRA 레시피가 있으며, 약 28 GiB로 비용 효율적인 제공이 가능한 크기라는 이유로 선택했다. 이 사용 사례는 연결이 제한된 현장 경보 분류와 달리, 인터넷에 연결된 클라우드에서 시장 데이터를 분석하는 별도의 배포 목표를 보여 준다.

8. ERCOT 데이터와 재서술 다양성이 만든 성능 향상

에너지 시장 모델은 Electric Reliability Council of Texas인 ERCOT의 공개 시장 데이터 중 5년치 이력, 12개 테이블에 걸친 약 1억 6,300만 행을 바탕으로 학습했다. 팀은 규칙으로 라벨을 붙여 학습 22,000개, 검증 1,000개, 별도 테스트 2,000개로 구성된 총 25,000개 예제를 만들고, Amazon Bedrock의 Anthropic Claude Sonnet 4.6으로 라벨과 숫자 필드는 유지한 채 문장을 바꿔 학습 세트를 86,281행으로 확장했다. 학습 설정은 rank 16, alpha 32의 LoRA 단일 에포크였으며 약 8.5시간이 걸렸고, 실험 과정에서는 최대 네 작업을 동시에 실행했다. 초기 계획부터 최종 선정 모델을 Cloud EMS에서 제공하기까지 6일 동안 총 23개 작업과 약 155시간의 관리형 학습을 수행했다. 결정적인 개선은 답변마다 세 가지 재서술을 추가했을 때 macro-F1이 0.950에서 0.975로 높아진 것이며, 기본 모델은 유효한 JSON을 생성하면서도 시장 지식이 부족해 macro-F1이 0.415에 머물렀다고 설명한다.

9. 클라우드 제공 비용과 벤치마크 해석의 범위

에너지 시장 모델의 병합된 체크포인트는 약 14분 만에 Amazon Bedrock Custom Model Import로 가져왔고, 모델이 활성화된 동안에만 시간당 6.86달러가 청구되며 유휴 비용은 없다고 설명한다. 원문 도입부는 두 배포 대상을 위한 특화 모델들이 프런티어 모델보다 높은 정확도를 최대 49배 낮은 비용으로 달성했다고 주장한다. 제공된 본문에서 확인할 수 있는 구체적 성능 수치는 경보 분류의 macro-F1 0.911과 시장 분석의 macro-F1 0.975이며, 각각의 데이터 구성과 일부 학습·배포 비용도 제시돼 있다. 다만 본문은 벤치마크 결과를 설명하다가 문장이 끊겨, 비교한 프런티어 모델 전체 목록과 개별 점수, 최대 49배 비용 차이의 계산 조건은 제공되지 않는다. 따라서 작업별 미세조정과 재사용 가능한 서버리스 파이프라인의 성과는 원문 수치에 따라 정리하되, 프런티어 모델 대비 전체 우위와 비용 배수는 확인 가능한 비교 근거의 범위를 함께 고려해야 한다.

🧾 핵심 주장 / 시사점

• 경보 분류에서는 더 큰 Qwen3-8B의 반복 미세조정보다 다양한 데이터를 학습한 Qwen3-1.7B가 효과적이었다. 이 사례는 좁고 독자적인 운영 작업에서 모델 크기만으로 성능을 설명하기 어렵다는 점을 보여 준다.
• 재서술은 판단·라벨·수치를 보존하면서 표현의 다양성을 늘리는 수단으로 활용됐다. 특히 Qwen3-14B의 macro-F1 0.950에서 0.975로의 개선은 원문이 데이터 다양성을 핵심 요인으로 강조하는 근거다.
• 성과의 중심은 두 모델뿐 아니라 반복 가능한 학습·평가·배포 경로다. 다만 최대 49배 비용 절감 주장을 다른 운영 조건에 적용하려면, 제공된 본문에 없는 전체 비교 조건을 추가로 확인할 필요가 있다.

✅ 액션 아이템

• Qwen3-1.7B의 macro-F1 0.911과 GPU·인터넷 연결 없는 실행 조건을 기준으로 현장 경보 분류 적용 가능성 검토.
• Qwen3-14B의 macro-F1 0.950→0.975 개선을 근거로 판단·라벨·수치를 보존하는 재서술의 학습 효과 검토.
• 최대 49배 비용 절감 주장과 Amazon Bedrock Custom Model Import의 시간당 6.86달러 과금을 구분해 비용 비교 조건 확인.

❓ 열린 질문

• Qwen3-1.7B의 macro-F1 0.911과 비교한 프런티어 모델들의 개별 점수 및 평가 조건은 무엇인가?
• 최대 49배 낮은 비용은 어떤 프런티어 모델과 사용량을 기준으로 계산했으며, 학습 비용도 포함하는가?
• Qwen3-14B에서 관찰된 재서술에 따른 macro-F1 0.950→0.975 개선은 Exowatt의 다른 작업에서도 재현되는가?