Fix evaluation bias to unlock better models on Amazon Bedrock

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Property Finder는 기존 모델에 편향된 평가 라벨을 전문가 주석으로 교체하고 Amazon Bedrock에서 프롬프트를 최적화해 Llama 4 Maverick 17B Instruct를 선택했으며, 정확도 향상과 비용 86% 절감을 보고했지만 평가 데이터 중복과 모델별 튜닝 노력 차이로 성능 비교에는 한계가 있다.

📌 핵심 요약

• Property Finder는 중동·북아프리카에서 매일 수만 장의 부동산 이미지에 대해 11개 품질 속성을 평가한다. 기존 평가 라벨의 96.8%가 전문가 검증 없이 운영 모델의 예측을 그대로 계승해, 대안 모델의 실제 정확도보다 기존 모델과의 일치도를 측정하는 편향이 발생했다.
• 전문가가 UAE 이미지 356장을 독립적으로 주석 처리했고, 먼저 주석한 256장을 개발에 사용한 뒤 추가 100장을 포함한 전체 356장으로 최종 비교했다. 여러 공간이 함께 보이는 이미지를 반영해 사진 분류와 방 범주를 다중 라벨로 전환하고, Micro F1을 주 지표로 삼되 Macro F1과 속성별 정밀도·재현율 등도 함께 확인했다.
• 공통 출발점인 v21 이후 모델별 프롬프트를 조정했다. Llama 4 Maverick 17B Instruct는 256장 개발 세트에서 Micro F1이 v21의 0.75에서 v27의 0.81로 상승했으며, 운영 기준 모델인 proprietary model A의 v22 점수 0.55와 비교하면 상대 향상률은 47%였다.
• 356장 평가 세트에서 Llama 4 Maverick 17B Instruct의 v27_PF는 Micro F1 0.80, proprietary model A의 v22는 0.56을 기록했다. 다만 평가 세트에 두 모델의 튜닝에 사용한 개발 이미지 256장이 포함되고 Llama에 더 많은 튜닝 노력이 투입되어, 점수는 낙관적이며 비교 조건도 완전히 같지 않다.
• Property Finder는 11개 속성의 정확도와 비용 효율을 근거로 Llama 4 Maverick 17B Instruct를 운영 모델로 선택했다. 원문은 비용 86% 절감을 보고하고 단일 라벨 속성 9개 중 6개에서 정확 일치 정확도 90% 이상을 제시하지만, 제공된 본문은 표 직전에 잘려 구체적인 비용·속도 수치와 속성별 전체 결과는 확인할 수 없다.

🧩 주요 포인트

1. 평가 라벨의 96.8%가 기존 모델의 출력에서 유래 → 모델 교체를 가로막은 핵심은 후보 모델의 능력뿐 아니라 정답 기준의 편향이었으며, 독립적인 전문가 주석이 비교의 출발점이 된다.
2. 다중 라벨 전환과 모델별 프롬프트 조정 후 성능 상승 → 도메인에 맞는 과제 정의와 프롬프트가 결과를 크게 바꾸므로, 모델 교체 효과와 프롬프트 튜닝 효과를 구분해 해석해야 한다.
3. 장 평가 세트에 개발 이미지 256장이 포함되고 Llama의 튜닝 노력도 더 큼 → 관측된 정확도 향상과 비용 86% 절감 보고는 유용한 선택 근거지만, 일반화 성능과 비교의 공정성을 확정하는 증거로 보기에는 제약이 있다.

🧠 상세 정리

1. 모델 교체를 가로막은 평가 편향

디지털 부동산 애플리케이션인 Property Finder는 중동·북아프리카에서 매일 수만 장의 부동산 이미지를 처리하며, 이미지마다 워터마크 탐지, 방 분류, 가구 배치 상태, 사진 품질, 건설 관련 지표를 포함한 11개 속성을 평가한다. 수천 건의 신규 매물에는 평균 15장의 이미지가 포함되므로, 게시 전 품질 평가를 더 경제적으로 수행할 모델이 필요했다. 그러나 기존 평가 라벨의 96.8%가 독립적인 전문가 검증 없이 운영 중인 비전 언어 모델의 예측을 그대로 사용하고 있었다. 이 구조에서는 대안 모델이 실제로 옳은 답을 내는지보다 기존 모델의 행동을 얼마나 재현하는지가 평가되어, 비교를 시작하기도 전에 대안이 불리해진다. 원문은 더 나은 모델을 찾는 일보다 평가 방법 자체가 교체를 막고 있다는 사실을 발견하는 일이 핵심 난관이었다고 설명한다.

2. 정답 데이터에 숨어 있던 오류와 기준 불일치

평가 데이터에는 기존 모델에 대한 편향뿐 아니라 정답으로 처리된 구체적인 오류도 존재했다. 워터마크 텍스트 추출에서는 실제로 없는 브랜드명을 만들어 내거나 일부 문자를 누락한 결과가 맞는 답으로 기록되었고, 사진 분류에서는 여러 종류의 방이 함께 보이는 이미지에도 단일 라벨을 강제했다. 사람이 주석한 나머지 3.2%의 표본에서도 프롬프트에 정의되지 않은 Office 같은 범주가 추가되어 원래 명세와 정답 기준이 어긋났다. 따라서 문제는 단순히 잘못된 라벨 몇 개를 수정하는 수준을 넘어, 무엇을 정답으로 인정하고 어떤 범주를 허용하는지 다시 정하는 일이었다. 원문은 교체 대상 모델이 사실상 정답지를 작성한 상태에서는 모델 비교의 타당성이 무너진다고 지적하며, 기존 예측을 보지 않는 전문가의 새로운 주석을 해결책으로 제시한다.

3. 전문가 주석과 데이터 구성의 범위

Property Finder는 대표적인 업계 부문을 반영한 미주석 운영 매물에서 UAE 이미지 356장을 선정해 직접 주석했으며, 이집트 이미지도 별도로 준비했다. 먼저 주석이 완료된 UAE 이미지 256장은 프롬프트 조정을 위한 개발 세트로 사용했고, 개발 실험 이후 주석한 100장을 더한 전체 356장은 최종 모델 비교에 사용했다. 이집트 이미지 230장은 지역 간 점검에 활용했지만, 해당 결과는 본문에 보고되지 않았다. 부동산 매물 품질 기준에 전문성을 갖춘 전략·분석 전문가가 모든 이미지에 주석을 달았고, AWS Generative AI Innovation Center 팀은 별도의 명확화 세션을 통해 모호한 사례를 검토하고 일관성을 유지했다. 원문은 356장이 모델 사이의 중간 정도 차이를 탐지하는 데 대체로 충분하다고 설명하면서도, 개별 속성의 희귀 범주는 표본이 적어 작은 성능 차이를 식별하지 못할 수 있다고 한정한다.

4. 다중 라벨 전환과 평가 지표의 역할

부동산 사진에는 문 너머의 다른 방이 함께 보이거나 여러 품질 특성이 겹치는 경우가 많아, 하나의 라벨만 허용하면 합리적인 예측까지 오답으로 처리될 수 있다. 예를 들어 침실이 문 너머로 보이는 복도 사진은 복도와 침실을 모두 포함하므로, 사진 분류와 방 범주를 다중 라벨로 전환해 이러한 인위적 모호성을 줄였다. 주 지표인 Micro F1은 각 예측을 동일하게 가중해 전체 라벨의 정확성을 중시하는 사업 목표에 맞추었고, 빈번한 범주가 점수를 지배하는 한계를 보완하려고 Macro F1도 함께 보고했다. 라벨별 정밀도·재현율은 구체적인 실패 유형을 찾는 데, 이미지별 IoU는 예측 라벨과 전문가 라벨의 겹침을 측정하는 데 사용했으며, 회전이나 워터마크 탐지 등 단일 라벨 속성 9개에는 정확 일치 정확도도 적용했다. 향후 확장 방안으로는 서로 다른 계열의 모델이 후보 라벨과 불일치를 제시하되, 모든 사례를 전문가가 판정하여 모델 출력을 정답으로 직접 사용하지 않는 혼합 접근을 제안했다.

5. 오류 분석을 이용한 프롬프트 진화

평가 기준을 바로잡은 뒤에는 이미지 예측 결과를 전문가 라벨과 비교하고, 실패 이미지의 시각적 패턴을 분석해 다음 프롬프트에 반영하는 반복 과정을 수행했다. 원문은 각 프롬프트 버전을 에이전트, Micro F1을 보상 신호, 오류 분석을 개선 방향에 비유하며, 구성 요소의 변이와 평가·선택을 반복하는 GEPA의 아이디어와 유사하다고 설명한다. 실제 작업에서는 AWS 팀이 대부분의 버전을 오류 분석을 바탕으로 수정했고, AI 어시스턴트가 실패 이미지를 검토하고 변경안을 제안했으며, 후반에는 자동 최적화도 사용했다. 초기의 일반적인 분류 지시에서 출발해 구조화된 출력과 속성별 정의를 추가했고, 단일 라벨 단계에서는 화면 대부분을 차지하는 방을 분류하도록 지시해 문 너머의 방을 주된 공간으로 오인하는 문제를 줄였다. 이후 다중 라벨을 허용하면서 주된 방과 문 너머의 방을 함께 표현할 수 있게 했고, 일부 지역의 장식용 아랍어 문구를 워터마크로 오인하지 않도록 지역 특화 규칙도 추가했다.

6. 공통 프롬프트에서 모델별 최적화로

v21은 사진 분류와 방 범주를 다중 라벨로 바꾸면서 모든 모델의 공통 출발점이 되었으며, 그 이전의 단일 라벨 점수는 이후 결과와 직접 비교할 수 없다. Llama 4 Maverick 17B Instruct는 v21로 개발 세트에서 Micro F1 0.75를 기록했고, v24에서는 방 크기 과대평가, 다중 라벨 처리, 출력 형식을 조정했으며 v25에서는 자동 최적화를 통해 중요한 과제를 앞에 배치했다. v27에서는 DSPy의 MIPROv2가 사진 분류 과제를 재구성했고, 이 특정 과제의 Micro F1은 0.76에 도달했다. 전체 개발 세트 기준으로 같은 모델의 Micro F1은 v21의 0.75에서 v27의 0.81로 상승했으며, proprietary model A의 모델 계열에 맞춘 v22 점수 0.55와 비교하면 모델 교체와 각각의 튜닝을 합친 상대 향상률은 47%였다. 최종 v27_PF는 v27에 Property Finder가 렌더 이미지, 테두리나 프레임이 있는 이미지, 복도 관련 규칙을 더한 것으로, 아랍어 문구와 출력 형식 지침을 유지하고 호출 뒤 정규화로 남은 형식 차이를 처리했다.

7. 실패한 분리 호출과 범용 프롬프트의 교훈

모든 최적화 시도가 성과를 낸 것은 아니며, 워터마크 속성과 나머지 속성을 두 번의 API 호출로 나누는 2-bucket 접근은 의미 있는 정확도 향상을 만들지 못했다. 이 방식에서는 테두리로 둘러싸인 이미지의 탐지 성능도 크게 떨어졌는데, 같은 프롬프트에서 워터마크 속성이 빠지자 모델이 워터마크 오버레이를 이미지 테두리로 오인했기 때문이다. 이 결과는 속성을 분리하면 개별 과제가 단순해질 것이라는 기대와 달리, 함께 제공되던 정보가 다른 판단에도 영향을 주고 있었음을 보여 준다. 일반적인 프롬프트 역시 어떤 모델을 사용하든 좋은 결과를 내지 못했으며, 원문은 부동산 이미지의 도메인 특수성을 공통 원인으로 설명한다. 따라서 이 사례의 개선 과정은 지시문을 일률적으로 단순화하거나 호출을 분리하는 방식보다, 실제 실패 사례에서 속성 간 관계와 지역별 표현을 파악해 반영하는 방향으로 진행되었다.

8. 최종 선택과 성과 해석의 한계

356장 평가 세트에서 Llama 4 Maverick 17B Instruct의 v27_PF는 Micro F1 0.80을 기록했고, proprietary model A의 v22는 0.56을 기록했다. 다만 평가 세트에는 두 모델의 프롬프트 조정에 사용한 개발 이미지 256장이 포함되어 있으므로, 원문도 이 점수들이 낙관적이라고 명시한다. 또한 proprietary model A는 v22의 한 차례 튜닝을 받은 반면 Llama는 v24부터 v27까지 여러 차례 조정하고 Property Finder의 예외 규칙까지 추가해, 모델별 최적화 노력에 차이가 있었다. Property Finder는 11개 속성의 정확도와 비용 효율을 근거로 Llama를 운영용으로 선택했으며, 원문 서두는 더 높은 정확도와 비용 86% 절감을 보고한다. 마지막 부분은 단일 라벨 속성 9개 중 6개에서 정확 일치 정확도가 90% 이상이었다고 설명하지만, 제공된 본문이 표 직전에 문장 중간에서 잘려 속성별 전체 비교나 구체적인 비용·속도 결과는 확인할 수 없다.

🧾 핵심 주장 / 시사점

• 기존 모델의 출력을 정답으로 계승하면 모델 비교가 실제 정확성보다 기존 행동의 재현을 보상할 수 있다. 이 사례에서 라벨 오류 수정과 평가 편향 해소는 서로 관련되지만 구분해야 할 문제였다.
• 다중 라벨 전환은 단순한 프롬프트 개선을 넘어 평가 대상 과제의 정의를 바꾸었다. 따라서 단일 라벨 시기의 점수와 이후 점수는 같은 기준의 연속적인 성능 향상으로 해석할 수 없다.
• 관측된 성과에는 모델 선택, 도메인 규칙, 프롬프트 최적화가 함께 작용했다. 개발 데이터가 포함된 평가와 불균등한 튜닝 노력 때문에 최종 점수만으로 각 요인의 기여나 일반화 성능을 확정하기는 어렵다.

✅ 액션 아이템

• 평가 라벨의 96.8%가 기존 모델 출력에서 유래한 문제를 기준으로, 독립적인 전문가 주석과 평가 기준의 일관성 재점검.
• Llama 4 Maverick 17B Instruct의 v21 대비 v27 성능 상승을 모델 교체 효과와 구분하고, 모델별 튜닝 노력 차이를 반영해 비교 결과 해석.
• 356장 평가 세트에 개발 이미지 256장이 포함된 제약과 비용 86% 절감의 세부 근거 부재를 고려해, 일반화 성능과 비용 효율의 추가 검증 필요성 검토.

❓ 열린 질문

• 개발 이미지 256장과 겹치지 않는 데이터에서도 Llama 4 Maverick 17B Instruct와 proprietary model A의 Micro F1 격차가 유지되는가?
• 모델별 튜닝 노력을 같게 맞추면 Llama 4 Maverick 17B Instruct와 proprietary model A의 성능 차이는 어떻게 달라지는가?
• 비용 86% 절감의 구체적인 비교 조건과 계산 근거는 무엇인가?