🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

헌팅턴은행은 온프레미스에 쌓인 4억 건 이상의 문서에서 민감 고객 정보를 대규모로 찾아 가리고, 처리 기간을 수년에서 수개월로 줄이는 AWS 기반 문서 처리 워크플로를 구축했다.

📌 핵심 요약

• 헌팅턴은행은 2015년부터 온프레미스 문서 관리 시스템에 보관해 온 수억 건의 파일을 대상으로, 2025년 선제적 컴플라이언스 이니셔티브를 추진했다.
• 요구사항은 저장·전송 중 암호화, 엄격한 접근 통제, PCI DSS 범위 내 서비스 사용, 온프레미스 저장소로의 결과 복제, 95% 이상의 비식별화 정확도였다.
• 문서는 AWS DataSync, AWS Direct Connect, Amazon S3, AWS KMS를 통해 온프레미스 파일 공유에서 S3로 안전하게 이동했고, 처리 후 다시 온프레미스로 동기화되도록 설계됐다.
• Amazon Textract와 AWS Step Functions를 중심으로 민감 정보 탐지 파이프라인을 구성하고, 분산 Map 상태와 CloudWatch 모니터링으로 동시 처리량과 스로틀링을 관리했다.
• 최종적으로 헌팅턴은행은 하루 약 1,000만 건의 문서를 처리했고, 전체 비용은 기존 추정치의 약 5% 수준이었으며, 비식별화 정확도는 95%를 넘어 컴플라이언스 요구사항을 충족했다.

🧩 주요 포인트

1. 헌팅턴은행은 2015년부터 온프레미스 문서 관리 시스템에 보관해 온 수억 건의 파일을 대상으로, 2025년 선제적 컴플라이언스 이니셔티브를 추진했다.
2. 요구사항은 저장·전송 중 암호화, 엄격한 접근 통제, PCI DSS 범위 내 서비스 사용, 온프레미스 저장소로의 결과 복제, 95% 이상의 비식별화 정확도였다.
3. 문서는 AWS DataSync, AWS Direct Connect, Amazon S3, AWS KMS를 통해 온프레미스 파일 공유에서 S3로 안전하게 이동했고, 처리 후 다시 온프레미스로 동기화되도록 설계됐다.
4. Amazon Textract와 AWS Step Functions를 중심으로 민감 정보 탐지 파이프라인을 구성하고, 분산 Map 상태와 CloudWatch 모니터링으로 동시 처리량과 스로틀링을 관리했다.
5. 최종적으로 헌팅턴은행은 하루 약 1,000만 건의 문서를 처리했고, 전체 비용은 기존 추정치의 약 5% 수준이었으며, 비식별화 정확도는 95%를 넘어 컴플라이언스 요구사항을 충족했다.

🧠 상세 정리

1. 대규모 문서 비식별화 과제

헌팅턴은행은 미국 상위 10위권 은행으로, 2015년부터 온프레미스 문서 관리 시스템에 수억 건의 문서를 안전하게 저장해 왔다. 2025년에는 선제적 컴플라이언스 이니셔티브의 일환으로 이 문서들에서 민감 고객 데이터를 찾아 비식별화해야 했다. 문제는 문서 수가 4억 건을 넘고, 파일 형식도 다양해 단순한 일괄 처리 방식으로는 감당하기 어렵다는 점이었다. 초기 추정으로는 작업 완료까지 수년이 걸릴 것으로 예상됐지만, 헌팅턴은 확장 가능한 워크플로를 설계해 목표 기간을 수개월 단위로 줄였다.

2. 보안과 규제 준수를 위한 핵심 요구사항

솔루션 설계의 출발점은 기술 선택보다 보안과 규제 요구사항이었다. 데이터는 저장 중과 전송 중 모두 암호화되어야 했고, 데이터가 저장되거나 접근되는 위치는 엄격한 접근 요건을 충족해야 했다. 사용 서비스는 PCI DSS 컴플라이언스 범위에 포함되어야 했으며, 처리 결과는 다시 온프레미스 데이터 저장소로 복제되어야 했다. 또한 민감 정보 비식별화 정확도는 규정 준수를 위해 95% 이상이어야 했다. 이 요구사항들이 전체 아키텍처의 처리 방식, 서비스 선택, 모니터링 기준을 제한하고 구체화했다.

3. 온프레미스 문서의 안전한 이동

첫 단계는 온프레미스 파일 공유에 있는 대량 문서를 Amazon S3 버킷으로 안전하게 옮기는 것이었다. 단순히 파일을 복사하는 문제가 아니라, 4억 건이 넘는 문서를 전송 중과 저장 중 모두 암호화한 상태로 이동해야 했다. 이를 위해 헌팅턴은 AWS DataSync, AWS Direct Connect, Amazon S3, AWS KMS를 사용했다. DataSync는 온프레미스 데이터센터에 에이전트로 배포되어 SMB 파일 공유 같은 소스를 모니터링할 수 있었다. 또한 이 프로젝트에서는 처리 후 데이터를 온프레미스로 다시 동기화해야 했기 때문에, 양방향에 가까운 데이터 이동 역량이 중요한 요구사항이었다.

4. Amazon Textract를 이용한 민감 정보 탐지

문서 안의 민감 정보를 찾는 단계에서는 Amazon Textract가 핵심 역할을 했다. Textract는 스캔 문서에서 텍스트, 표, 양식 정보를 추출하고, 탐지된 필드의 좌표와 메타데이터를 JSON 출력으로 제공한다. 금융기관은 이를 통해 계좌 명세서나 대출 신청서 같은 문서를 자동 처리하고, 사회보장번호, 계좌번호, 주소와 같은 민감 정보를 식별할 수 있다. 헌팅턴은 이 탐지 과정을 AWS Step Functions와 함께 오케스트레이션했다. 이 접근은 대량 문서에서 민감 정보를 찾는 정확도를 높이면서 수작업 검토 시간을 줄이는 데 초점을 맞췄다.

5. 처리량 확장을 위한 Step Functions 설계

순차 처리 방식으로 문서를 처리했다면 프로젝트 기간은 계속 수년 단위에 머물렀을 가능성이 컸다. 헌팅턴은 하루에 수백만 건 이상을 처리하기 위해 Amazon Textract 작업의 동시 실행을 최대화하고, 서비스 할당량을 넘지 않도록 요청률을 제어해야 했다. 이를 위해 Step Functions의 Map 상태를 분산 모드로 사용하고, S3에 정리된 문서 목록을 JSON 컬렉션으로 구성해 높은 동시성을 확보했다. 진행 상황은 Map Run 실행 요약과 Amazon CloudWatch 대시보드로 추적했다. 응답 시간, 스로틀 수, 성공 건수, 오류율을 보면서 자식 워크플로 실행 동시성 한도를 조정해 높은 처리량과 안정성을 함께 유지했다.

6. 비식별화 실행과 온프레미스 복귀

탐지 단계가 민감 필드와 메타데이터를 S3에 기록하면, 다음 단계는 실제 문서 비식별화와 결과 반환이었다. 이미지와 PDF 비식별화에는 PyMuPDF나 PIL 같은 오픈소스 Python 라이브러리, 또는 상용 도구를 사용할 수 있다고 설명된다. Textract가 제공한 필드 좌표와 메타데이터를 바탕으로 탐지 영역을 가릴 수 있고, 정규식 패턴으로 맞춤 분류도 만들 수 있다. 헌팅턴은 비식별화 전에 탐지된 필드가 예상 패턴과 일치하는지 다시 확인하고, 각 파일의 메타데이터를 갱신했다. 이후 비식별화된 파일은 AWS DataSync가 감시하는 S3 위치에 배치되어 온프레미스 파일 저장소로 다시 전송됐다.

7. 성과와 향후 활용 방향

프로젝트 결과 헌팅턴은행은 하루 약 1,000만 건의 문서를 처리하는 수준에 도달했다. 이로 인해 전체 처리 기간은 기존의 수년 예상에서 몇 달 수준으로 단축됐다. 전체 문서 저장소를 처리하는 비용도 원래 추정치의 약 5% 수준으로 낮아졌다. 비식별화 정확도는 95%를 넘어 컴플라이언스 요구사항과 데이터 보안 목표를 충족했다. 헌팅턴은 이 프레임워크를 향후 인수합병처럼 대량 문서 비식별화가 필요한 상황에도 계속 활용할 계획이라고 밝혔다.

🧾 핵심 주장 / 시사점

• 대규모 문서 비식별화의 병목은 단순한 탐지 모델이 아니라, 보안 이동, 서비스 할당량, 동시성 제어, 오류 재처리까지 포함한 전체 파이프라인 설계에 있었다.
• 헌팅턴 사례는 컴플라이언스 요구사항이 명확할수록 아키텍처가 구체화된다는 점을 보여준다. 암호화, 접근 통제, PCI DSS 범위, 온프레미스 복제, 정확도 기준이 모두 설계 제약으로 작동했다.
• 처리량을 높이기 위해서는 무작정 병렬화를 늘리는 것이 아니라 CloudWatch 지표와 Step Functions 실행 요약을 기반으로 스로틀링을 관찰하고 동시성 한도를 조정하는 운영 방식이 중요했다.

✅ 액션 아이템

• 온프레미스 수억 건 문서와 결과를 AWS DataSync·Direct Connect·S3·KMS 연동으로 안전 이동·복구하는 구조를 확정한다.
• 저장·전송 암호화, 접근 통제, PCI DSS 범위 내 사용 조건을 반영해 민감정보 비식별화 기준을 95% 이상으로 설정한다.
• Amazon Textract·AWS Step Functions 기반 파이프라인에서 분산 Map와 CloudWatch 지표로 동시 처리량과 스로틀링을 조정한다.

❓ 열린 질문

• 온프레미스-클라우드 왕복 동기화 지연이 늘면 컴플라이언스 대응 일정은 어느 범위까지 지연을 허용할 수 있는가?
• 비용이 기존 추정치 대비 5%라는 조건에서 추가 보안·운영 강화가 가능해도 허용 가능한 상승 한계는 어디인가?
• 수억 건 문서 처리 환경에서 탐지 정확도 95%를 지속 확보하려면 어떤 문서군에서 오탐/미탐을 추가로 추적해야 하는가?