Aderant builds intelligent ticket triage with Amazon Nova

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Aderant는 Amazon Nova Lite 기반 Intelligent Ticket Analyzer로 지원 티켓 분류·배정을 자동화해 초기 2.5주간 약 96%의 배정 정확도를 기록했으며, 월 $30 미만의 운영비로 주당 8–14시간의 엔지니어링 시간을 회수하는 것으로 추정했다.

📌 핵심 요약

• Aderant의 38명 규모 SierraOps 팀은 전 세계 268개 고객 환경에서 Expert Sierra를 운영하며, 주당 평균 34–40개 지원 티켓의 수동 사전 조사에 건당 15–25분을 사용했다.
• Intelligent Ticket Analyzer는 평일 매시간 미배정 티켓을 검토하고 Jira, Confluence, Amazon Athena, Microsoft SharePoint의 맥락을 결합해 Amazon Nova Lite로 분류와 해결 출발점을 제안한다. 신뢰도가 설정 기준을 충족하면 자동 배정하고, 낮으면 사람의 검토로 넘긴다.
• 2026년 6월 30일–7월 17일 초기 운영에서 109개 티켓을 분석했고 오배정은 4건으로 배정 정확도는 약 96%였다. 배포 전 4주간 측정한 수동 분류 시간을 기준으로 주당 8–14시간, 월 32–56시간의 회수 효과를 추정했으며, 이는 장기 성능 기준이 아닌 초기 결과다.
• Aderant는 실제 티켓을 활용한 모델 비교에서 구체적인 해결 단계 제시, 과거 이슈 연관 분석, 기존 AWS 통합과 비용을 이유로 Amazon Nova Lite를 선택했다. 초기 운영 기준 전체 시스템 비용은 월 $30 미만, Amazon Bedrock 추론 비용은 월 $1 미만이었다.
• 시스템은 반복 이슈와 확인된 해결책을 Confluence에 축적하고 신규 엔지니어에게 환경 정보와 권장 절차를 제공한다. 약 2주의 모니터링 전용 검증을 거쳐 최초 구상 5주 만에 운영을 시작했으며, 향후 고객 이력 분석과 Amazon Bedrock Knowledge Bases 평가를 추진하고 CloudOps Helper를 통한 심층 조사도 유지할 계획이다.

🧩 주요 포인트

1. 반복적인 사전 조사와 배정 자동화 → 엔지니어가 복잡한 문제 해결과 선제적 운영에 집중할 여력을 확보하되, 낮은 신뢰도의 판단에는 사람의 검토를 유지한다.
2. 약 96%의 배정 정확도와 월 $30 미만의 초기 운영비 → 일상적인 티켓에도 AI를 적용할 가능성을 보여주지만, 2.5주의 관측과 기준 시간에 따른 절감 추정을 장기 성과로 일반화할 수는 없다.
3. Confluence에 반복 이슈와 해결책을 축적하고 CloudOps Helper의 심층 조사를 병행 → 자동 분류, 재사용 가능한 지식, 엔지니어의 판단을 연결해 반복 조사와 신규 인력의 지식 탐색 부담을 줄인다.

🧠 상세 정리

1. 수동 티켓 조사의 부담과 자동화 목표

법률 산업용 경영 관리 소프트웨어를 제공하는 Aderant의 SierraOps 팀은 38명으로 구성되며, 전 세계 268개 고객 환경에서 Expert Sierra를 운영한다. 팀이 처리하는 지원 티켓은 주당 평균 34–40개였고, 자동화 전에는 실제 해결 작업을 시작하기까지 티켓마다 15–25분의 수동 조사가 필요했다. 엔지니어는 요청을 해석하고 고객 환경 정보를 찾은 뒤 담당 조직을 판단하며, 문서와 과거 티켓을 검색해 업무를 배정하거나 다른 팀으로 전달했다. 잘못 배정된 티켓은 엔지니어가 발견할 때까지 부적절한 대기열에 남을 수 있었고, 경험이 적은 구성원은 맥락 파악과 배정 판단에 더 많은 시간이나 선임의 도움이 필요했다. Aderant는 반복 가능한 조사를 자동화해 복잡한 문제 해결과 플랫폼 개선에 시간을 돌리면서도, 신뢰도가 낮은 판단에는 사람의 검토를 보존하고자 했다.

2. 다섯 단계의 자동 분석과 사람의 통제

Intelligent Ticket Analyzer는 Amazon EventBridge가 평일 매시간 실행하는 단일 AWS Lambda 함수로 조율되는 서버리스 워크플로다. 먼저 CloudOps 대기열의 미배정 Jira 티켓을 가져오고, Amazon Athena의 고객 메타데이터와 Confluence·Microsoft SharePoint의 관련 지식, Jira의 유사한 해결 완료 티켓을 수집한다. 이어 티켓과 수집한 맥락을 Amazon Bedrock Converse API를 통해 Amazon Nova Lite에 전달해 구조화된 분류와 권장 후속 단계를 얻는다. 실행 단계에서는 분석과 접수 응답을 게시하고, 오배정 티켓을 재배정하며, 적절한 Microsoft Teams 채널에 알리고 지원팀이 해결할 수 있는 상황에 사전 정의된 조치를 적용한다. 배정과 재배정은 신뢰도가 설정된 기준에 도달하면 자율적으로 수행하지만, 낮은 신뢰도의 티켓은 사람의 검토 대상으로 표시한다. 마지막으로 Amazon CloudWatch에 운영 지표를 게시하며, 팀은 신뢰도·오배정·처리 지연을 관찰하고 매주 배정 수정 사례를 검토해 프롬프트와 배정 로직을 개선한다.

3. Amazon Nova Lite를 선택한 근거

Aderant는 Amazon Bedrock에서 여러 기반 모델을 실제 티켓 데이터로 평가한 뒤 Amazon Nova Lite를 선택했으며, 운영 맥락에 대한 구체성, AWS 통합, 티켓 단위의 경제성을 주요 이유로 들었다. 동일한 티켓 내용과 환경 데이터, 운영 절차서, 해결 이력을 제공한 비교에서 팀은 Amazon Nova Lite가 다른 평가 모델보다 구체적인 해결 단계를 추출하고 과거 문제의 연관성을 더 효과적으로 찾았다고 설명했다. 이는 해당 팀의 비교 결과이며, 원문은 비교 대상 모델의 이름이나 별도의 정량 평가 점수를 제시하지 않는다. Amazon Bedrock Converse API, AWS Identity and Access Management 권한, AWS SDK 및 기존 AWS 환경과의 통합은 외부 모델 제공자나 추가 공급업체 계약의 필요성을 줄였다. 또한 초기 운영에서 전체 시스템 비용은 월 $30 미만, Amazon Bedrock 추론 비용은 월 $1 미만으로 제시돼, 우선순위가 높은 사례뿐 아니라 일상적인 티켓도 분석할 수 있는 비용 구조를 뒷받침했다.

4. 시스템 구성과 데이터 처리 경계

원문은 전체 아키텍처를 왼쪽에서 오른쪽으로 이어지는 일곱 단계의 데이터 흐름으로 설명하며, 단일 AWS Serverless Application Model 및 AWS CloudFormation 템플릿으로 배포한다고 밝혔다. Amazon EventBridge가 AWS Lambda를 호출하면 함수는 AWS Secrets Manager에서 인증 정보를 가져오고 Amazon Athena로 환경 메타데이터를 조회한다. 이후 Jira, Confluence, Microsoft Graph API를 호출해 티켓과 지식 맥락을 확보하며, Amazon Bedrock은 Amazon Nova Lite가 생성한 구조화된 분류 결과를 반환한다. Amazon DynamoDB는 여러 티켓에 걸친 패턴 추적을 지원하고, 분석에 따른 조치와 업데이트는 Jira, Microsoft Teams, Confluence에 전달되며 Amazon CloudWatch가 운영 상태를 관찰한다. 데이터 경계는 내부 운영 티켓, 운영 메타데이터, 내부 지식 자료로 제한되며, 분석기는 고객의 법률 사건 데이터나 고객 애플리케이션의 업무 데이터에 접근하거나 이를 처리·저장하지 않는다.

5. 초기 운영 성과와 해석의 한계

2026년 6월 30일부터 7월 17일까지 첫 2.5주간 시스템은 109개 티켓을 분석했고, 오배정 4건을 포함해 약 96%의 배정 정확도를 기록했다. 정확도는 분석기가 지정한 팀과 해당 티켓을 최종적으로 해결한 팀을 비교해 측정했다. 시간 절감 추정에는 배포 전 4주간 측정한 티켓당 15–25분의 수동 사전 조사 기준을 사용했으며, Aderant는 회수되는 엔지니어링 시간을 주당 8–14시간, 월 32–56시간으로 추산했다. 전체 시스템 비용은 월 $30 미만, Amazon Bedrock 추론 비용은 월 $1 미만으로 제시됐고, 회수한 여력은 복잡한 장애 해결과 인프라 개선, 사람의 판단이 필요한 선제적 업무로 전환된다. 다만 원문은 이 수치들이 초기 운영 기간의 결과임을 명시하며, 장기적인 성능 기준으로 해석해서는 안 된다고 강조한다.

6. 실제 티켓 세 건에서 나타난 효과

첫 번째 사례에서는 Azure DevOps 사이트의 404 오류를 설명하는 티켓이 CloudOps AWS 대기열에 들어왔고, 분석기는 이를 CloudOps Azure 문제로 분류했다. 시스템은 담당 팀 필드를 수정하고 요청자에게 재배정 사실을 알려, 잘못 도착한 요청을 적절한 담당 조직으로 전달했다. 두 번째로 근무시간 외에 접수된 원격 접근 설정 요청에서는 고객 환경 데이터와 관련 Confluence 문서를 결합해 작업 절차를 내부 댓글로 게시했다. 담당 엔지니어는 다음 날 아침 추가 조사 없이 30분 이내에 작업을 완료했다. 세 번째 배포 요청에서는 PowerShell 스크립트와 서비스 검증이 필요했는데, 분석기가 명령어와 예상 출력, 문제 해결 지침, 관련 참고 자료를 제공했다. 해당 엔지니어는 선임에게 문제를 넘기지 않고 당일 요청을 해결했으며, 이 사례들은 자동 분석이 적절한 배정과 해결 준비를 지원하는 방식을 보여준다.

7. 반복 이슈의 지식화와 신규 인력 지원

분석기는 동일한 소프트웨어 버전을 사용하는 여러 고객에게서 반복되는 문제 패턴도 감지하며, 설정된 임계값에 도달하면 해당 패턴을 기록하고 전용 Confluence 추적 페이지를 갱신한다. 이후 해결 완료 티켓을 살펴 확인된 수정 방법을 포착하고, 앞으로 들어오는 일치 티켓을 문서화된 해결책에 연결한다. 이 과정은 반복 패턴 발견, 문서화, 확인된 해결책 확보, 후속 티켓 활용으로 이어져 같은 문제를 매번 새로 조사하는 부담을 줄인다. 도입 전에는 익숙하지 않은 티켓을 처리할 때 수동 Confluence 검색이나 선임 엔지니어의 안내가 필요했지만, 이제는 작업 시작 전에 고객 환경 맥락과 관련 지식 문서, 권장 단계가 티켓에 제공된다. 원문은 이것이 엔지니어의 판단을 대체하지 않으며, 신규 구성원에게 더 나은 출발점을 제공하고 숙련된 엔지니어가 복잡한 업무에 더 많은 시간을 쓰도록 돕는다고 설명한다.

8. 구상에서 운영까지 5주의 점진적 검증

Aderant는 처음부터 자율적인 조치를 실행하지 않고, 규칙 기반 접근과 AI 보조 검증을 거쳐 운영 시스템으로 발전시켰다. 초기 Jira 자동화 규칙은 배정 개념을 정립했지만 AWS 맥락, 티켓 이력, 모델 추론을 반영할 수 없었고, 기존 Amazon Quick CloudOps Helper 에이전트가 운영 데이터로 유용한 배정 및 해결 권고를 만들 수 있음을 보여줬다. 실제 운영용 워크플로는 AWS Lambda와 Amazon Nova Lite로 구현했으며, Kiro는 통합 코드의 초기 골격 구성, 아키텍처 검증, 테스트 생성에 활용됐다. 이후 약 2주 동안 실제 티켓을 대상으로 모니터링 전용 테스트를 수행하면서 모델 분류를 수동 판단과 비교하고 프롬프트 및 배정 로직을 조정했다. 시스템은 최초 구상으로부터 5주 뒤인 2026년 6월 30일 정식 운영에 들어갔으며, 이는 Amazon Quick을 활용한 통합 검색과 요청 시 조사에서 예약된 자율 운영 워크플로로 확장한 과정이었다.

9. 향후 확장 방향과 설계의 핵심

Aderant는 향후 시간에 따라 연결되는 관련 티켓을 분석해 고객별로 진행 중인 업무를 더 넓게 파악하는 방향을 제시했다. 티켓과 문서에서 사용하는 용어가 다를 때도 관련 지식을 찾을 수 있도록 Amazon Bedrock Knowledge Bases의 의미 기반 매칭을 평가할 계획이다. 또한 분석기는 정기적인 사전 분류를 맡고, CloudOps Helper 봇은 요청 시 수행하는 심층 조사와 후속 질문을 지원하는 형태를 유지하려 한다. 원문이 강조하는 핵심 설계는 AI가 모든 문제를 독립적으로 해결하도록 하는 것이 아니라, 해결을 지연시키던 맥락 수집과 관련 지식 탐색, 패턴 감지, 업무 배정을 자동화하는 데 있다. 낮은 신뢰도의 결정에 대한 사람의 검토와 재사용 가능한 지식 축적을 함께 유지함으로써, 반복 운영 부담을 줄이고 엔지니어의 역량을 더 가치 있는 업무에 투입할 기반을 마련했다는 것이 글의 결론이다.

🧾 핵심 주장 / 시사점

• 이 사례의 효율화 대상은 티켓 해결 전의 반복 조사와 배정이다. 필요한 맥락과 해결 출발점을 미리 제공하는 것만으로도 엔지니어의 작업 준비 부담을 줄일 수 있음을 보여준다.
• 자동 배정의 신뢰도 기준, 낮은 신뢰도에 대한 사람의 검토, 배정 수정 사례의 피드백이 결합돼 자동화 범위를 통제하면서 개선하는 구조를 이룬다.
• 반복 이슈의 확인된 해결책을 다음 티켓에 연결하는 지식 순환은 개별 티켓의 처리 지원을 넘어 팀 전체의 지식 재사용과 신규 엔지니어의 업무 적응을 돕는다.

✅ 액션 아이템

• 약 96%의 배정 정확도와 주당 8–14시간의 회수 추정치를 초기 2.5주 결과로 구분하고, 장기 운영에서도 유지되는지 확인.
• Intelligent Ticket Analyzer의 자동 배정에서 신뢰도 기준과 낮은 신뢰도에 대한 사람의 검토를 유지.
• Confluence의 반복 이슈·해결책 축적을 이어가고, 지식 매칭 개선을 위한 Amazon Bedrock Knowledge Bases 평가를 추진.

❓ 열린 질문

• 초기 2.5주에 관측한 약 96%의 배정 정확도는 장기 운영에서도 유지될까?
• 주당 8–14시간의 회수 추정치는 실제 엔지니어의 복잡한 문제 해결과 선제적 운영 시간 증가로 얼마나 이어질까?
• Amazon Bedrock Knowledge Bases를 활용하면 현재의 지식 매칭을 얼마나 개선할 수 있을까?