🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Loka는 Amazon Nova 2 Sonic 기반의 음성-음성 에이전트로 기존 음성 비서의 지연·비용·대화 품질 문제를 줄이고, 딜러십 고객 응대에 더 자연스럽고 빠른 실시간 대화 경험을 구현했다.

📌 핵심 요약

• 기존 음성 비서는 음성 인식, LLM 처리, 음성 합성의 3단계 파이프라인을 거치며 지연이 누적되고, 말투·망설임·긴급성 같은 음성 단서가 텍스트 변환 과정에서 사라지는 문제가 있었다.
• Amazon Nova 2 Sonic은 음성을 직접 입력받아 이해·추론·응답 생성을 통합 처리하는 음성-음성 방식으로, Big Bench Audio에서 87.0의 음성 추론 점수를 기록했고 첫 오디오 응답 시간은 1.39초로 측정됐다.
• Loka는 LLM-as-a-judge 평가 파이프라인으로 응답 적절성, 의도 이해, 완결성, 오류 회복, 자연스러움을 점검했으며, Nova 2 Sonic은 기존 Nova Sonic 대비 특히 완결성에서 큰 개선을 보였다.
• 프롬프트를 코드처럼 반복 개선한 결과 전체 평가 점수는 2.7에서 3.8까지 올랐고, 템플릿 변수, 명확한 섹션 구조, 행동 예시, 사전 응답 체크리스트를 통해 에이전트의 발화·청취·확인 방식이 안정화됐다.
• 프로덕션 구조는 LiveKit, Python 함수 기반 도구, AWS Fargate·ECS·RDS·ElastiCache, Amazon Bedrock, Langfuse를 조합해 웹과 전화 채널을 모두 처리하고, 딜러십 업무 시스템과 실시간으로 연동되도록 설계됐다.

🧩 주요 포인트

1. 기존 음성 비서는 음성 인식, LLM 처리, 음성 합성의 3단계 파이프라인을 거치며 지연이 누적되고, 말투·망설임·긴급성 같은 음성 단서가 텍스트 변환 과정에서 사라지는 문제가 있었다.
2. Amazon Nova 2 Sonic은 음성을 직접 입력받아 이해·추론·응답 생성을 통합 처리하는 음성-음성 방식으로, Big Bench Audio에서 87.0의 음성 추론 점수를 기록했고 첫 오디오 응답 시간은 1.39초로 측정됐다.
3. Loka는 LLM-as-a-judge 평가 파이프라인으로 응답 적절성, 의도 이해, 완결성, 오류 회복, 자연스러움을 점검했으며, Nova 2 Sonic은 기존 Nova Sonic 대비 특히 완결성에서 큰 개선을 보였다.
4. 프롬프트를 코드처럼 반복 개선한 결과 전체 평가 점수는 2.7에서 3.8까지 올랐고, 템플릿 변수, 명확한 섹션 구조, 행동 예시, 사전 응답 체크리스트를 통해 에이전트의 발화·청취·확인 방식이 안정화됐다.
5. 프로덕션 구조는 LiveKit, Python 함수 기반 도구, AWS Fargate·ECS·RDS·ElastiCache, Amazon Bedrock, Langfuse를 조합해 웹과 전화 채널을 모두 처리하고, 딜러십 업무 시스템과 실시간으로 연동되도록 설계됐다.

🧠 상세 정리

1. 기존 음성 비서가 대화감을 깨뜨리는 이유

원문은 전통적인 음성 비서가 음성을 텍스트로 바꾸고, 텍스트를 LLM에 전달한 뒤, 다시 음성으로 합성하는 3단계 구조를 따른다고 설명한다. 이 구조에서는 각 단계마다 지연이 누적되어 응답 전 3~5초의 공백이 생기기 쉽다. 사용자는 이런 공백을 자연스러운 사고 시간으로 느끼기보다 대화가 끊기거나 시스템이 멈춘 것처럼 받아들인다. 특히 말을 끊거나 정정해야 하는 상황에서는 반응이 둔하고 답답해져, 음성 비서가 사람과 대화하는 느낌을 주지 못한다.

2. 자동차 딜러십 사례로 드러난 복합 의도 처리의 어려움

원문은 자동차 딜러십에 전화를 건 고객이 특정 SUV를 찾되 하이브리드는 제외하고, 방문 가능 시간이 오후 5시 이후라고 말하는 장면을 예로 든다. 이 짧은 발화 안에는 구매 의도, 부정 조건, 일정 제약이 동시에 들어 있으며, 상담 에이전트는 이를 한 번에 이해해야 한다. 하지만 음성을 텍스트로 바꾸는 과정에서 말투, 망설임, 긴급성 같은 정보가 사라지면 문장 표면만 남아 고객의 실제 상황을 놓칠 수 있다. 판매 대화에서 5초의 침묵은 매우 길게 느껴지고, 잘못 이해한 뒤 재확인을 반복하면 고객 경험과 브랜드 신뢰가 모두 악화된다.

3. 음성-음성 모델이 제시한 다른 접근법

Loka가 채택한 핵심 전환은 오디오 스트림을 직접 음성-음성 모델에 보내는 방식이다. 이 접근은 이해, 추론, 생성 과정을 분리된 파이프라인으로 처리하지 않고 하나의 통합 시스템으로 다룬다. 그 결과 텍스트 변환 중심 구조에서 놓치기 쉬운 억양, 감정, 미묘한 단서를 더 잘 활용할 수 있다고 원문은 설명한다. 즉 속도만 개선하는 것이 아니라, 실제 통화에서 고객이 어떤 상태로 말하는지까지 반영할 가능성을 높이는 구조적 변화로 제시된다.

4. Big Bench Audio에서 확인한 추론 성능과 지연 개선

원문은 음성-음성 접근이 지능을 희생하지 않는지 확인하기 위해 Big Bench Audio를 사용했다고 밝힌다. Amazon Nova 2 Sonic은 음성 추론 점수 87.0을 기록했으며, 비교 대상으로 제시된 Gemini 2.5 Flash Native Audio의 71.0과 GPT Realtime의 83.0보다 높았다. 지연 측면에서는 Time to First Audio가 1.39초로 측정되어, 사용자가 말을 끊고 들어오는 ‘barge-in’ 상황에서도 더 자연스럽게 반응할 수 있었다. 비용 역시 입력 오디오 기준 시간당 약 0.27달러로 제시되어, 대규모 지점 운영에서 중요한 비용 효율성도 함께 강조됐다.

5. LLM-as-a-judge 평가로 본 Nova 2 Sonic의 품질 개선

Loka는 지연과 비용만으로 품질을 판단하지 않고, LLM을 평가자로 사용하는 자동 평가 파이프라인을 만들었다. 각 대화는 응답 적절성, 의도 이해, 완결성, 대화 자연스러움 등의 항목에서 1~5점 척도로 평가됐다. Nova Sonic과 Nova 2 Sonic을 비교한 결과 응답 적절성은 2.5에서 2.9로, 의도 이해는 2.9에서 3.0으로, 자연스러움은 2.5에서 2.8로 올랐다. 가장 큰 변화는 완결성이 1.8에서 2.5로 오른 부분으로, 복잡한 작업을 끝까지 수행할 가능성이 높아졌다는 의미로 해석된다.

6. 프롬프트를 코드처럼 다룬 반복 최적화

원문은 기반 모델이 좋아도 프로덕션 수준의 에이전트를 만들려면 프롬프트 최적화가 필요했다고 설명한다. Loka는 프롬프트를 코드처럼 다루며 측정 결과를 바탕으로 반복 개선했고, Nova 2 Sonic 기본 설정의 전체 점수 2.7을 첫 번째 개선에서 3.1로, 두 번째 개선에서 3.8까지 끌어올렸다. 이 개선은 에이전트가 언제 말하고, 언제 듣고, 언제 명확화를 요청해야 하는지를 더 잘 구분하도록 만든 데서 나왔다. 또한 반복 발화를 줄이고 turn discipline을 강화해 실제 통화 흐름에 더 가까운 행동을 하도록 조정했다.

7. 템플릿화, 예시, 관리 체계로 확장 가능한 프롬프트 운영 구축

팀은 하드코딩된 딜러십 정보를 {assistant_name}, {dealership_address} 같은 템플릿 변수로 대체해 여러 딜러십에서 같은 기본 프롬프트를 재사용할 수 있게 했다. 번호 목록 대신 ‘Tool Usage Rules’, ‘Error Recovery’, ‘Conversation Endings’처럼 명확한 제목 아래 bullet 구조를 사용해 모델의 행동 경계를 더 분명히 했다. 또한 호출자의 말을 그대로 반복하지 않고 인정하는 방법 등 구체적인 행동 예시와 사전 응답 체크리스트를 넣었다. Amazon Bedrock Prompt Management는 템플릿 버전 저장과 배포 흐름을 맡았고, IAM 접근 제어를 통해 작성·승인·배포 권한을 관리하는 거버넌스 계층도 추가됐다.

8. 고객 페르소나 테스트에서 확인한 강점과 남은 과제

실제 딜러십 통화에 가까운 검증을 위해 팀은 화난 고객, 바쁜 부모, 수다스러운 고객, 혼란스러운 고객, 고령 고객 같은 시나리오를 테스트했다. 바쁜 부모 시나리오는 다섯 평가 항목 모두에서 5.0을 받아, 방해, 배경 소음, 시간 압박이 있는 상황에서도 잘 대응한 것으로 나타났다. 화난 고객과 혼란스러운 고객은 각각 전체 4.5점을 받아 공감적이고 침착한 대응과 명확화 능력을 보여줬다. 반면 수다스러운 고객과 고령 고객은 전체 3.0점에 그쳤고, 긴 입력이 산만하게 이어질 때 완결성과 오류 회복이 약해지는 문제가 향후 개선 지점으로 드러났다.

9. LiveKit과 AWS 기반의 프로덕션 아키텍처

프로덕션 배포를 위해 Loka는 LiveKit을 전송 계층으로 사용하는 서버리스 이벤트 기반 시스템을 설계했다. LiveKit은 웹 클라이언트용 WebRTC와 전화 통화용 SIP의 복잡성을 추상화해, 엔지니어링 팀이 에이전트 로직에 집중할 수 있게 했다. 음성 에이전트는 재고 검색, 예약, 고객 데이터 조회 같은 Python 함수 기반 도구를 통해 딜러십 운영 시스템과 연결된다. 모델이 도구 사용 시점을 판단하면 해당 함수가 GraphQL query 또는 mutation을 실행하고, 구조화된 데이터를 다시 에이전트에 돌려주는 방식으로 통화 중 실제 업무 처리를 수행한다.

10. 확장성, 상태 관리, 관측 가능성을 고려한 운영 구조

컴퓨트 계층은 AWS Fargate와 Amazon ECS 위에 컨테이너화된 LiveKit Agents로 구성되어, 에이전트 워커와 미디어 서버를 독립적으로 확장할 수 있게 했다. Amazon RDS는 딜러십 설정, 대화 기록, 고객 레코드 같은 구조화된 애플리케이션 데이터를 저장하는 관계형 저장소로 사용됐다. 실시간 음성 에이전트가 데이터베이스 지연을 견디기 어렵기 때문에, Amazon ElastiCache는 room 관리와 분산 작업 간 임시 세션 조정을 맡았다. Langfuse는 AWS 위에 자체 호스팅되어 모든 에이전트 결정과 도구 호출을 추적했고, 이 관측 데이터는 지속적인 평가와 개선 파이프라인에 다시 투입됐다.

🧾 핵심 주장 / 시사점

• 이 사례의 핵심은 단순히 음성 응답을 빠르게 만든 것이 아니라, 음성 입력을 텍스트로 납작하게 만들기 전에 억양·감정·긴급성까지 포함한 상태로 추론하도록 구조를 바꾼 데 있다.
• 프롬프트 개선이 전체 점수를 2.7에서 3.8로 끌어올린 점은 음성 에이전트 품질이 모델 선택만이 아니라 평가 루프, 예시 설계, 발화 규칙, 운영 거버넌스에 크게 좌우된다는 사실을 보여준다.
• 페르소나 테스트에서 긴 입력과 산만한 발화가 약점으로 드러난 만큼, 실제 고객센터형 음성 에이전트는 낮은 지연뿐 아니라 장황한 발화를 구조화하고 복구하는 능력을 별도 품질 축으로 관리해야 한다.

✅ 액션 아이템

• 기존 음성 비서의 3단계(음성인식·LLM·합성) 파이프라인과 Nova 2 Sonic 음성-음성 경로를 딜러십 고객응대 시나리오로 비교해 지연·비용·품질 차이를 정량화한다.
• LLM-as-a-judge 평가 항목(적절성, 의도 이해, 완결성, 오류 회복, 자연스러움)으로 에이전트 점수 체계를 맞추고 반복 시험 기준을 Nova 2 Sonic 기반으로 고정한다.
• 템플릿 변수, 섹션 구조, 행동 예시, 사전 응답 체크리스트를 조합해 프롬프트를 반복 개선하고, 반영 전후 점수를 2.7에서 3.8 같은 개선 추세로 추적한다.

❓ 열린 질문

• 3단계 텍스트 변환형 음성 비서에 비해 음성-음성 방식이 실제 응대에서 체감 지연을 어느 수준까지 낮출 수 있는가?
• Big Bench Audio 87.0과 첫 오디오 응답 1.39초 수치가 딜러십 실무 대화의 완결성 개선으로 얼마만큼 직접적으로 반영되는가?
• LiveKit, Python 함수 도구, Fargate·ECS·RDS·ElastiCache, Bedrock, Langfuse 조합에서 웹·전화 동시 처리 시 어떤 지점에서 실시간 연동 병목을 점검할 것인가?