🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Tolan은 GPT-5.1의 낮은 지연시간과 높은 지시 이행 능력을 바탕으로, 매 턴 재구성되는 문맥과 정교한 기억·캐릭터 시스템을 결합해 자연스럽고 일관된 음성형 AI 동반자를 구현했다.

📌 핵심 요약

• Portola가 만든 Tolan은 대화를 거듭하며 사용자를 학습하는 개인화된 애니메이션 캐릭터와 음성으로 소통하는 AI 동반자다.
• GPT-5.1과 Responses API 도입으로 발화 시작 시간이 0.7초 이상 단축되어 실시간 음성 대화의 흐름이 눈에 띄게 개선됐다.
• Tolan은 프롬프트를 여러 턴에 걸쳐 캐시하지 않고, 최근 대화 요약·페르소나 카드·검색된 기억·어조 지침·앱 신호를 조합해 매 턴 문맥을 새로 구성한다.
• 사실과 선호뿐 아니라 감정적 분위기까지 기억하고, 야간 압축 작업으로 저가치·중복 기억과 모순을 정리하면서 장기 대화의 일관성을 유지한다.
• GPT-5.1 기반 페르소나 적용 후 기억 회상 실패가 30% 감소하고 다음 날 사용자 유지율이 20% 이상 상승했으며, Tolan은 월간 활성 사용자 20만 명 이상으로 성장했다.

🧩 주요 포인트

1. Portola가 만든 Tolan은 대화를 거듭하며 사용자를 학습하는 개인화된 애니메이션 캐릭터와 음성으로 소통하는 AI 동반자다.
2. GPT-5.1과 Responses API 도입으로 발화 시작 시간이 0.7초 이상 단축되어 실시간 음성 대화의 흐름이 눈에 띄게 개선됐다.
3. Tolan은 프롬프트를 여러 턴에 걸쳐 캐시하지 않고, 최근 대화 요약·페르소나 카드·검색된 기억·어조 지침·앱 신호를 조합해 매 턴 문맥을 새로 구성한다.
4. 사실과 선호뿐 아니라 감정적 분위기까지 기억하고, 야간 압축 작업으로 저가치·중복 기억과 모순을 정리하면서 장기 대화의 일관성을 유지한다.
5. GPT-5.1 기반 페르소나 적용 후 기억 회상 실패가 30% 감소하고 다음 날 사용자 유지율이 20% 이상 상승했으며, Tolan은 월간 활성 사용자 20만 명 이상으로 성장했다.

🧠 상세 정리

1. 지속적인 음성 대화를 위한 AI 동반자

Tolan은 사용자가 개인화된 애니메이션 캐릭터와 음성으로 대화하고, 그 캐릭터가 시간이 지나면서 대화 내용을 학습하도록 설계된 AI 동반자다. Portola는 짧은 질문과 답변을 처리하는 도구가 아니라, 주제가 자유롭게 바뀌고 오래 이어지는 개방형 대화를 목표로 제품을 만들었다. 그러나 음성에서는 입력된 문장에 답하는 것보다 빠른 반응, 실시간 주제 추적, 자연스러운 말투, 캐릭터의 일관성을 동시에 유지하는 일이 훨씬 어렵다. 기반 모델의 성능과 비용 효율이 개선되자 팀은 차별화의 핵심을 기억과 캐릭터 설계에 두었고, 애니메이터와 공상과학 작가가 만든 세계관을 실시간 문맥 관리 기술과 결합했다. GPT-5.1은 이 구성 요소들을 실제 대화에서 더 충실하게 작동시키는 전환점이 되었다.

2. 음성 경험을 바꾼 지연시간 단축

음성 사용자는 대화 도중 생각이나 주제를 바꾸더라도 상대가 거의 즉시 자연스럽게 반응하기를 기대한다. Tolan은 이런 기대를 충족하기 위해 응답 속도를 핵심 설계 조건으로 삼았으며, GPT-5.1과 OpenAI Responses API를 도입한 뒤 음성 발화가 시작되기까지 걸리는 시간을 0.7초 이상 줄였다. 이 차이는 수치상으로는 짧아 보이지만, 침묵이나 끊김에 민감한 음성 대화에서는 대화 흐름을 체감할 만큼 개선하는 변화였다. 중요한 점은 모델이 단순히 더 빠르게 답하는 데 그치지 않고, 대화의 어조와 캐릭터 설정을 지키면서 신속하게 반응해야 한다는 것이다. GPT-5.1은 지연시간과 조정 가능성 모두에서 개선을 제공해 Tolan의 음성 상호작용을 더 즉각적이고 몰입감 있게 만들었다.

3. 매 턴 문맥을 다시 만드는 실시간 구조

Tolan은 여러 대화 턴에 걸쳐 캐시된 프롬프트를 계속 사용하는 일반적인 방식 대신, 사용자가 메시지를 보낼 때마다 문맥 창을 처음부터 다시 구성한다. 재구성되는 문맥에는 최근 메시지의 요약, 캐릭터의 페르소나 카드, 벡터 검색으로 불러온 기억, 어조 지침, 실시간 앱 신호가 함께 포함된다. 사용자가 대화 도중 갑자기 다른 주제로 이동하면 기존 문맥을 고정적으로 이어 붙이는 방식은 변화에 둔감하거나 불필요한 정보에 얽매일 수 있지만, 이 구조는 현재 발화에 맞춰 필요한 요소를 새로 선택한다. 그 결과 Tolan은 주제 전환에 실시간으로 적응하면서도 캐릭터의 성격과 대화의 연속성을 유지할 수 있다. 매 턴 문맥을 재구성하는 작업은 기술적으로 부담이 크지만, Portola는 이를 자연스러운 음성 대화를 성립시키는 기반으로 평가한다.

4. 사실과 감정적 분위기를 함께 다루는 기억 시스템

장기간 이어지는 비선형 대화를 일관되게 만들기 위해 Tolan은 단순한 사용자 정보나 선호뿐 아니라 대화의 감정적 분위기를 나타내는 신호도 기억한다. 기억은 OpenAI의 text-embedding-3-large로 임베딩되어 고속 벡터 데이터베이스인 Turbopuffer에 저장되며, 검색 시간은 50밀리초 미만으로 유지된다. 각 대화 턴에서는 사용자의 최신 메시지와 시스템이 생성한 질문을 함께 사용해 관련 기억을 불러오는데, 예를 들어 사용자의 배우자가 누구인지와 같은 질문이 회상 조건으로 활용될 수 있다. 또한 매일 밤 압축 작업을 실행해 ‘오늘 커피를 마셨다’처럼 장기적으로 가치가 낮은 정보나 중복 항목을 제거하고 서로 모순되는 기억을 정리한다. 이러한 저장·검색·정제 과정은 빠른 응답을 방해하지 않으면서 과거 대화를 현재 대화에 의미 있게 연결하기 위한 장치다.

5. 캐릭터 일관성과 GPT-5.1의 지시 이행 능력

각 Tolan의 성격은 사내 공상과학 작가가 작성하고 행동 연구자가 다듬은 고유한 캐릭터 뼈대에서 시작된다. 이 초기 설정은 캐릭터의 핵심 정체성을 유지하게 하면서도 사용자와의 관계가 쌓임에 따라 성격과 반응이 유연하게 변화할 여지를 제공한다. 별도의 시스템은 대화의 감정적 분위기를 관찰하고 전달 방식을 조절해, 캐릭터가 본래 성격을 잃지 않은 채 장난스러운 태도에서 차분하고 현실적인 태도로 전환하도록 돕는다. GPT-5.1 도입 후에는 어조 구조, 주입된 기억, 성격 특성과 같은 여러 층의 프롬프트 지침이 긴 대화에서도 더 충실하게 유지됐고, 이전에 우회 처리가 필요했던 프롬프트도 의도대로 작동하기 시작했다. 제품 내 불만 신호를 기준으로 기억 회상 실패가 30% 감소했으며, GPT-5.1 기반 페르소나 공개 후 다음 날 사용자 유지율도 20% 이상 상승했다.

6. 사용자 성장과 음성 AI의 다음 단계

2025년 2월 출시된 Tolan은 월간 활성 사용자 20만 명 이상으로 성장했고, 앱스토어에서 평점 4.8점과 리뷰 10만 건 이상을 기록했다. 사용자가 이틀 전에 나눈 이야기를 캐릭터가 기억해 현재 대화로 다시 가져온다는 리뷰는 저지연 모델 호출, 매 턴 문맥 재구성, 모듈형 기억·페르소나 시스템이 실제 경험으로 이어지고 있음을 보여준다. 이 구조는 하나의 거대하고 취약한 프롬프트에 의존하지 않고도 주제 변화를 추적하고, 어조를 보존하며, 응답이 관련 문맥에 근거하도록 만든다. 앞으로 팀은 기억 압축을 더 정교하게 만들고, 검색 로직을 개선하며, 페르소나 조정 범위를 확대할 계획이다. 장기적으로는 음성에만 즉각 반응하는 수준을 넘어 음성·시각·문맥을 하나의 조정 가능한 시스템으로 통합하는 멀티모달 에이전트를 목표로 한다.

🧾 핵심 주장 / 시사점

• 실시간 음성 AI의 자연스러움은 모델의 응답 품질만이 아니라 발화 시작 지연시간, 주제 전환 대응, 기억 검색 속도가 함께 충족될 때 형성된다.
• Tolan은 장기 대화를 하나의 큰 프롬프트로 유지하기보다 최근 요약·페르소나·검색 기억·실시간 신호를 매 턴 조립함으로써 변화에 대한 적응성과 캐릭터 일관성을 동시에 확보했다.
• 기억의 양을 무조건 늘리는 것이 아니라 저가치·중복 정보와 모순을 지속적으로 압축하고 정리하는 과정이 정확한 회상과 사용자 유지율 개선에 중요한 역할을 했다.

✅ 액션 아이템

• GPT-5.1과 Responses API로 발화 시작이 0.7초 이상 단축된 효과를 반영해 실시간 음성 대화의 지연 허용치와 품질 판정 기준을 정량화한다.
• 프롬프트 캐시 없이 최근 대화 요약·페르소나 카드·검색 기억·어조 지침·앱 신호를 결합해 매 턴 문맥을 재구성하는 흐름을 점검한다.
• 사실·선호뿐 아니라 감정적 분위기를 기억하고 야간 압축으로 저가치·중복·모순 기억을 정리해 장기 대화 일관성을 유지하는 수준을 비교한다.

❓ 열린 질문

• 기억 회상 실패 30% 감소 효과가 다음 날 사용자 유지율 20% 이상 상승으로 이어진 인과 관계를 어떤 지표로 검증할 것인가?
• 다턴 문맥 재구성에서 페르소나 카드, 검색 기억, 어조 지침, 앱 신호의 조합은 실시간성보다 어떤 일관성 지표를 더 크게 끌어올리는가?
• 감정적 분위기까지 반영한 기억 구조가 월 활성 사용자 20만 명 이상 성장에 기여한 비중을 어떤 방식으로 분리해 판단할 수 있는가?