JioStar’s chief architect on AI discovery at 500M-user scale

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

JioStar는 5억 명 이상이 이용하는 플랫폼의 JioHotstar에 OpenAI API 기반 대화형 콘텐츠 탐색 기능을 약 8주 만에 구축했으며, 대규모 운영의 핵심으로 정확도·지연 시간·비용의 균형과 평가·검증·사람의 판단을 강조했다.

📌 핵심 요약

• JioStar는 5억 명 이상의 소비자가 사용하는 엔터테인먼트·라이브 스포츠 플랫폼을 운영하며, 라이브 스포츠 동시 시청자 최대 7,250만 명을 지원한 경험이 있다.
• JioHotstar에 구축한 OpenAI API 기반 탐색 도우미는 자연스러운 대화와 시각적 결과를 결합해 영화·프로그램, 과거 하이라이트, 실시간 경기 장면, 크리켓 통계를 찾도록 지원하며, 약 8주 만에 15개가 넘는 언어를 지원하는 경험으로 개발됐다.
• 사용자의 60% 이상이 텍스트보다 음성을 사용하므로, JioStar는 정확도·지연 시간·비용을 모든 기술 설계에서 함께 고려해야 할 핵심 절충 관계로 설정했다.
• 평가는 도메인 전문가의 지식과 초기 데이터셋에서 출발해 모델로 사례의 변형을 늘리는 방식으로 진행됐으며, 운영 중 고객 행동과 실패를 새로운 평가 사례로 반영하는 순환 구조가 중요하다고 설명했다.
• 소규모 팀은 OpenAI의 현장 배치 엔지니어들과 협업해 가드레일을 먼저 정하고 Codex로 평가 사례 생성과 시스템 갱신을 가속했으며, Vijay Seshadri는 운영 단계의 모델 효과성 모니터링과 검증 역량을 갖춘 사람의 판단을 강조했다.

🧩 주요 포인트

1. 개인적 감정과 서로 다른 탐색 의도 → 음성으로 선호를 설명하고 시각적 선택지를 확인하는 인터페이스가 기존 추천 방식의 한계를 보완할 수 있다.
2. 답변 모델과 검증 모델을 나누는 maker-checker 구조 → 검증 모델 자체도 평가 대상이며, P99 지연 시간과 함께 운영 중 모델 효과성을 살펴야 한다.
3. Codex를 통한 개발 가속 → 생성된 코드의 줄 수보다 실제 성과와 업무·개발 과정의 단순화가 중요하며, 검증할 판단력이 부족하면 운영 위험도 커질 수 있다.

🧠 상세 정리

1. 대규모 플랫폼에서 콘텐츠 탐색을 바꾸려는 시도

JioStar는 5억 명 이상의 소비자가 이용하는 엔터테인먼트·라이브 스포츠 플랫폼을 운영하며, 최대 7,250만 명의 라이브 스포츠 동시 시청자를 지원한 경험이 있다. 최고 아키텍트 Vijay Seshadri는 이런 규모에서 AI가 빠르고 신뢰할 수 있으며 실제 운영에 투입할 준비가 돼 있어야 한다고 설명했다. 그는 지난 25년 동안 콘텐츠 탐색의 큰 변화는 추천 시스템이었고, 이후에는 대체로 같은 아이디어를 개선해 왔다고 봤다. 그러나 슬픈 기분을 달래 줄 작품을 찾는 요청에는 감정의 종류와 개인의 취향처럼 기존 추천만으로 파악하기 어려운 맥락이 담긴다. JioHotstar는 OpenAI API를 활용해 이용자가 말로 선호를 설명하고 시각적 선택지를 확인하는 대화형 탐색 경험을 구현했다.

2. 엔터테인먼트와 크리켓을 약 8주 안에 연결

팀은 10월과 11월에 구상을 구체화하기 시작했으며, 2월의 주요 크리켓 대회를 앞두고 약 두 달이라는 개발 시간을 확보하고 있었다. 엔터테인먼트 이용자는 금요일 저녁에 어울리는 뜻밖의 추천을 원하거나 제목을 모르는 영화를 묘사할 수 있었다. 반면 스포츠 팬은 위켓이 무너지는 장면, 연속된 식스, 특정 선수가 일정 득점을 기록한 경기를 찾고, 크리켓에 정통한 이용자는 공 하나하나의 통계까지 요구할 수 있었다. JioStar는 이렇게 다른 요구를 영화·프로그램, 스포츠 장면, 상세 크리켓 통계를 아우르는 하나의 경험으로 통합했다. 싱가포르의 OpenAI Executive Summit에서 진행된 대담은 이 기능을 약 8주 만에 15개가 넘는 언어로 구축한 과정과 실제 운영으로 옮기며 얻은 교훈을 다뤘다.

3. 정확도·지연 시간·비용의 동시 절충

JioStar는 초기부터 기술 설계의 문제를 정확도·지연 시간·비용 사이의 세 가지 절충 관계로 정의했다. 모든 엔지니어링 결정은 이 세 요소를 동시에 고려해야 했으며, 음성 중심의 사용 방식은 그 중요성을 더 높였다. 사용자의 60% 이상이 텍스트보다 음성을 이용하기 때문에, 말로 요청한 뒤 받는 응답은 관련성이 높고 빠르면서 대규모 운영에서도 경제적으로 유지될 수 있어야 했다. Seshadri는 이런 애플리케이션을 처음 만드는 팀이라면 충분히 준비했다고 생각하더라도 평가의 중요성을 과소평가하기 쉽다고 말했다. 그의 설명에서 반복적인 평가는 개별 기능의 작동 여부를 확인하는 일을 넘어, 규모에 맞는 품질과 응답 속도, 비용을 함께 판단하는 핵심 요소로 제시됐다.

4. 전문가 지식과 운영 피드백으로 평가를 확장

Seshadri는 효과적인 평가 체계를 평가 프레임워크와 검증 계층이라는 두 부분으로 설명했다. 실제 운영에 들어가기 전에는 평가 결과가 시스템의 수정을 이끌어야 하고, 운영 중에는 고객 행동과 실패를 새로운 평가 사례로 바꾸는 피드백 순환이 필요하다. 이런 순환은 스스로 강화될 수 있지만 제대로 구현하기는 매우 어렵다는 점도 함께 강조했다. 스포츠 통계 평가에는 진지한 팬이 무엇을 물을지 이해하는 스포츠 잡지 편집자 같은 도메인 전문가들이 참여했다. 팀은 프롬프트만으로 출발할 수 없다고 보고 깊이 있는 사람의 전문 지식을 초기 데이터셋에 담은 뒤, 모델을 활용해 사례의 변형과 다양성을 늘렸다.

5. 가드레일과 검증 모델, Codex의 역할

소규모 데이터 과학자·엔지니어 팀은 명확한 문제 정의를 중심으로 출발했고, OpenAI의 현장 배치 엔지니어들과 반드시 제대로 구현해야 할 소수의 요소를 좁혀 나갔다. 음성이나 텍스트로는 거의 무엇이든 물을 수 있으므로, 먼저 시스템이 답하지 않아야 할 범위를 정하고 가드레일을 마련했다. 평가에서는 한 모델이 답변 방식을 돕고 다른 모델이 상충하는 목표를 가진 검증자로 작동하는 maker-checker 구조를 사용했다. 그러나 LLM을 심판으로 쓰자 그 심판을 누가 검증할 것인지가 다시 문제가 됐고, 검증 모델의 설계 자체도 평가 과제가 됐다. Codex는 평가 사례 생성과 시스템 갱신을 가속했지만 사람의 판단과 검증 필요성을 없애지는 못했다. Seshadri는 돌아본다면 운영 중 모델 효과성 모니터링에 더 일찍 투자하겠다고 했으며, P99 지연 시간 같은 기존 인프라 지표만으로는 충분하지 않다고 설명했다.

6. 기업 도입의 기준은 성과와 사람의 판단

Seshadri는 기술이 할 수 있는 일과 기업 내부의 현실 사이에는 큰 간극이 있으며, 모든 최첨단 모델 발표에 맞춰 움직이지 못하는 기업도 드물지 않다고 말했다. 또한 눈에 보이는 활동을 의미 있는 진전으로 착각하기 쉽다며, 생성된 코드의 줄 수 같은 투입 지표만으로는 실제 가치를 판단할 수 없다고 강조했다. 그는 AI를 기업의 업무 절차와 작업 흐름, 소프트웨어 엔지니어링 시스템을 크게 단순화할 도구로 봤으며, 이를 활용하지 못하면 큰 기회를 낭비하게 된다고 주장했다. 동시에 기업들이 필요한 사람의 역량과 주도성을 과소평가하므로, 일반적인 교육 프로그램을 넘어 판단력을 갖고 도구를 적용할 사람이 필요하다고 설명했다. 뛰어난 엔지니어에게 Codex를 주면 효과가 커질 수 있지만 운영 시스템을 검증할 판단력이 없으면 위험도 커지므로, 검증과 가드레일을 갖추고 적절한 사람에게 책임을 맡겨야 한다는 것이 그의 결론이다.

🧾 핵심 주장 / 시사점

• 음성과 시각적 선택지의 결합은 단순한 입력 방식의 변화에 그치지 않고, 이용자가 감정과 취향을 설명하며 탐색 의도를 구체화하게 하는 접근으로 해석할 수 있다.
• 평가를 모델로 확장하더라도 도메인 전문가의 초기 지식과 검증 모델에 대한 재평가가 필요하므로, 자동화의 확대와 사람의 판단은 함께 요구된다.
• 개발 속도가 빨라질수록 실제 성과와 운영 중 모델 효과성을 확인하는 역량이 중요해지며, 코드 생성량만으로는 기업 도입의 가치를 설명하기 어렵다.

✅ 액션 아이템

• 음성을 사용하는 60% 이상 이용자의 요구를 기준으로 정확도·지연 시간·비용의 균형을 검토한다.
• maker-checker 구조의 검증 모델 자체를 평가하고, 고객 행동과 실패를 새로운 평가 사례에 반영하며 P99 지연 시간과 모델 효과성을 함께 점검한다.
• Codex 활용 성과를 생성된 코드의 줄 수보다 실제 성과와 업무·개발 과정의 단순화, 운영 시스템을 검증할 사람의 판단력을 중심으로 판단한다.

❓ 열린 질문

• 사용자의 60% 이상이 음성을 사용하는 환경에서 정확도·지연 시간·비용의 균형을 어떤 기준으로 판단하는가?
• maker-checker 구조에서 검증 모델 자체의 평가와 운영 중 모델 효과성 모니터링은 어떻게 연결되는가?
• Codex로 개발을 가속한 효과를 생성된 코드의 줄 수 대신 실제 성과와 업무·개발 과정의 단순화로 어떻게 확인할 수 있는가?