How Fyxer built an AI executive assistant people trust

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Fyxer는 OpenAI 모델, 50만 시간 이상의 비서 업무 데이터, 30~50개의 전문 모델과 사용자 피드백을 결합해 맥락을 이해하는 AI 비서를 구축했다.

📌 핵심 요약

• Fyxer는 이메일·회의·메시지·앱에 걸친 업무 맥락을 따라가는 AI 비서를 개발했으며, 내부 벤치마크 성능, 어조와 의도에 대한 파인튜닝 역량, 밀접한 기술 지원을 이유로 OpenAI를 선택했다.
• 이메일 처리는 30~50개의 전문 모델로 나뉘며, 답장 필요 여부 판단, 의도와 예상 결과 분석, 관련 기억 검색과 맥락 재정렬, 초안 생성 등을 수행한다.
• Fyxer는 사람이 제공하던 비서 서비스에서 축적한 50만 시간 이상의 주석이 달린 업무 데이터를 활용하며, 지도 파인튜닝과 LoRA로 작업별 모델을 만들고 배포 전 정확도·응답 시간·비용을 평가한다.
• 사용자가 수정한 이메일과 원래 초안을 DPO 학습 데이터로 전환하고, 초안 생성 관련 변경은 A/B 테스트에서 통계적으로 유의한 개선이 확인될 때만 출시한다. 현재 AI 초안의 53%가 수정 없이 채택되며, 사용자 규모 덕분에 유의성 기준을 하루 안에 충족하는 경우도 있다.
• 2025년 Fyxer의 연간 반복 매출은 100만 달러에서 3,200만 달러로 증가했다. 공동창업자 Archie Hollingsworth는 사용자의 90% 이상이 90일 시점에도 결제와 매일 사용을 이어간다고 밝혔으며, 회사는 답장 작성을 넘어 소통과 조율을 더 폭넓게 관리하는 비서를 지향한다.

🧩 주요 포인트

1. ~50개의 전문 모델과 관련 기억 검색 → 좋은 답장을 단일 문장 생성이 아닌 관계·의도·맥락에 대한 여러 판단의 결합으로 다룬다.
2. 만 시간 이상의 실제 업무 데이터와 정확도·응답 시간·비용 평가 → 비서의 세밀한 판단을 학습하면서 작업별 성능과 운영 부담을 함께 고려한다.
3. DPO·A/B 테스트와 53%의 무수정 채택률, 90일 시점의 90% 이상 결제·일일 사용 지속 → 사용자 수정과 지속 사용을 품질 개선 및 신뢰 평가의 근거로 삼는다.

🧠 상세 정리

1. 좋은 답장을 좌우하는 업무 맥락

전문직 종사자의 업무에는 받은편지함, 회의, 메시지, 여러 앱에 흩어진 대화와 약속을 추적하는 일이 포함되며, 맥락을 놓치면 프로젝트와 관계에 문제가 생길 수 있다. Fyxer는 도구 사이로 업무가 이동해도 그 흐름을 따라가는 AI 비서를 구축했다. 같은 이메일을 받아도 상대와의 관계, 이전 대화, 각자의 목표에 따라 필요한 답장은 완전히 달라질 수 있어 이메일 작성은 겉보기보다 어려운 과제다. 공동창업자 Archie Hollingsworth는 사람이 쉽게 하는 일이 컴퓨터에는 어렵다는 모라벡의 역설로 이 문제를 설명한다. Fyxer는 각 사용자의 업무 방식을 학습해 무엇이 중요한지 이미 아는 비서처럼 대응하려 한다.

2. OpenAI 선택의 근거와 협업 방식

OpenAI의 최첨단 모델은 이메일 내용 이해부터 적절한 맥락 검색, 실제 초안 생성까지 Fyxer 경험의 주요 단계를 지원한다. Fyxer가 OpenAI를 선택한 이유는 자사 내부 벤치마크에서 가장 좋은 성능을 보였고, 어조와 의도처럼 주관적인 과제에 필요한 강력한 파인튜닝 기능을 제공했기 때문이다. 여기에 화이트보드 세션과 기술 협업을 통한 직접적인 엔지니어링 지원도 선택 근거로 작용했다. Hollingsworth는 Slack으로 질문하면 빠르게 답을 얻고, 문제가 생기면 OpenAI 팀이 사무실에 와서 함께 해결한다고 설명했다. 이 사례에서 모델 제공사와의 관계는 모델 접근뿐 아니라 실제 제품 문제를 공동으로 풀어가는 협업까지 포함한다.

3. 이메일을 30~50개의 작은 판단으로 분해

Fyxer는 이메일을 하나의 텍스트 생성 과제로 취급하는 대신, 좁은 역할을 맡은 30~50개의 전문 모델로 작업을 나눴다. 새 이메일이 도착하면 먼저 답장 판단 모델이 응답이 필요한지, 일정 관련 조치가 필요한지, 단순히 사용자에게 보여줄 정보인지 분류한다. 답장이 필요하면 추가 모델들이 의도와 예상 결과를 분석해 대화가 회의 일정 확정, 요청 해결, 장기적인 관계 유지 중 어느 방향으로 이어지는지 판단한다. 기억도 핵심 요소로, 대화 이후에도 보존할 정보와 한 번의 교환 뒤 사라져야 할 정보를 구분해야 한다. 검색 모델은 새 이메일과 저장된 상호작용을 비교해 해당 인물과 대화에 가장 관련 있는 기억을 찾아내며, OpenAI 모델은 내용 이해와 맥락 검색·재정렬, 이메일 생성에 활용된다.

4. 실제 비서의 판단을 학습하고 배포 전 검증

Fyxer는 AI 제품 출시 전에 수년간 사람이 직접 수행하는 비서 서비스를 운영하며, 50만 시간 이상의 주석이 달린 비서 업무 데이터를 축적했다. 여기에는 언제 빨리 답하고 언제 기다릴지, 어떤 이전 대화가 중요한지, 같은 요청에도 사람마다 어떻게 다르게 대응할지 같은 세밀한 판단이 담겼다. 회사는 전체 시스템에 걸쳐 지도 파인튜닝과 Low-Rank Adaptation(LoRA)을 활용해 학습 비용을 관리하면서 작업별 모델 변형을 만든다. 개발 초기에는 높은 정확도가 필요한 작업에 OpenAI 파인튜닝 플랫폼을 사용했고, 최근에는 OpenAI의 관리형 파인튜닝 팀과 협력해 새 체크포인트를 운영 환경에 배포했다. 모든 모델은 배포 전에 초안 작성·분류·우선순위 지정 등 자체 이메일 과제의 검증 세트로 평가하며, 작업에 따라 최적의 선택이 달라지므로 정확도와 응답 시간, 비용을 함께 고려한다.

5. 사용자 수정에서 학습하는 개선 순환

배포 이후에도 Fyxer는 실제 사용자 피드백으로 시스템을 개선하며, 사용자가 발송 전에 초안을 수정하면 원본과 최종 이메일의 차이를 선호의 신호로 활용한다. 이 비교를 Direct Preference Optimization(DPO) 학습 데이터로 바꾸어, 모든 사례에 수동으로 라벨을 붙이는 대신 원래 초안과 사용자가 수정한 출력의 쌍에서 학습한다. 초안 생성 관련 변경은 모두 A/B 테스트를 거치며, 통계적으로 유의한 개선이 있을 때만 새 버전을 출시한다. 사용자 규모 덕분에 이 기준을 하루 안에 충족하는 경우도 있지만, 항상 가능한 것으로 제시되지는 않는다. 현재 AI가 생성한 초안의 53%가 수정 없이 채택되며, 원문은 이를 상당수 실제 대화에서 사용자의 의도와 어조를 올바르게 예측하고 있다는 신호로 해석한다.

6. 성장과 유지율, 더 능동적인 비서로의 확장

2025년 한 해 동안 Fyxer의 연간 반복 매출은 100만 달러에서 3,200만 달러로 증가했지만, Hollingsworth는 더 강한 신호로 사용자 유지율을 꼽는다. 그의 설명에 따르면 사용자의 90% 이상이 90일 시점에도 비용을 지불하면서 매일 서비스를 사용한다. 고객 중에는 기술에 익숙하지 않은 사람이 많고, 일부에게 Fyxer는 매일 사용하는 첫 AI 시스템이다. 앞으로 회사는 관계와 선호, 진행 중인 업무 흐름을 더 풍부하게 이해해 답장 초안 작성을 넘어 사용자의 소통과 조율 업무를 폭넓게 관리하는 비서로 발전하려 한다. 사용자가 좋아하는 일에 집중하고 컴퓨터를 열지 않아도 Fyxer에 업무를 맡길 수 있게 하겠다는 발언은 현재 달성된 기능이 아니라 장기적인 비전으로 제시된다.

🧾 핵심 주장 / 시사점

• 이 사례에서 맥락 이해는 단순히 많은 정보를 보관하는 능력이 아니라, 현재 대화에 필요한 기억을 선택하고 의도와 관계를 함께 판단하는 능력으로 구체화된다.
• 실제 비서 업무 데이터는 초기 학습의 기반을 제공하고, 사용자 수정은 배포 이후의 선호 학습을 이어가게 한다. A/B 테스트는 이런 학습이 실제 개선으로 이어졌는지 확인하는 단계다.
• 53%의 무수정 채택률과 90일 시점의 결제·일일 사용 지속은 서로 다른 성과 신호다. 원문은 이를 의도·어조 예측과 지속적인 활용의 근거로 제시하지만, 각각의 설계 요소가 성과에 기여한 정도를 분리해 보여주지는 않는다.

✅ 액션 아이템

• 30~50개의 전문 모델이 맡는 답장 판단·의도 분석·관련 기억 검색의 역할을 구분해 검토한다.
• 50만 시간 이상의 실제 업무 데이터 활용과 작업별 정확도·응답 시간·비용 평가 방식을 함께 살펴본다.
• DPO와 A/B 테스트를 통한 개선을 53%의 무수정 채택률 및 90일 시점의 90% 이상 결제·일일 사용 지속과 함께 평가한다.

❓ 열린 질문

• 30~50개의 전문 모델에서 관련 기억 검색의 적절성은 어떤 기준으로 평가하는가?
• 작업별 모델을 선택할 때 정확도·응답 시간·비용 사이의 우선순위는 어떻게 정하는가?
• 답장 작성을 넘어 소통과 조율로 범위를 넓힐 때 53%의 무수정 채택률과 90일 시점의 90% 이상 결제·일일 사용 지속은 어떻게 달라질까?