What It Takes to Build an AI That Actually Knows You
Quick Summary
What It Takes to Build an AI That Actually Knows You를 중심으로, First Person Labs의 ‘세컨드(Second)’는 여러 에이전트가 함께 참조하는 개인 모델이다. 항공편 예약을 맡은 에를 핵심 판단 포인트로 압축 정리한다.
영상 보기
클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론
What It Takes to Build an AI That Actually Knows You를 중심으로, First Person Labs의 ‘세컨드(Second)’는 여러 에이전트가 함께 참조하는 개인 모델이다. 항공편 예약을 맡은 에를 핵심 판단 포인트로 압축 정리한다.
📌 핵심 요점
- First Person Labs의 ‘세컨드(Second)’는 여러 에이전트가 함께 참조하는 개인 모델이다. 항공편 예약을 맡은 에이전트가 세컨드에서 선호 좌석과 공항에 도착하고 싶은 시간을 받아오면, 사용자는 예약할 때마다 같은 설명을 되풀이할 필요가 줄어든다.
- 세컨드는 앱을 오가는 행동을 메시지·이메일 같은 서비스의 정보와 연결해 사용자가 하려는 일을 추론한다. 한 초기 사용자는 행사 준비를 의논한 뒤 세컨드가 날씨 예보의 변화를 먼저 알려줘 천막이 필요할지 판단하는 데 도움이 됐다고 했다.
- 켄의 설명에 따르면 ‘세컨드 로컬’은 기록을 기기에 보관하고 사용자가 고른 서비스에 분석을 맡긴다. 비밀번호처럼 처음부터 저장하지 않을 정보는 규칙으로 정할 수 있지만, 보관한 정보를 다른 사람에게 알려줘도 되는지는 상대와의 관계와 대화 맥락에 따라 달라진다.
- 활동을 미리 해석하면 질문이 들어왔을 때 빠르게 답할 수 있지만, 질문이 없는 동안에도 비용이 든다. 켄은 일정을 옮긴 행동을 해석하는 일과 한 주의 목표를 추론하는 일에 필요한 모델 성능과 실행 빈도가 다르다고 설명했다.
- 개발팀은 직접 제공하는 접점을 문자 대화와 API로 좁혔다. 다른 앱은 API로 사용자의 최근 작업이나 다음 주 우선순위를 조회할 수 있다. 여러 기기에서 같은 세컨드와 자연스럽게 대화하는 경험은 장기 구상이다.
🧩 배경과 문제 정의
- 개인용 에이전트는 사용자의 요청을 처리할 수 있어도 그 요청의 배경까지 알기는 어렵다. 항공편 하나를 예약할 때도 선호 좌석, 탑승 등급, 공항에 얼마나 일찍 도착하고 싶은지를 여러 차례 설명해야 한다.
- First Person Labs의 ‘세컨드(Second)’는 사용자의 활동과 대화에서 기억, 선호, 목표, 약속을 파악해 여러 에이전트가 활용할 수 있게 하는 개인 모델이다. 어떤 추론 서비스에 데이터를 맡기고 무엇을 공유할지는 사용자가 통제한다는 구상이다.
- 세컨드가 사용자의 요청에 앞서 도움을 주려면 장기간의 활동을 연결해 해석해야 한다. 그만큼 추론 비용이 커지고, 민감한 정보의 저장과 공개를 어떻게 통제할지도 중요해진다.
🕒 시간순 섹션별 상세정리
1. 에이전트를 바꿔도 이어지는 개인 맥락
- 세컨드가 파악하려는 대상은 과거의 활동과 기억뿐 아니라 지금 무엇을 우선하는지, 무엇을 약속했는지, 어떤 의도로 행동하는지까지 포함한다. [01:15]
- 항공편 예약을 맡은 에이전트가 세컨드에서 좌석과 공항 도착 시간에 관한 선호를 받아오면 사용자에게 같은 질문을 반복할 필요가 줄어든다. 한동안 쓰지 않던 Codex로 돌아갈 때도 다른 곳에서 진행한 작업의 맥락을 이어받을 수 있다는 예다. [02:33]
2. 활동 기록에서 사용자를 대신하는 모델로
- 개인 모델은 사용자가 한 일, 주변 사람, 알려진 선호에서 출발한다. 시간이 지나면 말투와 정보 공유 방식까지 파악하고, 켄은 그중 일부를 모델 자체에 학습시킬 수도 있다고 본다. [03:06]
- 켄이 든 비유는 배트맨의 집사 알프레드다. 알프레드는 배트맨이 원하는 치즈버거를 주문하면서 주문자의 정체를 밝힐 필요가 없다. 취향을 잘 아는 대리인은 일을 맡긴 사람의 정보를 어디까지 전달할지도 판단한다. [03:30]
3. 컴퓨터의 개별 동작에서 작업의 목적을 읽는 방식
- 초기 사용자가 주목한 점은 세컨드가 메시지, 채팅, 이메일 등 여러 채널에 걸친 맥락을 활용한다는 것이었다. 켄에 따르면 운영체제도 앱 전환, 웹페이지에서 머무는 시간, 입력 동작, 와이파이 연결 같은 단서를 이미 제공한다. [05:00]
- 특정 앱에서의 입력은 메시지 작성으로, 브라우저와 코딩 도구를 오가는 동작은 자료 조사로 해석할 수 있다. 세컨드는 이렇게 추론한 활동을 서비스 연동으로 얻은 정보와 결합해 사용자가 하려는 일을 파악한다. [05:42]
4. 새 알림을 전달하는 일과 상황 변화를 알아채는 일
- 한 초기 사용자는 행사 준비 대화를 나눈 뒤, 별도로 요청하지 않았는데도 세컨드가 예보 변화를 계속 알려줘 천막이 필요할지 판단하는 데 도움을 받았다고 했다. [06:29]
- 이메일이 올 때마다 여러 에이전트가 알림을 보내면 같은 소식을 반복해 받는다. 켄이 더 어렵다고 보는 일은 몇 달 전의 발언을 최근 작업, 할 일, 선호와 연결해 지금의 목표에 도움이 될 때 먼저 알리는 것이다. [07:36]
5. 여러 전문 에이전트가 참조하는 하나의 개인 저장소
- 켄은 에이전트가 각자 잘하는 분야로 전문화될 것으로 본다. 쇼핑 에이전트가 상품 데이터와 서비스 연동을 활용한다면, 세컨드의 역할은 생활 전반의 맥락을 보관하고 사용자의 이해관계에 맞게 그 정보를 다루는 것이다. [09:45]
- 개별 작업을 맡은 하위 에이전트는 잠깐 실행된 뒤 사라질 수 있다. 개인 맥락을 보관하는 곳이 하나로 유지돼야 다음 에이전트도 앞선 작업에서 쌓인 정보를 활용할 수 있다. [10:22]
6. 상시 작동하는 AI의 추론을 누구에게 맡길 것인가
- 세컨드는 사용자가 대화를 시작하기 전에도 작동하므로, 데이터가 어디로 가고 어떤 모델이 분석하는지가 중요하다. 켄의 설명에 따르면 사용자는 원칙적으로 자신의 토큰을 연결해 노트북에 저장된 데이터를 분석할 추론 서비스를 선택할 수 있다. [12:11]
- 기밀 추론은 운영자가 처리 중인 데이터를 들여다볼 수 없도록 GPU의 보호 기능을 이용한다. 반면 데이터 무보존은 제공자가 데이터를 보관하지 않겠다는 정책적 약속이며 법적 효력을 가질 수 있다. [13:16]
7. 로컬 저장과 암호화된 클라우드 백업
- ‘세컨드 로컬’은 데이터를 기기에 보관하고 사용자가 선택한 추론 제공자에게만 전송하는 방식이다. 로컬에 저장할지와 외부 서비스에 분석을 맡길지를 구분한다. [14:28]
- 클라우드 백업에서는 기기에서 먼저 암호화하고 사용자의 동작에 따라 복호화할 수 있다. 켄은 복호화가 검증 가능한 보안 컨테이너 안에서만 일어나게 하는 설계도 설명했다. [15:18]
8. 저장을 금지하는 규칙과 공개 여부를 판단하는 모델
- 비밀번호나 특정 앱의 데이터는 처음부터 보존 대상에서 제외하는 규칙을 적용할 수 있다. 반면 보관 중인 정보를 다른 사람에게 공유할지는 상대와 사용자의 관계, 기존 대화의 맥락을 고려해야 한다. [16:21]
- 평소와 다른 시간대에 연락이 오면 사칭을 의심할 단서는 된다. 다만 모든 상황을 규칙으로 정할 수는 없다. 켄은 모델의 추론 능력이 좋아지면 공유 판단도 개선될 수 있지만 부적절한 공개를 완전히 막는 문제는 여전히 남는다고 봤다. [17:24]
9. 상시 분석 비용이 결정하는 초기 사용자층
- 켄은 에이전트 10개를 각각 초당 60토큰으로 24시간 가동한다고 가정했다. 이 계산에서 하루 추론 비용은 오퍼스 가격 기준 약 1,000달러, 더 저렴한 모델을 쓰면 약 60달러였다. [18:51]
- 초기에는 하루 종일 업무 맥락을 추적할 필요가 있는 바쁜 전문가나 도구를 자주 바꾸는 사람이 비용 대비 효용을 얻기 쉽다. 켄은 창업 이후 토큰 가격이 이미 50% 넘게 떨어졌다며 추가 하락을 예상했다. [19:16]
10. 미리 분석하는 비용과 질문 뒤 기다리는 시간
- 활동 기록을 미리 분석해 두면 사용자를 더 세밀하게 이해할 수 있지만 비용이 계속 든다. 원시 기록만 보관하면 질문을 받은 뒤 모델이 의미를 추론해야 해서, 켄의 추산으로는 답하는 데 약 10배의 시간이 걸릴 수 있다. [20:15]
- 인터뷰 당시 세컨드는 이미 이용할 수 있었다. 켄은 더 많은 사용자에게 제공하려면 추론 용량을 늘려야 하며, 서비스 확대 과정에서도 사용자가 자신의 데이터를 통제할 수 있어야 한다고 했다. [20:24]
11. 개발 의도와 작업 맥락을 기기 사이에서 이어 쓰는 사례
- 켄의 팀에서는 세컨드가 개발 중인 기능의 의도를 기억하고 있어, 화면 캡처와 짧은 수정 요청만으로도 코딩 에이전트가 무엇을 고쳐야 하는지 파악할 수 있었다. [21:12]
- 노트북에서 자료를 보다가 휴대전화로 옮겨도 방금까지의 맥락을 바탕으로 이메일 작성을 이어갈 수 있다. 켄은 이런 활용법이 아직 초기 단계이며, 축적된 맥락을 살릴 앱과 상호작용 방식이 더 필요하다고 봤다. [21:39]
12. 과업의 난도와 실행 빈도에 따른 모델 배분
- 캘린더 초대를 옮긴 행동의 의미를 파악하는 일과 한 사람의 이번 주 목표를 추론하는 일은 난도가 다르다. 켄은 주간 목표처럼 복잡한 과업에는 비싼 모델을 쓰되 자주 실행할 필요는 없다고 봤다. [22:43]
- 세컨드는 새 모델이 나오면 작업별로 교체할 수 있게 설계했다. 켄의 팀은 방대한 개인 기록에서 현재 질문에 맞는 자료를 찾는 데 검색에 강한 모델을 쓰며, 비용 효율을 위해 여러 모델을 조합한다. [23:19]
13. 앱 설치 뒤 백그라운드에서 만들어지는 개인 맥락 API
- 사용자가 앱 권한을 허용하고 추론용 토큰을 지정하면 에이전트가 백그라운드에서 작동한다. 컴퓨터의 활동 기록에 Slack, Signal, WhatsApp 같은 서비스 연동을 더하면 사용자의 맥락을 더 빨리 파악할 수 있다. [24:20]
- 다른 에이전트는 API를 통해 사용자가 10분 전에 한 일, 다음 주의 우선순위, 알림, 주변 사람과 일상 절차에 관한 정보를 조회할 수 있다. 켄은 API가 늘어나면 이를 활용한 앱도 만들 수 있을 것으로 봤다. [25:01]
14. 개인의 취향을 반영하는 앱과 새로운 용도의 가능성
- 한 디자이너의 세컨드에는 그가 선호하는 버튼 배치와 색상 사용법이 일부 반영돼 있었다. 켄에 따르면 이 디자이너는 개인용 앱을 만들 때 같은 취향을 거듭 설명할 필요가 줄어 수정 횟수를 줄일 수 있었다. [25:38]
- 켄은 초기 개인용 컴퓨터에서 스프레드시트가 구체적인 쓰임새를 보여준 사례를 들었다. 개인 맥락을 활용해 사람들이 직접 앱을 만드는 과정에서도 지금은 예상하기 어려운 대표적 용도가 나올 수 있다는 전망이다. [26:02]
15. 화면 속 인격과 기기를 넘어 이어지는 인터페이스
- 켄은 새로운 인터페이스를 장기 과제로 두고, 당장은 시스템을 구축하고 사용자를 이해하는 문제에 집중한다고 했다. 한 사용자는 집에서 화면 속 얼굴과 직접 대화할 수 있다면 세컨드의 존재를 더 실감할 것이라고 했다. [26:56]
- 켄이 영화 속 자비스에서 주목한 특징은 문, 갑옷, 화면 어디에서나 같은 상대와의 상호작용이 이어진다는 점이다. 초기 사용자는 세컨드와의 대화에서 자신을 안다는 느낌을 받았고, 휴대전화에 덜 묶이기를 바랐다. 로봇과 화면 중 어떤 형태가 적합할지는 열린 질문으로 남았다. [28:07]
16. 기기가 바뀌어도 이어지는 개인 AI
- 장기 구상은 사람마다 세컨드가 하나씩 있고 여러 기기가 입력을 맡는 형태다. 같은 세컨드의 응답을 화면으로 보거나, 곁에 떠 있는 구체 같은 장치로 받아볼 수도 있다. [28:30]
- 아이클라우드에서는 한 기기에 쓴 메모를 다른 기기에서도 볼 수 있다. 대화 참여자들은 사용자의 맥락에 대한 AI의 이해까지 기기마다 이어지는 경험은 아직 없으며, 그것이 가능해지면 새로운 인터페이스를 만들 수 있다고 봤다. [29:17]
17. 주방 아이패드에서 세컨드와 대화하는 방법
- 현재는 아이패드 운영체제가 직접 연동을 제한한다. 다만 인터넷에 연결되고 API를 사용할 수 있는 에이전트 앱이라면 클라우드 MCP를 통해 세컨드에 접근할 수 있다. [29:51]
- 개발팀은 앞으로 여러 기기에 세컨드 앱을 설치하는 방식을 염두에 뒀다. 전용 기기도 가능성으로 열어 뒀지만, 기기 개발 자체가 어렵다고 봤다. [30:02]
18. 직접 제공하는 인터페이스를 문자와 API로 좁힌 이유
- 개발팀은 인프라 구축과 상호작용 설계를 별개의 과제로 경험했다. 화면 구성부터 사용자별 페이지에 무엇을 담을지까지 세부 결정이 많았고, 팀이 상호작용 설계에 집중했을 때도 시행착오가 컸다. [31:58]
- 팀은 개인화된 화면을 직접 완성하려면 시간이 오래 걸린다고 판단했다. 그래서 각자가 세컨드의 사용자 이해를 바탕으로 원하는 인터페이스를 만들 수 있도록, 팀이 직접 제공하던 접점은 문자 대화와 API로 줄였다. [32:17]
🧾 결론
- 개인 모델의 가치는 도구를 바꿀 때 드러난다. 켄의 팀에서는 세컨드가 개발 중인 기능의 의도를 기억한 덕분에 화면 캡처와 짧은 수정 요청만으로 코딩 에이전트에 일을 맡길 수 있었다고 한다.
- 먼저 알려주는 기능의 효용은 알림이 어떤 결정에 쓰이는지에 달려 있다. 행사 사례에서는 앞서 나눈 대화가 있었기에 예보 변화가 천막을 준비할지 판단하는 정보가 됐다.
- 사용자를 잘 알게 될수록 정보를 건네는 판단도 중요해진다. 선호를 기억해 일을 대신 처리하는 능력과, 그 과정에서 상대에게 어디까지 밝혀도 되는지 판단하는 능력이 함께 필요하다.
📈 투자·시사 포인트
- 초기 수요를 가늠하려면 도구를 자주 바꾸는 전문가가 작업 배경을 다시 설명하는 데 얼마나 많은 시간을 쓰는지 살펴볼 만하다. 절약한 시간과 줄어든 수정 횟수는 상시 추론 비용을 감수할 이유가 있는지 판단할 기준이다.
- 운영비를 추산할 때는 모델 단가와 함께 작업별 실행 빈도를 봐야 한다. 드물게 필요한 주간 목표 분석까지 상시 실행하는지에 따라 같은 모델을 써도 하루 비용이 달라진다.
- 개인 맥락 API의 활용 가능성은 외부 앱에서 사용자가 체감하는 변화로 평가할 수 있다. 켄이 소개한 디자이너 사례처럼 앱이 선호하는 버튼 배치와 색상을 반영해 수정 횟수를 줄이는지가 한 가지 기준이다.
⚠️ 불확실하거나 확인이 필요한 부분
- 켄이 제시한 하루 약 1,000달러와 약 60달러는 에이전트 10개를 각각 초당 60토큰으로 24시간 가동한다고 가정하고 서로 다른 모델 가격을 적용한 추산이다. 실제 사용자 한 명의 하루 비용은 제시되지 않았다.
- 원시 기록을 질문이 들어온 뒤 해석하면 응답 시간이 약 10배로 늘 수 있다는 수치도 켄의 추산이다. 어떤 질문과 기록량에서 그 차이가 나는지는 인터뷰만으로 확인하기 어렵다.
- 행사 알림과 디자인 수정은 개별 사용자의 경험이다. 세컨드가 오래된 선호를 현재 목표로 잘못 해석하는 빈도와 민감한 정보를 부적절하게 공유하는 빈도는 제시되지 않았다.
- 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
- 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
- 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.
✅ 액션 아이템
- 자주 바꾸는 두 도구에서 같은 작업을 이어가며 선호와 작업 배경을 다시 설명한 횟수, 결과물을 수정한 횟수를 기록한다.
- 개인 모델을 도입하기 전에 기기에 남는 기록, 선택한 추론 제공자에게 전달되는 정보, 다른 에이전트가 API로 조회할 수 있는 정보를 각각 확인한다.
- 추론 제공자가 처리 중인 데이터의 접근을 어떤 기술로 제한하는지, 처리 후 데이터를 얼마나 보관하는지 따로 확인한다. 기밀 추론과 데이터 무보존 정책은 서로 다른 질문에 답한다.
- 같은 업무에 대해 기록을 미리 분석할 때와 질문 후 분석할 때의 하루 비용과 응답 시간을 함께 측정한다.
❓ 열린 질문
- 몇 달 전의 발언과 최근 행동이 엇갈릴 때, 개인 모델은 무엇을 근거로 지금의 우선순위를 판단할 수 있을까?
- 상대와의 관계만으로 정보 공개 여부를 판단하기 어려울 때, 세컨드는 어느 시점에 사용자에게 직접 확인해야 할까?
- 어떤 작업은 미리 분석하고 어떤 작업은 질문이 들어올 때까지 미뤄야 사용자가 체감하는 대기 시간과 비용을 함께 줄일 수 있을까?