🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

New Computer는 LangSmith로 Dot의 에이전트형 장기 메모리 검색과 대화 프롬프트를 실험·평가해 이전 기준 대비 재현율 50%, 정밀도 40% 향상을 달성했다.

📌 핵심 요약

• New Computer의 Dot은 사용자의 언어적·행동적 단서를 관찰해 선호를 학습하고, 시간이 지날수록 사용자를 더 잘 이해하는 것을 목표로 하는 개인 AI다.
• Dot의 메모리 시스템은 단순 검색을 넘어 사용자의 상태와 맥락을 계속 갱신하며, 적시에 개인화된 도움을 제공하기 위해 장기 기억을 활용한다.
• 이 시스템은 정적인 문서 집합에 의존하는 일반적인 RAG와 달리, 나중에 검색될 수 있도록 메모리를 동적으로 만들거나 미리 계산하는 에이전트형 메모리 구조를 사용한다.
• New Computer는 합성 사용자와 라벨링된 LangSmith 데이터셋을 활용해 의미 검색, 키워드 검색, BM25, 메타필드 필터링 등 다양한 검색 조합을 빠르게 비교했다.
• LangSmith의 SDK, 실험 UI, 비교 뷰, 프롬프트 플레이그라운드는 검색 성능 개선뿐 아니라 대화 프롬프트 변경으로 인한 회귀를 찾고 수정하는 반복 속도를 높였다.

🧩 주요 포인트

1. New Computer의 Dot은 사용자의 언어적·행동적 단서를 관찰해 선호를 학습하고, 시간이 지날수록 사용자를 더 잘 이해하는 것을 목표로 하는 개인 AI다.
2. Dot의 메모리 시스템은 단순 검색을 넘어 사용자의 상태와 맥락을 계속 갱신하며, 적시에 개인화된 도움을 제공하기 위해 장기 기억을 활용한다.
3. 이 시스템은 정적인 문서 집합에 의존하는 일반적인 RAG와 달리, 나중에 검색될 수 있도록 메모리를 동적으로 만들거나 미리 계산하는 에이전트형 메모리 구조를 사용한다.
4. New Computer는 합성 사용자와 라벨링된 LangSmith 데이터셋을 활용해 의미 검색, 키워드 검색, BM25, 메타필드 필터링 등 다양한 검색 조합을 빠르게 비교했다.
5. LangSmith의 SDK, 실험 UI, 비교 뷰, 프롬프트 플레이그라운드는 검색 성능 개선뿐 아니라 대화 프롬프트 변경으로 인한 회귀를 찾고 수정하는 반복 속도를 높였다.

🧠 상세 정리

1. New Computer와 Dot의 목표

New Computer는 사용자를 진정으로 이해하도록 설계된 개인 AI인 Dot을 개발한 팀이다. Dot의 장기 메모리 시스템은 사용자의 말과 행동에서 드러나는 단서를 관찰하며 선호를 학습한다. 이 메모리는 단순히 과거 정보를 다시 꺼내는 기능에 머물지 않고, 시간이 지날수록 사용자가 어떤 사람인지에 대한 그림을 계속 갱신한다. 그 결과 Dot은 사용자의 상황에 맞는 시점에 개인화된 도움을 제공하고, 사용자가 실제로 이해받고 있다는 느낌을 만들고자 한다.

2. 에이전트형 메모리의 구조

Dot의 메모리 시스템은 일반적인 RAG 방식과 다르게 설명된다. 표준 RAG가 이미 존재하는 정적 문서 집합을 검색하는 데 초점을 둔다면, Dot의 에이전트형 메모리는 이후 검색될 가능성을 고려해 메모리를 동적으로 생성하거나 미리 계산한다. 따라서 기억을 만들 때부터 나중에 정확하고 효율적으로 찾을 수 있도록 정보 구조화가 필요하다. 시간이 지나며 메모리가 계속 쌓이기 때문에, 생성 단계의 구조화 품질은 검색 가능성과 성능에 직접 연결된다.

3. 메타필드를 활용한 검색 개선

Dot의 메모리는 원문 내용뿐 아니라 검색에 유용한 선택적 메타필드를 포함할 수 있다. 예를 들어 상태 필드는 완료됨 또는 진행 중과 같은 정보를 담고, 날짜 관련 필드는 시작일이나 마감일 같은 맥락을 제공한다. 이런 메타필드는 사용자가 자주 묻는 질문을 처리할 때 추가 필터로 쓰일 수 있다. 예컨대 이번 주에 끝내려 했던 일이나 오늘 남아 있는 작업을 묻는 경우, 단순 의미 유사도만으로는 부족할 수 있으며 상태와 날짜 조건이 함께 작동해야 더 정확한 검색이 가능해진다.

4. LangSmith 기반 실험 데이터셋과 평가 방식

New Computer는 다양한 검색 방식을 빠르게 비교하기 위해 LangSmith에 라벨링된 예시 데이터셋을 구축했다. 사용자 개인정보를 보호하면서 성능을 시험하기 위해, LLM이 생성한 배경 이야기를 가진 합성 사용자 집단을 만들고 초기 대화를 통해 각 사용자의 메모리 데이터베이스를 구성했다. 이후 합성 사용자의 메시지와 사용 가능한 전체 메모리 집합을 LangSmith 데이터셋에 저장했다. 사내 도구를 LangSmith와 연결해 각 질의에 관련 있는 메모리를 라벨링하고, 정밀도·재현율·F1 같은 평가 지표를 정의해 반복 실험의 기준을 마련했다.

5. 검색 기법 비교와 성능 향상

실험은 질의마다 고정된 수의 관련 메모리를 가져오는 단순 의미 검색 기준선에서 출발했다. 이후 New Computer는 의미 검색, 키워드 기반 방식, BM25, 메타필드 사전 필터링 등 여러 방법을 질의 유형별로 시험했다. 어떤 경우에는 유사도 검색이나 BM25 같은 키워드 방식이 더 나았지만, 다른 경우에는 메타필드로 먼저 후보를 좁혀야 효과적으로 작동했다. 여러 방식을 병렬로 시험하면 실험 조합이 급격히 늘어나기 때문에, LangSmith의 SDK와 Experiments UI는 결과를 빠르게 실행·평가·검토하는 데 중요한 역할을 했다. 이 과정을 통해 이전 동적 메모리 검색 기준선 대비 재현율은 50%, 정밀도는 40% 높아졌다.

6. 대화 프롬프트 조정과 향후 방향

Dot의 응답은 관련 메모리뿐 아니라 검색 결과 같은 도구 사용과 맥락별 행동 지침을 포함할 수 있는 동적 대화 프롬프트로 생성된다. 이런 가변적인 시스템에서는 한 질의를 개선한 변경이 다른 질의에는 악영향을 줄 수 있기 때문에, New Computer는 다시 합성 사용자 집단을 활용해 다양한 의도의 질의를 만들었다. LangSmith의 실험 비교 뷰는 프롬프트 변경의 전체 효과와 회귀 사례를 시각적으로 확인하게 했고, 실패 사례에서는 UI 안의 프롬프트 플레이그라운드로 직접 수정할 수 있게 했다. 앞으로 New Computer는 사용자의 대화 방식이나 어조 선호에 적응하고, 사용자별 맞춤 메시지를 선제적으로 보내는 방향으로 Dot을 발전시키려 한다.

🧾 핵심 주장 / 시사점

• Dot 사례에서 메모리 성능 향상의 핵심은 단일 검색 알고리즘 선택이 아니라, 질의 유형에 따라 의미 검색·키워드 검색·BM25·메타필드 필터링을 평가하고 조합하는 반복 실험에 있었다.
• 개인정보를 직접 쓰지 않고도 합성 사용자와 라벨링 데이터셋을 구성해 검색 품질을 측정한 점은, 개인화 AI 개발에서 프라이버시와 평가 가능성을 함께 다루는 방식으로 제시된다.
• 메모리 검색과 대화 프롬프트는 분리된 문제가 아니라 함께 조정되어야 한다. 관련 기억을 잘 찾더라도 프롬프트 변경이 응답 품질을 악화시킬 수 있어, 전역 비교와 회귀 탐지가 중요하게 다뤄졌다.

✅ 액션 아이템

• 재현율 50%, 정밀도 40% 개선치에 맞춰 검색 실험의 벤치마크 기준과 허용 오차 항목을 정량지표로 정한다.
• 사용자 언어·행동 단서를 반영해 선호 갱신이 반영되는 에이전트형 장기 메모리의 상태 갱신 규칙을 정한다.
• 의미 검색, 키워드 검색, BM25, 메타필드 필터 조합을 LangSmith 실험 UI와 비교 뷰에서 반복해 회귀와 성능 변화를 함께 점검한다.

❓ 열린 질문

• 실제 사용자 환경에서 언어·행동 단서 기반 선호 학습이 시간이 지날수록 이해도 향상으로 드러나는가?
• 합성 사용자와 라벨링 데이터셋에서 본 재현율·정밀도 개선이 실제 운영 데이터에서도 동일하게 발생 가능한가?
• 프롬프트 변경이 검색 품질을 떨어뜨렸을 때, 회귀 판단에 어떤 지표 조합이 가장 적합한가?