How to build evidence-grounded agent memory with OpenWiki and Graphs

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

OpenWiki로 출처 간 관계를 보존하고 근거 그래프로 인용 경로를 명시한 실험에서, 반복적인 교차 출처 추론의 정확도와 인용 일관성이 높아지고 정답당 비용이 줄었다.

📌 핵심 요약

• OpenWiki는 원자료를 출처 인용이 있는 연결된 위키로 합성하는 오픈소스 CLI다. 각 진술의 근거인 claim을 원문 행과 해시에 연결해, 원문 변경 시 영향받는 claim을 모델 호출 없이 식별하고 해당 claim만 모델로 확인·수정·철회한다.
• 실험은 합성 보험 문서 111개와 사실 972개로 구성한 자료에서 같은 에이전트의 키워드 검색 조건과 OpenWiki 접근 조건을 비교했다. 단순 조회 80개와 문서 간 의존관계를 따라야 하는 연결형 질문 50개를 각각 세 번 실행했다.
• 단순 조회에서 검색과 위키의 정확도는 각각 0.84와 0.83으로 비슷했으며, 인용 중복도는 0.72와 0.74, 정답당 비용은 $0.020과 $0.021이었다. 지연 시간은 검색 9초에서 위키 12초로 늘었다.
• 연결형 질문에서는 위키가 검색 대비 정확도를 0.10에서 0.52로 약 5배 높이고 정답당 비용을 약 $0.55에서 $0.19로 낮췄다. 다만 위키의 인용 중복도는 단순 조회의 0.74에서 연결형 질문의 0.25로 떨어져 근거 검색의 일관성이 과제로 남았다.
• 기존 인용과 문서 참조를 명시적 관계로 연결한 근거 그래프는 추가 모델 호출 없이 구축됐다. 위키 단독 대비 정확도가 27% 개선되고 인용 일관성이 두 배로 높아졌으며, 응답 시간 중앙값은 40%, 정답당 비용은 58% 감소했다.

🧩 주요 포인트

1. 위키는 출처 간 지식과 관계를 합성하고 근거 그래프는 뒷받침 문단까지의 경로를 제공하므로, 맥락 보존과 근거 탐색이 상호 보완적으로 작동한다.
2. 인용 일관성은 세 실행의 인용 집합 간 평균 쌍별 Jaccard 유사도로 측정되며 정확도와는 다르다. 명시적 근거 경로는 재현성과 감사 가능성을 높이는 데 도움을 주지만 에이전트를 완전히 결정적으로 만들지는 않는다.
3. 최초 위키 컴파일 비용 $4.15와 이후 추가 문서당 약 $0.09는 보고된 답변 비용에서 제외됐다. 따라서 OpenWiki의 경제성은 단순 조회보다 반복적인 교차 출처 추론에서의 재사용과 구축·유지 비용에 달려 있다.

🧠 상세 정리

1. 여러 출처를 연결해야 하는 에이전트의 문제

조직의 정책, 매뉴얼, 위키, 티켓, 코드에 걸쳐 작업하는 에이전트는 여러 시스템과 팀에 흩어진 지식을 탐색해야 하며, 관련 구절을 찾은 뒤에도 어떤 규칙이 적용되고 무엇이 바뀌었는지 판단해야 한다. 특히 한 출처가 다른 출처를 수정하거나 대체하는 상황에서는 개별 문서의 내용만으로 답을 구성하기 어렵다. 원문은 정책과 지침이 자주 개정되거나 대체되는 은행·보험 분야를 이러한 어려움이 두드러지는 사례로 제시한다. 의미 검색이나 하이브리드 검색을 사용하는 RAG도 관련 조각을 가져올 수 있지만, 참조 추적과 상충 규칙 해소, 의존관계 이해는 여전히 에이전트의 몫으로 남는다. 지속적인 메모리 계층은 이렇게 형성한 지식과 관계를 보존해 질문마다 같은 이해를 재구성하는 비용과 오류를 줄이려는 접근이다.

2. OpenWiki의 합성 메모리와 변경 감지

OpenWiki는 Deep Agents를 기반으로 만든 오픈소스 CLI로, 원자료를 핵심 개념과 관계를 설명하는 연결된 위키 페이지로 합성하고 원출처에 대한 인용을 붙인다. 처음에는 코딩 에이전트가 작업마다 아키텍처와 코드 동작을 다시 파악하지 않도록 만들었으며, 출처가 바뀌면 위키도 갱신해 축적된 맥락을 재사용하도록 설계됐다. 각 위키 진술은 이를 뒷받침하는 원문 행과 해당 행의 해시에 연결된 주장인 claim을 기반으로 한다. 원문 행이 바뀌면 해시도 바뀌므로 모델 호출 없이 영향받는 claim을 표시할 수 있으며, 이는 토큰 비용을 줄이고 오래된 정보의 감지를 더 결정적으로 만든다. 이후 표시된 claim만 모델에 보내 확인하거나 수정·철회하게 함으로써, 전체 내용을 매번 다시 검토하지 않고 출처 변화에 맞춰 메모리를 교정한다.

3. 합성 보험 문서와 비교 실험의 설계

연구진은 문서가 서로를 참조·수정·대체하는 보험 분야의 특성을 시험하기 위해 장문 문서 111개로 구성한 합성 자료를 만들었다. 사실 972개의 원장을 기준으로 각 사실이 등장할 위치, 문서 간 참조 방식, 버전 사이의 변경 내용을 통제했으며, 주변 서술은 LLM으로 생성하고 필요한 사실의 포함 여부를 자동 검사했다. 실제 기업 자료의 어려움을 반영하려고 오래된 버전, 모순, 간접 참조 사슬, 다양한 표현, 매우 긴 문서도 의도적으로 섞었다. 비교에서는 기반 모델과 지시, 문서, 질문을 고정하고 원문 키워드 검색만 가능한 Search 조건과 OpenWiki에 접근할 수 있는 Wiki 조건을 사용했다. 단순 조회 80개와 연결형 질문 50개를 각각 세 번 실행했으며, 정확도는 사실 원장 기반 채점으로, 인용 일관성은 인용 집합 사이의 평균 쌍별 Jaccard 유사도로 평가하고 모델 비용과 실제 소요 시간도 측정했다.

4. 단순 조회와 연결형 질문에서 갈린 효과

OpenWiki는 문서 111개를 원래 분량의 약 10분의 1인 위키로 컴파일했지만, 답변 성능의 개선 폭은 질문 유형에 따라 크게 달랐다. 한 구절로 답할 수 있는 단순 조회에서는 검색과 위키의 정확도가 각각 0.84와 0.83, 인용 중복도가 0.72와 0.74로 비슷했으며, 정답당 비용도 $0.020과 $0.021로 거의 같았다. 반면 지연 시간은 9초에서 12초로 늘어, 이 유형에서는 위키의 이점이 뚜렷하지 않았다. 여러 출처의 의존관계를 따라야 하는 연결형 질문에서는 정확도가 검색의 0.10에서 위키의 0.52로 약 5배 높아졌고, 정답당 비용은 약 $0.55에서 $0.19로 감소했다. 원문은 합성된 맥락이 에이전트의 도메인 지식 적용과 관계 탐색을 도와 도구 호출을 줄였다고 설명하지만, 위키의 인용 중복도는 단순 조회의 0.74에서 연결형 질문의 0.25로 낮아져 근거 선택의 불안정성이 드러났다.

5. 인용을 명시적인 근거 경로로 바꾸기

위키의 평균 정확도가 높아져도 실행마다 인용 근거가 달라지면, 특히 출처가 충돌하는 상황에서 답변 자체가 달라질 수 있다는 문제가 남는다. 인용 안정성은 정답 여부를 측정하는 지표는 아니지만, 중요한 업무에서 답변을 재현하고 감사하려면 근거에 도달하는 경로도 더 반복 가능해야 한다는 것이 원문의 문제의식이다. 이를 위해 연구진은 Markdown 안의 텍스트 인용을 claim, 위키 페이지, 문단, 주제 사이의 명시적인 유형별 관계로 구체화한 가벼운 근거 그래프를 추가했다. 먼저 결정적인 절차로 각 문서를 문단 단위로 나누고 고유 식별자를 부여해, 문서 전체가 아닌 정확한 뒷받침 구절을 연결할 수 있게 했다. 이어 claim이 문단을 인용하는 cites, 새 문서가 이전 문서를 대체하는 supersedes, 절이 다른 문서를 참조하는 refers_to 같은 관계를 연결해 에이전트가 검색으로 같은 연결을 매번 재발견하는 부담을 줄였다.

6. 추가 모델 호출 없는 구축과 그래프 탐색

근거 그래프는 기존 문서 참조와 위키 claim에 이미 붙어 있는 인용을 재사용하며, 참조에서 결정적으로 추출할 수 있는 관계를 명시적인 간선으로 만든다. 실험 자료에서는 그래프 구축에 1초 미만이 걸렸고 모든 명시적 상호 참조를 연결했으며, 구축을 위한 추가 모델 호출은 필요하지 않았다. 그래프의 역할은 조직의 모든 지식을 모델링하는 것이 아니라 근거 탐색을 지원하는 것이므로, 지식의 합성은 계속 위키가 담당한다. 에이전트는 locate로 질문의 단어와 문서 제목·절 제목·위키 페이지·claim을 대조해 시작점을 찾고, expand로 연결된 근거 문단과 관련 문서를 탐색한다. expand는 지정한 관계를 따라갈 경로가 하나뿐이면 자동으로 진행하고 분기점에서는 에이전트가 다음 경로를 선택하도록 하며, 원문은 관련 노드를 찾고 연결 맥락을 모으는 이 패턴이 Microsoft의 GraphRAG 같은 시스템에서도 나타난다고 설명한다.

7. 근거 그래프의 성과와 남는 한계

명시적인 근거 경로를 추가하자 위키 단독 조건에 비해 정확도가 27% 개선되고 인용 일관성이 두 배로 높아졌다. 응답 시간 중앙값은 40%, 정답당 비용은 58% 감소해, 원문이 보고한 모든 측정 항목에서 개선이 나타났다. 연구진은 위키가 제공하는 맥락에 더 직접적인 근거 탐색 경로가 결합되면서 검색 작업이 줄고 정확도와 일관성이 함께 높아졌다고 해석한다. 다만 이 방식이 에이전트를 완전히 결정적으로 만드는 것은 아니며, 인용 집합의 안정성과 답변의 정확성은 계속 구분해야 한다. 또한 그래프 구축 자체에는 추가 모델 호출이 없어도 위키에서 파생된 관계는 모델이 생성한 인용의 정확도에 의존하므로, 관계를 명시했다는 사실만으로 근거의 타당성이 보장되지는 않는다.

8. 재사용에 따른 경제성과 다음 방향

원문이 제시하는 가장 강한 적용 대상은 같은 출처들을 반복해서 연결하고 추론하는 업무이며, 여러 에이전트가 분리된 자료를 공유해 사용할수록 보존된 관계의 재사용 가치가 커진다. 최초 컴파일에는 $4.15가 들었고 이후 문서 17개를 추가할 때는 문서당 약 $0.09가 들었지만, 보고된 검색·답변 비용에는 컴파일과 갱신 비용이 포함되지 않았다. 따라서 단순 조회처럼 검색만으로도 비슷한 정확도와 더 빠른 응답을 얻는 경우에는, 특히 기업 규모에서 자료 수집과 지속적인 유지 비용이 검색 비용 절감을 넘어설 수 있다. 반대로 충분한 재사용이 이루어지면 맥락을 반복 재구성하지 않아 생기는 절감액이 메모리 구축·유지 비용을 상쇄할 수 있다는 것이 연구진의 주장이다. 다음 방향으로는 저장소 전체 대신 교차 출처 질문에 필요한 맥락만 동적으로 컴파일하고 보존하는 방식을 제시하며, 제공된 원문은 이어지는 “We also want”에서 끝나 그 이후 계획은 확인할 수 없다.

🧾 핵심 주장 / 시사점

• 이 실험에서 메모리의 이점은 질문 난도 자체보다 출처 사이의 관계를 재사용해야 하는지에 따라 달라졌다. 단순 조회와 연결형 질문의 상반된 결과는 적용 범위를 구분할 필요성을 보여준다.
• 위키의 지식 합성과 그래프의 근거 탐색을 결합하면, 조직의 모든 지식을 그래프로 추출하지 않고도 기존 인용을 활용해 성능을 개선할 수 있다.
• 답변당 비용 절감만으로 전체 경제성을 판단하기는 어렵다. 합성 보험 자료에서 얻은 성능과 별도로, 구축·갱신 비용을 상쇄할 만큼 반복적인 사용이 있는지가 중요하다.

✅ 액션 아이템

• 단순 조회와 반복적인 교차 출처 추론을 구분해 OpenWiki 적용 범위를 검토.
• 연결형 질문의 인용 중복도 0.25와 근거 그래프 도입 후 개선을 함께 고려해 정확도와 인용 일관성을 별도로 평가.
• 최초 컴파일 비용 $4.15와 추가 문서당 약 $0.09를 포함해 OpenWiki의 재사용에 따른 경제성을 검토.

❓ 열린 질문

• 반복적인 교차 출처 추론이 얼마나 누적되어야 최초 컴파일 비용 $4.15와 추가 문서당 약 $0.09를 상쇄할 수 있는가?
• 근거 그래프로 인용 일관성이 두 배 높아진 뒤에도 남는 실행 간 차이는 답변의 재현성과 감사 가능성에 어떤 영향을 주는가?
• 합성 보험 문서 111개에서 관찰된 OpenWiki와 근거 그래프의 성능 개선은 다른 문서 집합에서도 유지되는가?