YouTube메이커 에반·2026년 11월 19일·0

RAG 데모는 됐는데 실서비스에서 무너지신 분, 모델 문제가 아닙니다

Quick Summary

데모에서 잘 되던 RAG가 실서비스에서 흔들리면, 모델을 바꾸기 전에 원문의 개정·삭제·권한 변경이 검색 결과에 반영되는지부터 확인해야 한다.

영상 보기

클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.

원본 열기

🖼️ 인포그래픽

RAG 데모는 됐는데 실서비스에서 무너지신 분, 모델 문제가 아닙니다 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

RAG 데모는 됐는데 실서비스에서 무너지신 분, 모델 문제가 아닙니다의 핵심 내용을 4단계로 요약한 인포그래픽
RAG 데모는 됐는데 실서비스에서 무너지신 분, 모델 문제가 아닙니다 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 결론

데모에서 잘 되던 RAG가 실서비스에서 흔들리면, 모델을 바꾸기 전에 원문의 개정·삭제·권한 변경이 검색 결과에 반영되는지부터 확인해야 한다.

📌 핵심 요점

  1. 최신 버전만 검색한다. 개정본을 추가하기만 하면 질문과 표현이 더 비슷한 옛 규정이 먼저 검색될 수 있다. 문서 ID로 버전을 묶고 최신본만 검색한 뒤, 답변에 근거 버전과 쪽수를 표시한다.
  2. 동기화에는 삭제도 포함한다. 수정 시각을 기준으로 바뀐 행만 읽으면 이미 지워진 행은 놓친다. 삭제 표시나 데이터베이스 변경 로그로 삭제를 전달하고, 반영 주기는 업무가 허용하는 지연에 맞춘다.
  3. 스키마 변경을 적재 단계에서 잡는다. 원본 팀이 본문 컬럼 이름을 바꾸면 작업은 성공해도 빈 청크가 쌓일 수 있다. 컬럼 이름과 형식을 미리 합의하고, 필수값 누락과 ID 중복을 검사한다.
  4. 중간에 끊긴 작업은 안전하게 다시 돌릴 수 있어야 한다. 문서 ID·버전·청크 순번으로 같은 청크에 같은 ID를 부여한다. 업서트로 중복을 막고, 문서 단위로 완료 지점을 기록해 이어서 처리한다.
  5. 열람 권한은 검색 시점에 적용한다. 원문 권한을 청크에 함께 저장하고 사용자가 볼 수 있는 범위 안에서 검색한다. 인사이동이나 퇴사로 권한이 바뀌면 그 변경도 동기화한다.

🧩 배경과 문제 정의

영상은 새 모델과 프레임워크에 익숙한 엔지니어도 회사 데이터가 업무 시스템에서 데이터베이스를 거쳐 검색에 쓰이기까지의 과정을 설명하기는 어렵다는 지적에서 출발한다. PDF를 한 번 넣고 누구나 같은 내용을 검색하는 데모에서는 원문과 검색용 사본이 어긋날 일이 드물다. 실서비스에서는 문서와 권한이 계속 바뀌므로, 답변을 평가하려면 모델이 어떤 상태의 문서를 근거로 받았는지까지 살펴야 한다.

🕒 시간순 섹션별 상세정리

1. 데모가 통과하는 조건

  • 발표자는 기업 데이터가 어떤 정제와 변환을 거쳐 RAG에 도달하는지 묻고, 실서비스 장애를 이해하려면 이 흐름을 살펴야 한다고 드러낸다. [00:39]
  • PDF를 청크로 나누고 임베딩을 저장한 뒤, 질문과 가까운 청크를 모델에 건네면 데모가 작동한다. 이 데모는 문서가 바뀌거나 삭제되지 않고 모든 사용자가 같은 문서를 볼 수 있다고 가정한다. [01:16]

2. 문서 개정과 삭제를 검색에 반영하는 법

  • 개정본을 계속 추가하면 폐기된 규정이 검색될 수 있다. 문서 ID와 버전으로 이력을 관리하고 최신본만 검색하며, 사용자가 확인할 수 있도록 근거 버전과 쪽수를 답변에 표시한다. [02:14]
  • 문서가 늘면 매번 전체를 다시 임베딩하는 비용도 커진다. 수정 시각을 기준으로 변경분을 읽되, 삭제된 행까지 반영하려면 삭제 표시나 변경 데이터 캡처(CDC)가 필요하다. [03:10]
  • 갱신 주기는 문서의 업무 용도에 따라 정한다. 하루 지연을 허용하는 자료와 5분 안에 반영해야 하는 자료는 요구사항이 다르다. [03:16]

3. 빈 본문과 재실행 중복을 잡는 법

  • 원본 컬럼이 바뀌어도 작업이 계속 돌면 빈 본문이 검색 색인에 들어간다. 적재 단계에서 필수값과 ID 중복을 검사하고, 원본 팀과 컬럼 이름·형식을 합의하는 데이터 계약을 둔다. [04:06]
  • 중간에 실패한 작업을 처음부터 다시 삽입하면 같은 청크가 검색 상위를 차지한다. 일정한 청크 ID와 업서트로 여러 번 실행해도 결과가 같도록 만들고, 문서별 완료 지점을 기록한다. [05:05]

4. 원문의 열람 권한을 검색에서도 지키는 법

  • 접근할 수 없는 문서가 모델에 전달되면 답변을 생성하기 전에 이미 내용이 노출된다. 원문 권한을 청크에 저장하고 사용자가 열람할 수 있는 범위 안에서 검색한다. [05:52]
  • 원본 시스템에서 회수한 권한이 검색에 남을 수 있다. 권한 변경을 반영하는 작업에도 동기화 주기와 실패 알림을 둔다. [06:11]

5. 규모와 병목에 맞는 도구 선택

  • Airflow는 작업 순서와 일정을 관리하고, Spark는 대용량 계산을 분산하며, Kafka는 여러 소비자가 이벤트를 읽게 한다. dbt는 데이터베이스 안에서 수행하는 변환과 테스트를 관리한다. [07:08]
  • 발표자는 수만 건 규모의 사내 RAG라면 Postgres·pgvector와 정기 실행하는 Python 스크립트로 시작할 수 있다고 본다. 도구를 추가할 때는 실제 병목과 함께 모니터링·업그레이드·장애 대응 부담을 따진다. [08:16]

6. AI가 코드를 써도 사람이 정해야 하는 것

  • 매출의 정의, 신뢰할 원본, 변경분을 읽는 조건은 업무 지식에 달려 있다. 에이전트가 여러 시스템에 연결되면 잘못된 데이터도 더 많은 후속 작업에 쓰일 수 있다. [09:24]
  • 발표자는 현장 엔지니어가 직접 검토할 수 있어야 할 역량으로 SQL 조인·집계, 버전·권한 테이블 설계, 증분 적재·업서트, 필수값·중복 검사, 실패 알림·재개를 꼽는다. [10:18]
  • 마지막에는 데이터·모델·도구를 실제 업무에 연결하는 능력의 가치를 강조하고, 각자의 사내 RAG가 다섯 가지 운영 질문 중 몇 개에 답할 수 있는지 돌아보도록 한다. [11:10]

🧾 결론

  • 데모에서 정답 한 건을 얻었다면, 다음 검증은 그 근거 문서를 개정하거나 삭제한 뒤 같은 질문을 다시 해보는 것이다. 이때 원본과 검색 결과가 함께 바뀌는지 확인할 수 있다.
  • 운영 화면에 적재 성공이 표시돼도 검색 품질은 떨어질 수 있다. 빈 본문은 근거를 없애고, 중복 청크는 상위 검색 결과에서 다른 근거를 밀어낸다.
  • AI가 SQL과 적재 코드를 작성해도 매출에 부가세와 환불을 어떻게 반영할지, 어느 시스템을 원본으로 삼을지는 업무를 아는 사람이 정하고 검토해야 한다.

📈 투자·시사 포인트

  • 사내 RAG 예산을 검토할 때는 문서 규모, 변경 빈도, 허용 지연을 함께 본다. 발표자는 수만 건 규모의 사내 문서를 다룬 경험을 바탕으로 Postgres·pgvector와 정기 실행하는 Python 증분 적재를 출발점으로 제시한다.
  • 도구 도입에는 구체적인 근거가 필요하다. 작업 순서가 복잡해지면 Airflow, 초 단위 이벤트 반영이 필요하면 Kafka, 계산이 한 대의 메모리를 넘어서면 Spark를 검토한다. 각 선택에는 모니터링·업그레이드·장애 대응 비용이 따른다.
  • 에이전트가 여러 업무 시스템을 연결하면 잘못된 숫자도 다음 단계로 곧바로 전달될 수 있다. 현장 엔지니어의 역량을 평가할 때는 SQL 작성 능력과 함께 데이터 정의, 권한, 실패 복구를 직접 검토할 수 있는지도 살펴볼 만하다.

⚠️ 불확실하거나 확인이 필요한 부분

  • 실서비스 RAG 문제의 대부분이 데이터 엔지니어링에서 비롯된다는 것은 발표자의 진단이다. 영상은 다섯 가지 실패 경로를 설명하지만, 원인별 장애 비율을 측정한 자료는 제시하지 않는다.
  • 수만 건의 문서에 Postgres와 pgvector로 충분하다는 설명과 작업이 10개를 넘고 순서가 얽히면 Airflow를 검토한다는 기준은 발표자의 경험칙이다. 실제 적용 여부는 전체 재처리 시간과 업무상 허용 지연, 작업 간 의존성을 확인해야 판단할 수 있다.
  • 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
  • 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
  • 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

  • 같은 질문에 답이 달라지는 구판·개정판 문서를 준비해 최신본만 검색되는지, 답변에 표시한 버전과 쪽수가 원문과 맞는지 확인한다.
  • 원본에서 문서 한 건을 삭제하고, 사용자 한 명의 열람 권한을 회수한다. 두 변경이 각각 정해진 시간 안에 검색 결과에 반영되는지 점검한다.
  • 본문 컬럼 이름이 바뀌거나 필수값이 빈 입력으로 적재 검사를 실행해, 빈 청크가 저장되기 전에 작업이 실패하고 알림이 오는지 확인한다.
  • 적재를 중간에 끊고 다시 실행한다. 완료 지점부터 재개되는지, 최종 청크 수와 ID가 한 번 정상 실행했을 때와 같은지 비교한다.

❓ 열린 질문

  • 우리 회사에서 하루 늦게 반영해도 되는 문서는 무엇이고, 5분만 늦어도 업무에 문제가 생기는 문서나 권한 변경은 무엇인가?
  • 두 시스템이 서로 다른 매출 수치를 내놓으면 어느 쪽을 기준으로 삼으며, 부가세·환불 처리 기준은 누가 확정하는가?
  • 현재 적재 작업에서 실제로 어려운 부분은 작업 순서 관리, 이벤트 반영 속도, 한 대에서 처리할 수 있는 데이터양 중 어디에 있는가?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.