RAG 데모는 됐는데 실서비스에서 무너지신 분, 모델 문제가 아닙니다
Quick Summary
데모에서 잘 되던 RAG가 실서비스에서 흔들리면, 모델을 바꾸기 전에 원문의 개정·삭제·권한 변경이 검색 결과에 반영되는지부터 확인해야 한다.
영상 보기
클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론
데모에서 잘 되던 RAG가 실서비스에서 흔들리면, 모델을 바꾸기 전에 원문의 개정·삭제·권한 변경이 검색 결과에 반영되는지부터 확인해야 한다.
📌 핵심 요점
- 최신 버전만 검색한다. 개정본을 추가하기만 하면 질문과 표현이 더 비슷한 옛 규정이 먼저 검색될 수 있다. 문서 ID로 버전을 묶고 최신본만 검색한 뒤, 답변에 근거 버전과 쪽수를 표시한다.
- 동기화에는 삭제도 포함한다. 수정 시각을 기준으로 바뀐 행만 읽으면 이미 지워진 행은 놓친다. 삭제 표시나 데이터베이스 변경 로그로 삭제를 전달하고, 반영 주기는 업무가 허용하는 지연에 맞춘다.
- 스키마 변경을 적재 단계에서 잡는다. 원본 팀이 본문 컬럼 이름을 바꾸면 작업은 성공해도 빈 청크가 쌓일 수 있다. 컬럼 이름과 형식을 미리 합의하고, 필수값 누락과 ID 중복을 검사한다.
- 중간에 끊긴 작업은 안전하게 다시 돌릴 수 있어야 한다. 문서 ID·버전·청크 순번으로 같은 청크에 같은 ID를 부여한다. 업서트로 중복을 막고, 문서 단위로 완료 지점을 기록해 이어서 처리한다.
- 열람 권한은 검색 시점에 적용한다. 원문 권한을 청크에 함께 저장하고 사용자가 볼 수 있는 범위 안에서 검색한다. 인사이동이나 퇴사로 권한이 바뀌면 그 변경도 동기화한다.
🧩 배경과 문제 정의
영상은 새 모델과 프레임워크에 익숙한 엔지니어도 회사 데이터가 업무 시스템에서 데이터베이스를 거쳐 검색에 쓰이기까지의 과정을 설명하기는 어렵다는 지적에서 출발한다. PDF를 한 번 넣고 누구나 같은 내용을 검색하는 데모에서는 원문과 검색용 사본이 어긋날 일이 드물다. 실서비스에서는 문서와 권한이 계속 바뀌므로, 답변을 평가하려면 모델이 어떤 상태의 문서를 근거로 받았는지까지 살펴야 한다.
🕒 시간순 섹션별 상세정리
1. 데모가 통과하는 조건
- 발표자는 기업 데이터가 어떤 정제와 변환을 거쳐 RAG에 도달하는지 묻고, 실서비스 장애를 이해하려면 이 흐름을 살펴야 한다고 드러낸다. [00:39]
- PDF를 청크로 나누고 임베딩을 저장한 뒤, 질문과 가까운 청크를 모델에 건네면 데모가 작동한다. 이 데모는 문서가 바뀌거나 삭제되지 않고 모든 사용자가 같은 문서를 볼 수 있다고 가정한다. [01:16]
2. 문서 개정과 삭제를 검색에 반영하는 법
- 개정본을 계속 추가하면 폐기된 규정이 검색될 수 있다. 문서 ID와 버전으로 이력을 관리하고 최신본만 검색하며, 사용자가 확인할 수 있도록 근거 버전과 쪽수를 답변에 표시한다. [02:14]
- 문서가 늘면 매번 전체를 다시 임베딩하는 비용도 커진다. 수정 시각을 기준으로 변경분을 읽되, 삭제된 행까지 반영하려면 삭제 표시나 변경 데이터 캡처(CDC)가 필요하다. [03:10]
- 갱신 주기는 문서의 업무 용도에 따라 정한다. 하루 지연을 허용하는 자료와 5분 안에 반영해야 하는 자료는 요구사항이 다르다. [03:16]
3. 빈 본문과 재실행 중복을 잡는 법
- 원본 컬럼이 바뀌어도 작업이 계속 돌면 빈 본문이 검색 색인에 들어간다. 적재 단계에서 필수값과 ID 중복을 검사하고, 원본 팀과 컬럼 이름·형식을 합의하는 데이터 계약을 둔다. [04:06]
- 중간에 실패한 작업을 처음부터 다시 삽입하면 같은 청크가 검색 상위를 차지한다. 일정한 청크 ID와 업서트로 여러 번 실행해도 결과가 같도록 만들고, 문서별 완료 지점을 기록한다. [05:05]
4. 원문의 열람 권한을 검색에서도 지키는 법
- 접근할 수 없는 문서가 모델에 전달되면 답변을 생성하기 전에 이미 내용이 노출된다. 원문 권한을 청크에 저장하고 사용자가 열람할 수 있는 범위 안에서 검색한다. [05:52]
- 원본 시스템에서 회수한 권한이 검색에 남을 수 있다. 권한 변경을 반영하는 작업에도 동기화 주기와 실패 알림을 둔다. [06:11]
5. 규모와 병목에 맞는 도구 선택
- Airflow는 작업 순서와 일정을 관리하고, Spark는 대용량 계산을 분산하며, Kafka는 여러 소비자가 이벤트를 읽게 한다. dbt는 데이터베이스 안에서 수행하는 변환과 테스트를 관리한다. [07:08]
- 발표자는 수만 건 규모의 사내 RAG라면 Postgres·pgvector와 정기 실행하는 Python 스크립트로 시작할 수 있다고 본다. 도구를 추가할 때는 실제 병목과 함께 모니터링·업그레이드·장애 대응 부담을 따진다. [08:16]
6. AI가 코드를 써도 사람이 정해야 하는 것
- 매출의 정의, 신뢰할 원본, 변경분을 읽는 조건은 업무 지식에 달려 있다. 에이전트가 여러 시스템에 연결되면 잘못된 데이터도 더 많은 후속 작업에 쓰일 수 있다. [09:24]
- 발표자는 현장 엔지니어가 직접 검토할 수 있어야 할 역량으로 SQL 조인·집계, 버전·권한 테이블 설계, 증분 적재·업서트, 필수값·중복 검사, 실패 알림·재개를 꼽는다. [10:18]
- 마지막에는 데이터·모델·도구를 실제 업무에 연결하는 능력의 가치를 강조하고, 각자의 사내 RAG가 다섯 가지 운영 질문 중 몇 개에 답할 수 있는지 돌아보도록 한다. [11:10]
🧾 결론
- 데모에서 정답 한 건을 얻었다면, 다음 검증은 그 근거 문서를 개정하거나 삭제한 뒤 같은 질문을 다시 해보는 것이다. 이때 원본과 검색 결과가 함께 바뀌는지 확인할 수 있다.
- 운영 화면에 적재 성공이 표시돼도 검색 품질은 떨어질 수 있다. 빈 본문은 근거를 없애고, 중복 청크는 상위 검색 결과에서 다른 근거를 밀어낸다.
- AI가 SQL과 적재 코드를 작성해도 매출에 부가세와 환불을 어떻게 반영할지, 어느 시스템을 원본으로 삼을지는 업무를 아는 사람이 정하고 검토해야 한다.
📈 투자·시사 포인트
- 사내 RAG 예산을 검토할 때는 문서 규모, 변경 빈도, 허용 지연을 함께 본다. 발표자는 수만 건 규모의 사내 문서를 다룬 경험을 바탕으로 Postgres·pgvector와 정기 실행하는 Python 증분 적재를 출발점으로 제시한다.
- 도구 도입에는 구체적인 근거가 필요하다. 작업 순서가 복잡해지면 Airflow, 초 단위 이벤트 반영이 필요하면 Kafka, 계산이 한 대의 메모리를 넘어서면 Spark를 검토한다. 각 선택에는 모니터링·업그레이드·장애 대응 비용이 따른다.
- 에이전트가 여러 업무 시스템을 연결하면 잘못된 숫자도 다음 단계로 곧바로 전달될 수 있다. 현장 엔지니어의 역량을 평가할 때는 SQL 작성 능력과 함께 데이터 정의, 권한, 실패 복구를 직접 검토할 수 있는지도 살펴볼 만하다.
⚠️ 불확실하거나 확인이 필요한 부분
- 실서비스 RAG 문제의 대부분이 데이터 엔지니어링에서 비롯된다는 것은 발표자의 진단이다. 영상은 다섯 가지 실패 경로를 설명하지만, 원인별 장애 비율을 측정한 자료는 제시하지 않는다.
- 수만 건의 문서에 Postgres와 pgvector로 충분하다는 설명과 작업이 10개를 넘고 순서가 얽히면 Airflow를 검토한다는 기준은 발표자의 경험칙이다. 실제 적용 여부는 전체 재처리 시간과 업무상 허용 지연, 작업 간 의존성을 확인해야 판단할 수 있다.
- 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
- 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
- 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.
✅ 액션 아이템
- 같은 질문에 답이 달라지는 구판·개정판 문서를 준비해 최신본만 검색되는지, 답변에 표시한 버전과 쪽수가 원문과 맞는지 확인한다.
- 원본에서 문서 한 건을 삭제하고, 사용자 한 명의 열람 권한을 회수한다. 두 변경이 각각 정해진 시간 안에 검색 결과에 반영되는지 점검한다.
- 본문 컬럼 이름이 바뀌거나 필수값이 빈 입력으로 적재 검사를 실행해, 빈 청크가 저장되기 전에 작업이 실패하고 알림이 오는지 확인한다.
- 적재를 중간에 끊고 다시 실행한다. 완료 지점부터 재개되는지, 최종 청크 수와 ID가 한 번 정상 실행했을 때와 같은지 비교한다.
❓ 열린 질문
- 우리 회사에서 하루 늦게 반영해도 되는 문서는 무엇이고, 5분만 늦어도 업무에 문제가 생기는 문서나 권한 변경은 무엇인가?
- 두 시스템이 서로 다른 매출 수치를 내놓으면 어느 쪽을 기준으로 삼으며, 부가세·환불 처리 기준은 누가 확정하는가?
- 현재 적재 작업에서 실제로 어려운 부분은 작업 순서 관리, 이벤트 반영 속도, 한 대에서 처리할 수 있는 데이터양 중 어디에 있는가?