[한영자막] AI에게 지식 업무를 맡기려면 ''코딩 에이전트''가 아닌 ''지식 에이전트''로 설계해야 합니다

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

AI에게 지식 업무를 맡기려면 코딩 에이전트의 방식을 그대로 확장하기보다, 의도를 해석하고 조사 업무를 나누며 적절한 검색 도구를 사용하는 지식 에이전트로 설계해야 한다.

📌 핵심 요점

1. 지식 업무는 모호하고 흩어진 정보를 처리해 판단과 실행 가능한 결론을 만드는 일이다. 코딩은 그중 하나이며, 법률·금융·의료·연구까지 포괄하는 전체 지식 업무를 대표하지는 않는다.
2. 코드는 식별자·파일 경로·함수 정의처럼 비교적 안정적인 검색 단서가 있다. 일반 지식 업무에서는 같은 표현도 맥락에 따라 의미가 달라지므로, 사용자 의도와 적용 조건을 먼저 파악해야 한다.
3. 검색 도구의 개선은 정확도뿐 아니라 업무의 비용과 확장 가능성을 바꾼다. 발표자는 검색 벤치마크에서 최적화된 도구가 정확도를 높이고 도구 호출을 줄였다고 설명한다.
4. 실제 지식 조직처럼 문제 정의·조사·종합의 역할을 나누는 구조가 중요하다. 주 에이전트가 질문을 분해하고 조사 에이전트가 근거를 찾아 메모로 전달하면, 주 에이전트는 이를 종합해 답변할 수 있다.
5. 도구와 에이전트는 함께 설계해야 한다. 검색 도구를 추가하는 데 그치지 않고, 에이전트가 어휘 검색·의미 검색·멀티모달 검색의 차이를 이해하고 상황에 맞게 사용하도록 해야 한다.

🧩 배경과 문제 정의

발표자 Ben Clavier는 검색 분야에서 일한 경험을 바탕으로, AI 에이전트의 설계가 코딩이라는 특수한 지식 업무에 집중되어 왔다고 지적한다. 초기 문서 질의응답과 코딩 에이전트를 넘어 법률·금융·의료 같은 업무를 맡기려면, 흩어진 정보를 찾아 판단으로 바꾸는 지식 노동 전체의 특성을 고려해야 한다는 문제의식이다.

핵심 차이는 검색의 출발점과 업무의 구조다. 코딩 요청에는 구체적인 기능이나 티켓, 식별자 같은 단서가 주어지는 경우가 많지만, 일반 지식 업무에서는 에이전트가 사용자의 열린 문제를 해석하고 조사 범위와 조건까지 찾아야 한다. 발표는 검색 도구의 발전과 인간 조직의 전문화가 함께 진행되어 왔다는 관점에서, 도구 개선과 역할 분담을 결합한 설계를 제안한다.

🕒 시간순 섹션별 상세정리

1. 코딩을 넘어 지식 업무를 맡는 에이전트

• 발표자는 에이전트가 지식 업무를 수행하려면 지식 노동자처럼 설계해야 한다고 주장한다. 초기 문서 질의응답에서 코딩 에이전트로 발전한 흐름을 돌아본다. [01:17]
• 법률 문서 조사, 금융, 의약 정보 탐색 등을 예로 들며, 코딩과 초기 RAG는 더 넓은 지식 업무의 일부라고 보여준다. [02:02]

2. 정보를 판단으로 바꾸는 지식 업무

• 지식 업무의 주된 입력은 물리적 재료가 아니라 정보다. 모호하고 흩어진 정보를 처리해 판단·결정 같은 실행 가능한 결과를 만든다. [02:48]
• 발표자는 검색과 지식 문제를 밀접하게 연결하며 법률가·학자·보험계리사·소프트웨어 엔지니어·연구자를 지식 노동자의 사례로 든다. [03:14]

3. 코드 검색과 일반 지식 검색의 차이

• 코드에는 식별자·파일·경로 같은 비교적 지속적인 단서와 검색 가능한 구조가 있다. 코딩 에이전트에 주어지는 요청도 특정 기능이나 티켓으로 좁혀져 있는 경우가 많다. [04:46]
• 일반 지식 업무에서 ‘30일’은 기한, 유예 기간, 보존 규칙 등으로 해석될 수 있다. 검색은 의도에서 출발하며, 적용 규범과 조건을 에이전트가 직접 찾아야 한다. [05:39]

4. 검색 도구와 지식 조직이 함께 발전하는 순환

• 발표자는 기록·목록·서지·검색엔진으로 이어지는 도구의 발전과, 개인 전문가에서 대학·전문 조직으로 이어지는 역할 분화의 흐름을 보여준다. [07:00]
• 새로운 지식은 더 나은 도구를 요구하고, 도구는 새로운 역할과 업무 방식을 만들며, 숙련된 노동자가 다시 더 많은 지식을 생산하는 순환을 이룬다. [07:45]

5. 도구가 업무의 비용과 확장 가능성을 바꾸는 방식

• 적절한 도구는 단순히 성능을 조금 높이는 부가 요소가 아니다. 자료를 찾는 시간과 비용을 낮춰 반복 가능한 업무의 범위를 바꾼다는 것이 발표자의 주장이다. [08:37]
• 지도와 멀티모달 검색을 예로 들며, 대량의 PDF와 기록 보관 자료도 검색 비용이 낮아지면 실제 활용 대상으로 바뀔 수 있다고 보여준다. [09:03]

6. 검색 벤치마크에서 본 최적화의 효과

• 발표자는 BrowseComp Plus를 소개하고, BM25도 구현과 최적화 수준에 따라 결과가 달라지므로 비교 기준선부터 제대로 최적화해야 한다고 강조한다. [09:53]
• 제시된 설명에서는 낮은 수준의 도구가 약 60% 정확도를 보이고, 최적화와 하이브리드 구성을 거치며 약 90%에 도달한다. 상위 구간의 작은 점수 차이는 실행 변동 범위일 수 있다고 덧붙인다. [10:23]
• 발표자는 정확도 90.2%와 약 20% 적은 도구 호출을 함께 강조한다. 호출과 자원 사용을 줄이는 개선이 실제 도입 가능한 업무 흐름을 만든다는 설명이다. [10:53]

7. 법률 조직에서 배우는 문제 분해와 조사 역할

• 법률 사무소의 책임자가 의뢰인의 문제와 사실관계를 정리하고, 보조 인력이 조사 도구로 자료를 찾아 메모를 전달하면 책임자가 이를 종합하는 구조를 보여준다. [12:06]
• 코딩 요청에서는 사용자가 이미 수행한 문제 분해를, 개방형 지식 업무에서는 에이전트가 직접 해야 한다. 발표자는 이후 조사를 하위 에이전트에 맡기는 방식을 제안한다. [12:25]

8. PDF 기반 업무에서 드러나는 도구의 한계

• 두 번째 기업용 PDF 질의응답 사례에서는 BM25를 사용할 때 인간과 모델이 비슷한 성능 한계에 도달한다고 보여준다. 이를 모델의 인간 수준 도달보다 필요한 정보를 얻지 못하는 도구의 한계로 해석한다. [13:12]
• PDF의 시각 정보와 표를 다루는 멀티모달 검색을 사용하면 정확도가 상승하지만, 발표자가 제시한 에이전트 88.9와 인간 99.4 사이에는 여전히 격차가 남는다. [13:58]

9. 조사 에이전트와 메모 전달로 줄이는 성능 격차

• 주 에이전트가 질문의 중요한 측면을 나누어 질의를 만들고, 조사 에이전트가 검색 결과를 메모로 전달한 뒤 주 에이전트가 답하는 구성을 보여준다. [14:27]
• 발표자는 이 구조로 정확도가 3.5포인트 상승했다고 보여준다. 이상적인 문서가 주어진 경우와 검색 시스템 사이의 격차가 약 10포인트에서 6포인트로 줄었다며, 이를 약 40% 격차 축소로 표현한다. [14:57]

10. 도구와 에이전트를 함께 설계해야 하는 이유

• 마지막 정리에서는 인간 지식 조직의 설계 경험을 활용하고, 성능 한계를 넘기 위한 도구를 에이전트와 함께 설계해야 한다고 강조한다. [16:04]
• 에이전트는 익숙한 키워드 검색에만 의존하지 않고 어휘 검색과 의미 검색 등 여러 도구의 용도를 이해해야 한다. 특히 PDF 검색에서는 자료에 맞는 질의와 검색 방식이 필요하다. [16:38]
• 컨텍스트를 크게 늘려도 비용과 자료 규모의 문제가 남으므로, 작업을 분해하고 지식을 정리하는 오케스트레이션이 필요하다는 말로 마무리한다. 이후 질문 시간을 안내하고 발표를 끝낸다. [17:22]

🧾 결론

• 지식 에이전트의 설계 출발점은 인간 지식 조직이 발전시켜 온 문제 분해, 전문화, 조사 결과 전달 방식이다.
• 성능이 정체되면 검색 도구의 한계와 업무 조직 방식의 한계를 구분해 살펴봐야 한다. 발표의 사례에서는 두 요소를 함께 개선했을 때 추가 성능 향상이 나타났다.
• 컨텍스트는 비용이 드는 유한한 자원이므로, 대량의 자료를 모두 넣는 접근보다 필요한 지식을 찾아 정리하는 검색 오케스트레이션이 중요하다.

📈 투자·시사 포인트

• 기업용 AI를 평가할 때 모델 성능과 함께 문서 검색 품질, PDF·표 처리 능력, 조사 결과를 종합하는 구조를 확인필요가 있다.
• 검색 인프라의 경제적 가치는 정확도 향상뿐 아니라 호출 수와 처리 비용 감소에서도 발생할 수 있다. 다만 영상의 호출 감소 수치를 실제 비용 절감률로 그대로 적용해서는 안 된다.
• 법률·의료 등 전문 업무 자동화에서는 기존 조직의 역할 분담을 제품 설계에 반영하는지가 중요한 검토 지점이다.
• 발표는 특정 벤치마크와 설계 사례를 제시하지만 기업 가치, 매출, 투자 수익을 검증하지는 않는다. 투자 관점에서는 실제 업무의 정확도와 총비용을 별도로 확인해야 한다.

⚠️ 불확실하거나 확인이 필요한 부분

• 첫 검색 벤치마크의 문서 수가 앞에서는 20만 개, 뒤에서는 10만 개로 언급된다. 정확한 데이터 규모와 평가 조건은 원자료 확인이 필요하다.
• 정확도 90.2%, 도구 호출 약 20% 감소, 비최적화 기준 대비 지출 약 5%라는 수치는 발표자의 설명이다. 비교 대상, 모델 구성, 비용 계산 방식은 자막만으로 충분히 확인되지 않는다.
• 두 번째 사례의 정확도 3.5포인트 상승과 약 40% 격차 축소는 반올림된 설명을 포함한다. 발표자가 말하는 오라클 격차의 감소를 전체 오류율의 동일한 감소로 해석해서는 안 된다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 대상 업무의 정보 입력, 필요한 판단, 최종 산출물을 정의하고 사용자가 미리 분해해야 하는 질문이 무엇인지 기록한다.
• 같은 자료와 질문으로 최적화된 어휘 검색 기준선을 만들고, 의미 검색·멀티모달 검색과 정확도 및 비용을 비교한다.
• PDF와 표처럼 텍스트 추출만으로 정보가 손실될 수 있는 자료를 평가 사례에 포함한다.
• 주 에이전트의 문제 분해 → 조사 에이전트의 검색 → 근거 메모 전달 → 답변 종합 구조를 시험하고 단일 에이전트와 비교한다.

❓ 열린 질문

• 어떤 업무에서는 조사 역할을 나누는 이득보다 조정 비용과 메모 전달 과정의 정보 손실이 더 커지는가?
• 성능 정체가 검색 도구, 질의 작성, 문제 분해, 답변 종합 중 어디에서 발생했는지 어떻게 구분할 수 있는가?
• 에이전트가 익숙한 키워드 검색에 치우치지 않고 자료와 의도에 맞는 검색 방식을 선택하도록 하려면 어떤 학습과 평가가 필요한가?