YouTubeStanford Online·2026년 11월 12일·0

How AI Agents Use Tools: Function Calling & MCP

Quick Summary

AI 에이전트는 함수 호출로 외부 도구를 실행하고 MCP로 도구를 발견·연결하며, 실용성을 확보하려면 호출의 유효성과 실행 결과, 반복 성공을 함께 검증해야 한다.

영상 보기

클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.

원본 열기

🖼️ 인포그래픽

How AI Agents Use Tools: Function Calling & MCP 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

How AI Agents Use Tools: Function Calling & MCP의 핵심 내용을 4단계로 요약한 인포그래픽
How AI Agents Use Tools: Function Calling & MCP 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 결론

AI 에이전트는 함수 호출로 외부 도구를 실행하고 MCP로 도구를 발견·연결하며, 실용성을 확보하려면 호출의 유효성과 실행 결과, 반복 성공을 함께 검증해야 한다.

📌 핵심 요점

  1. RAG의 검색 성공은 답변 정확성을 보장하지 않는다. 정답 문서가 문맥 중간에 있으면 정보를 놓칠 수 있고, 검색 문서를 늘려도 독해 정확도는 정체될 수 있다. 인용 역시 모델이 생성하므로 근거와 답변의 연결을 별도로 확인해야 한다.
  2. 도구는 모델의 계산·최신 정보 접근·외부 실행 능력을 보완한다. 모델이 함수 이름과 인자를 생성하면 외부 프로그램이 실제 작업을 수행하고 결과를 반환한다. 다만 호출 문자열에도 존재하지 않는 API나 잘못된 인자가 포함될 수 있다.
  3. 학습 기반 접근은 도구 선택부터 결과 활용까지 익히게 한다. Toolformer는 실행 결과가 후속 토큰 예측 손실을 줄이는 호출을 학습 데이터로 남긴다. ToolLM은 합성 요청과 해결 트리로 도구 범위를 확장하고, Gorilla는 검색 오류를 고려한 학습과 AST 기반 평가로 호출 신뢰성을 다룬다.
  4. 함수 호출과 MCP는 연결의 서로 다른 부분을 담당한다. 함수 호출은 JSON 스키마에 따라 도구 이름과 인자를 출력하도록 하고, 실행 코드는 이를 검증·실행한다. MCP는 호스트·클라이언트·서버 사이의 공통 프로토콜로 도구의 실행 시점 발견과 여러 호스트에서의 재사용을 지원한다.
  5. 평가는 형식 준수에서 실제 동작과 일관성까지 확장해야 한다. AST 매칭, 실행 결과, 다단계 상태를 함께 확인하고 적절한 도구가 없는 상황도 시험해야 한다. 여러 시도 중 한 번의 성공을 보는 pass@k와 K번 모두의 성공을 요구하는 pass^k는 신뢰성을 다르게 보여준다.

🧩 배경과 문제 정의

  • RAG는 외부 지식을 검색해 답변에 활용하지만, 정답이 문맥에 있어도 놓치거나 잘못된 인용을 생성할 수 있다. 검색 성공과 최종 답변의 정확성은 별도로 검증해야 한다.
  • 언어모델은 복잡한 다단계 계산, 학습 이후의 최신 정보, 비공개 데이터, 외부 시스템과의 상호작용에서 한계를 보인다. 도구는 계산과 정보 접근, 실제 실행 능력을 보완한다.
  • 도구 사용에서는 외부 프로그램의 기능뿐 아니라 모델이 올바른 함수와 인자를 생성하는지도 중요하다. 문자열 형태의 호출에도 환각이 발생할 수 있어 인터페이스와 검증 문제가 남는다.

🕒 시간순 섹션별 상세정리

1. RAG의 실패는 검색·독해·생성 과정 전체에서 발생한다

  • RAG는 질문에 답하거나 과제를 수행하는 과정에서 정보를 검색하고, 검색한 내용을 활용하는 설계 원리다. 검색 단계에서는 에이전트가 접근하면 안 되는 정보를 가져오는 권한 누출이 발생할 수 있다 [02:04]
  • 독해 단계에서는 문맥 중간의 정보를 놓치거나, 비슷하지만 무관한 내용에 주의를 빼앗길 수 있다. 우유의 건강상 이점과 단점처럼 서로 충돌하는 근거를 어떻게 종합할지도 중요한 문제다 [02:44]

2. 정답 문서의 위치만 바뀌어도 답변 성능이 달라진다

  • 여러 검색 결과만으로 답하도록 구성한 질의응답에서는 문서 수뿐 아니라 정답 문서의 위치도 결과에 영향을 준다. 정답이 문맥의 앞이나 끝에 있으면 잘 활용하지만, 중간에 있으면 성능이 떨어지는 U자형 위치 편향이 나타난다 [05:29]
  • 제시된 비교에서 외부 검색이 없는 질의응답 점수는 약 56이었고, 관련 문서를 제공하면 88까지 높아졌다. 그러나 정답 문서가 중간에 놓이면 검색을 사용하지 않은 경우보다도 성능이 떨어질 수 있어, 문맥에 정답이 있다는 사실만으로는 충분하지 않다 [06:17]

3. 검색 문서를 늘려도 독해 성능은 함께 높아지지 않는다

  • 검색 문서가 약 50개일 때 정답이 검색 집합 안에 포함되는 비율은 약 90%까지 증가한다. 반면 대부분의 독해 모델은 문서 10~20개 이후 정확도가 약 50~60%에서 정체되며, 일부는 오히려 하락한다 [07:02]
  • 검색 성공률과 독해 정확도 사이의 차이는 확보한 근거를 모델이 충분히 활용하지 못한다는 뜻이다. 검색 개수 K를 신중하게 정하고 결과를 재정렬해야 하며, 문서를 많이 넣는 것만으로 답변이 좋아지지는 않는다 [07:37]

4. 유창한 답변과 그럴듯한 인용은 정확성을 보장하지 않는다

  • 인용은 답변을 뒷받침하는 근거를 제공해 환각을 줄이려는 장치지만, 인용 자체도 언어모델이 생성하므로 잘못될 수 있다. 법률 문서에 설득력 있어 보이는 허구의 사례가 포함되는 문제도 같은 맥락에 있다 [08:39]
  • Perplexity와 UChat의 사용자 평가에서는 유용성이 5점 만점에 4.5와 4.48로 높았다. 그러나 제시된 인용 정밀도는 약 75로, 약 4분의 1의 인용이 잘못되거나 환각을 포함한다는 문제가 드러났다 [09:45]

5. 허구의 참고문헌은 연구 결과의 신뢰성에도 영향을 준다

  • NeurIPS 학회 논문집을 조사한 사례에서는 최소 100건의 환각 인용이 발견됐다. 연구자가 알고리즘과 분야를 이해하는 데 사용하는 논문에도 잘못된 참고문헌이 들어갈 수 있다 [10:43]
  • 학생 연구·수업 프로젝트에서도 인용 환각이 나타났으며, ICLR에서는 허구의 참고문헌을 이유로 심사 전 탈락시키는 학회 차원의 조치가 있었다. 권위 있어 보이는 내용에 인용이나 링크가 붙어 있어도 정확성을 따로 확인해야 한다 [11:30]

6. 긴 문맥을 입력받는 능력과 그 안의 사실을 찾는 능력은 다르다

  • ‘건초더미에서 바늘 찾기’ 평가는 긴 문서에 하나의 정답 사실을 넣고, 문맥 길이와 사실의 위치를 바꾸면서 질의응답 성능을 확인한다. 초기 모델인 Claude 2.1을 대상으로 약 1K~200K 범위의 문맥을 시험한 사례가 드러난다 [12:21]
  • 짧은 문맥에서는 대체로 정답을 찾지만, 문맥이 길어질수록 실패가 늘어난다. 특히 최근에 읽은 끝부분의 사실은 비교적 잘 찾는 반면 앞이나 중간의 사실은 놓칠 수 있어, 200K 토큰을 수용해도 전체를 안정적으로 활용하지는 못한다 [13:23]

7. GPT-4에서도 긴 문맥의 위치 편향이 남는다

  • 128K 문맥의 GPT-4는 같은 평가에서 전반적으로 높은 성능을 보이지만, 약 73K 부근부터 일부 실패가 나타난다. 강조된 실패 영역에는 문서 내 약 10~15% 위치에 놓인 사실들이 포함된다 [14:10]
  • 문맥의 앞과 끝에 있는 사실은 상대적으로 잘 유지되지만, 긴 문맥의 중간에서는 정보를 놓치는 문제가 남는다. 이런 한계에도 RAG는 모델이 암기하지 않은 외부 지식을 활용하게 해주는 유용한 설계 원리다 [14:48]

8. 장거리 의존성과 위치 편향이 정보 누락의 가능한 원인이다

  • 중간이나 앞부분의 정보를 활용하려면 긴 거리의 의존성을 처리해야 하므로, 어텐션 관점에서 더 어려울 수 있다는 설명이 드러난다. 이는 확정된 단일 원인이라기보다 가능한 해석이다 [15:31]
  • 최근 정보에 주의를 집중하는 위치 편향도 가능한 설명이다. 관찰된 현상은 모델이 주어진 문맥을 안정적으로 활용하지 못한다는 점을 보여주며, 메모리 구성에서도 관련 문제가 나타날 수 있다 [16:07]

9. 외부 지식에는 RAG를 활용하되 과제별 검증이 필요하다

  • 검색 자체도 도구 사용의 한 형태다. 위치 편향 같은 문제가 있다고 해서 RAG의 가치가 사라지는 것은 아니며, 외부 데이터가 필요한 과제에는 여전히 강력한 접근법으로 권장된다 [16:59]
  • 실제 과제에서는 답변의 정확성뿐 아니라 정답 위치에 따라 결과가 달라지는지, 검색 자료가 안전한지, 악성 내용이 삽입되지 않았는지 검증해야 한다 [17:37]

10. 높은 추론 능력도 최신 정보와 정확한 반복 계산을 보장하지 않는다

  • 초기 GPT-4는 어려운 수학 문제를 풀면서도 현재 미국 대통령이나 오늘의 요일 같은 질문에는 답하지 못했다. 제시된 곱셈 평가에서는 999와 867의 곱을 틀렸으며, 정확도가 약 59%에 그쳤다 [18:59]
  • 더 강한 추론 모델인 o1에서도 곱셈 자릿수가 늘어나면 실패가 증가했고, 네 자리 수준에서도 성능 저하가 관찰됐다. 작은 문제의 해결 능력이 더 큰 문제로 안정적으로 일반화되지는 않았다 [19:50]

11. 도구는 계산·정보 접근·외부 상호작용의 한계를 보완한다

  • 긴 곱셈이나 다단계 논리 추론처럼 정확성과 검증 가능성이 중요한 작업에는 계산기, 코드 실행, 기호 풀이기, 검증기를 사용할 수 있다 [22:32]
  • 학습 이후의 사건, 드문 정보, 비공개·독점 데이터에는 검색, RAG, 웹 검색, 뉴스피드, 실시간 API, 기업 내부 자료 검색을 활용할 수 있다 [22:54]

12. 도구 호출은 외부 프로그램을 실행하기 위한 함수 인터페이스다

  • 언어모델의 도구는 모델 외부에서 실행되는 컴퓨터 프로그램에 대한 함수 인터페이스로 해석할 수 있다. 모델은 함수 호출과 매개변수·인자를 생성하고, 실제 작업은 외부 프로그램이 수행한다 [24:33]
  • 모델이 접하는 인터페이스는 이름, 시그니처, 매개변수나 인자가 포함된 텍스트 형태다. 텍스트를 다루도록 학습된 언어모델에 도구 사용도 비슷한 형식으로 제공하면 잘 작동할 수 있다는 발상이다 [25:10]

13. 도구의 범위에는 실시간 정보와 기존 전문 모델도 포함된다

  • 현재 시각은 시간 조회 도구로 확인하고, 복잡한 계산은 외부 계산기로 처리할 수 있다. 모델이 직접 답을 만들어내는 대신 해당 기능을 수행하는 프로그램의 결과를 활용한다 [25:38]
  • 날씨·위치 조회, 일정과 이메일 접근뿐 아니라 이미지 생성처럼 비텍스트 작업도 도구로 위임할 수 있다. 특정 과제에 필요한 밈을 외부 이미지 생성 도구로 만드는 사례가 여기에 해당한다 [26:22]

14. 계산과 날씨 조회도 문자열로 표현한 호출을 거쳐 실행된다

  • 17,423과 3,892의 곱을 구하는 예에서는 모델이 계산 결과를 직접 생성하는 대신 특정 표시가 포함된 텍스트로 계산기 호출을 작성한다. 이 표시는 외부 계산을 실행해야 한다는 역할을 한다 [27:59]
  • 날씨 질문에서는 날씨 확인 함수를 호출해 외부 대시보드나 데이터베이스를 조회하고 결과를 답변에 반영한다. 내부 호출은 함수에 전달할 인자와 문자열로 표현된다 [28:22]

15. 생성된 호출 문자열에도 환각과 타입 오류가 발생할 수 있다

  • 문자열 중심의 호출에서는 기존 인터페이스 정의 언어가 다루던 타입 검사뿐 아니라 의미와 버전 호환성을 어떻게 보장할지도 문제가 된다. 호출하는 쪽과 호출받는 쪽의 의미가 어긋날 때 책임과 정합성을 어떻게 확보할지가 쟁점이다 [29:09]
  • 모델은 함수와 입력 인자를 나타내는 문자열도 잘못 생성할 수 있다. 인용을 환각하듯 호출 데이터도 환각할 수 있으며, 그 결과 외부 타입 검사를 통과하지 못하는 것이 도구 사용의 주요 실패 유형이다 [29:43]

16. 모델은 필요한 도구를 즉석에서 생성할 수도 있다

  • 모델은 작업을 더 쉽게 수행하기 위해 인터페이스를 직접 만들고 이를 도구로 사용할 수 있다. 이러한 즉석 도구 생성의 가능성을 보인 연구도 존재한다. [30:01]
  • 새로 생성한 도구에도 환각 문제가 발생할 수 있다. 모델이 실제로 새 도구를 만든 것인지, 다른 사람이 만든 도구를 기억해 재현한 것인지도 구분하기 어려울 수 있다. [30:31]

17. Toolformer는 도구 사용의 네 가지 결정을 학습한다

  • Toolformer는 어떤 API를 사용할지, 언제 호출할지, 어떤 인자를 전달할지, 실행 결과를 어떻게 반영할지를 언어 모델이 학습하도록 한다. [31:49]
  • 문장 생성 중 계산이 필요하면 계산기를 호출하고, 사실 정보가 필요하면 질의응답 시스템에서 답을 받아 다음 토큰 생성에 활용한다. 호출 위치와 도구 종류 모두 학습 대상이다. [32:15]

18. 일반 텍스트에 API 호출을 삽입해 학습 데이터를 만든다

  • 일반 문장에 API 호출과 결과를 포함한 형식을 삽입하고, 이를 학습 데이터로 사용한다. 모델은 추론 시점에 호출용 토큰을 언제 생성하고 결과를 어떻게 처리할지 익힌다. [34:43]
  • 초기 모델인 GPT-J를 미세조정하는 방식이며, 문장의 앞부분을 보고 적절한 위치에서 도구 호출을 생성하도록 학습한다. [35:17]

19. 호출 위치를 고른 뒤 여러 API 후보를 실제로 실행한다

  • API 호출을 삽입할 위치는 앞서 나온 텍스트를 조건으로 호출이 나타날 확률을 계산해 선택한다. 호출 확률이 높은 위치가 후보가 된다. [36:09]
  • 위치를 정한 다음 질의응답, 계산, 검색 등 서로 다른 API 호출 후보를 샘플링한다. 같은 위치에서도 여러 종류의 도구를 선택할 수 있다. [37:08]

20. 도구 결과가 후속 토큰 예측을 개선하는지로 후보를 걸러낸다

  • 호출 위치부터 문장 끝까지의 토큰에 교차엔트로피 손실을 계산한다. 호출 직후의 토큰에는 높은 가중치를 주고, 거리가 멀어질수록 가중치를 낮춘다. [38:00]
  • 호출과 실행 결과를 모두 제공했을 때의 손실을 두 기준과 비교한다. 기준은 API를 호출하지 않은 경우와 호출은 있지만 실행 결과는 없는 경우이며, 둘 중 손실이 더 낮은 쪽을 사용한다. [39:02]

21. 피츠버그 사례는 실행 결과의 유용성을 손실 차이로 보여준다

  • ‘피츠버그는 무엇으로 알려져 있는가’라는 문맥에서 도구를 쓰지 않으면 손실은 2.5이고, 질의응답 호출만 제공하고 답은 주지 않으면 2.1이다. [39:53]
  • 질의응답 실행 결과인 ‘Steel City’까지 제공하면 손실은 0.8로 낮아진다. 더 강한 기준인 2.1과의 차이 1.3을 호출의 유용성으로 보고 해당 후보를 유지한다. [40:39]

22. 외부 서버의 실패와 잘못된 응답도 학습에 영향을 준다

  • 도구 호출은 외부 시스템이 실행하므로, 서버가 중단되면 응답이 없을 수 있다. 유용성 평가는 실제로 반환된 결과를 바탕으로 이루어진다. [41:38]
  • 잘못된 요청 형식 때문에 오류가 발생하거나 틀린 숫자가 반환될 수도 있다. 이런 외부 실행의 실패 비용은 학습 기반 도구 사용 방식의 한계가 된다. [42:04]

23. 작은 모델도 도구로 성능을 높이지만 호출 방식은 진화한다

  • Toolformer는 사실 확인, 질의응답, 수학, 시간 정보, 다국어 과제에서 좋은 성능을 보였다. GPT-J 기반의 작은 모델도 도구를 적절히 사용하면 훨씬 큰 GPT-3보다 일부 과제에서 나은 결과를 낼 수 있다. [43:12]
  • Toolformer 방식에서는 토큰 생성 중 특정 토큰이 도구 호출을 촉발하고 결과가 생성 문맥에 들어간다. 이후의 에이전트 방식은 문제 해결에 필요한 도구를 선택하고, 실패하면 다른 도구를 시도하는 실행 경로를 만든다. [44:22]

24. 도구를 토큰으로 표현하면 생성과 실행을 연결할 수 있다

  • 각 도구를 하나의 토큰으로 보고 임베딩을 학습할 수 있다. 생성 과정에서 도구 토큰이 선택되면 모델이 필요한 인자를 채우고 도구 실행으로 연결한다. [45:29]
  • 수학 문제에서 최대공약수 함수가 필요하면 해당 도구를 호출하고 계산 결과를 다시 반영한다. 이 과정은 추론, 도구 실행, 결과 반영 단계로 구분된다. [46:19]

25. 여러 도구를 연속 사용하는 문제는 탐색 공간과 데이터 부족이 겹친다

  • 단일 도구 호출의 성능 수치는 0.7, 0.5 수준인 반면, 여러 도구를 순차적으로 써야 하는 경우에는 0.03, 0.09 수준으로 낮아진다. 여러 단계의 도구 사용은 초기 접근의 큰 난점이다. [48:18]
  • 단계마다 선택지가 늘어나므로 가능한 도구 사용 순서의 조합이 매우 커진다. 거대한 탐색 공간이 다단계 도구 사용을 어렵게 만드는 주요 원인이다. [49:24]

26. ToolLM은 합성 데이터로 도구 범위를 16,000개 이상으로 넓힌다

  • ToolLM은 온라인에 공개된 API를 수집해 16,000개 이상의 API를 활용하도록 한다. 다섯 가지 도구에 머물렀던 초기 접근을 대규모 도구 집합으로 확장한다. [50:30]
  • 수집한 API를 바탕으로 ChatGPT가 해당 도구를 필요로 할 사용자 요청과 입출력 예시를 생성한다. 도구 사용 상황을 합성해 학습 데이터의 출발점으로 삼는다. [51:03]

27. ToolLLaMA는 해결 트리를 지도 미세조정으로 학습한다

  • LLaMA에 ChatGPT의 도구 사용 해결 트리를 지도 미세조정해 ToolLLaMA를 만든다. 더 큰 모델이 생성한 해결 과정을 작은 모델의 도구 호출 능력으로 옮기는 방식이다. [52:38]
  • 추론 시에는 사용자 지시를 받아 관련 API를 찾고, 이를 ToolLLaMA에 제공해 최종 답변을 생성한다. 대규모 API 활용을 위해 데이터 구성과 추론 시 검색을 함께 사용한다. [53:00]

28. 해결 과정의 증류는 내부 추론을 직접 얻는 것과 구별된다

  • 강한 모델의 문제 해결 과정이나 추론 경로를 데이터로 확보하면, 지도 미세조정을 통해 더 작은 모델에 비슷한 능력을 학습시킬 수 있다. 여기서 사용하는 증류는 고전적인 지식 증류와 구별된다. [54:06]
  • 합성 데이터 생성은 특정 도구 집합이 필요한 질문을 만들게 한 뒤, 그 질문을 어떻게 해결할지 수행하게 하는 방식이다. 구체적인 과제 수행과 설명된 절차를 얻는 것이며, 모델 내부의 추론 선택을 직접 확보하는 것은 아니다. [54:43]

29. API 환각은 존재하지 않는 인자와 잘못된 도구 선택으로 나타난다

  • 음성을 텍스트로 변환하는 작업에서도 모델은 TorchHub에 존재하지 않는 모델이나 잘못된 source 값을 생성할 수 있다. 그럴듯한 호출 형식이 실제로 유효한 API 사용을 보장하지 않는다. [56:12]
  • 음성 인식이 필요한 요청에 번역 모델을 선택하는 오류도 발생한다. 기능이 비슷한 API 사이의 혼동은 잘못된 라이브러리 선택으로 이어질 수 있다. [56:44]

30. Gorilla는 검색 오류를 포함한 학습으로 API 호출의 신뢰성을 높이려 한다

  • Gorilla는 약 1,600개의 API를 연결하며, Hugging Face·PyTorch Hub·TensorFlow Hub 등의 API를 JSON 형식으로 수집한다. GPT-4로 합성 지시 데이터를 생성하고 이를 바탕으로 모델을 학습한다. [57:36]
  • 올바른 문서만 제공하면 모델이 문서를 복사하는 데 의존해 잘못 검색된 문서에 취약해질 수 있다. 검색 인지 학습은 올바른 검색 결과와 잘못된 검색 결과를 함께 제공해, 검색의 적절성을 구별하고 호출을 생성하도록 학습시키려는 접근이다. [58:32]

31. 구문 트리로 API 호출의 유효성과 환각을 구분한다

  • 생성된 API 호출을 구문 트리로 변환하고, 실제 API 데이터베이스로 만든 트리의 부분 트리와 일치하는지 확인한다. 일치하면 적어도 데이터베이스를 기준으로 유효한 호출이라는 근거가 된다 [1:00:14]
  • 부분 트리가 일치하지 않으면 데이터베이스에 없는 API를 환각했을 가능성이 있다. 존재하는 API에서 잘못된 노드를 사용한 경우는 환각과 구분되는 오류로 판단한다 [1:00:56]

32. 도구별 모델 학습에서 실행 시점의 표준 인터페이스로 전환한다

  • 학습 기반 접근은 모델이 사용할 API, 사용 시점과 방법, 결과를 가져오는 방법을 익히게 한다. 그러나 새로운 API가 등장할 때마다 모델이나 임베딩을 다시 학습해야 한다면 비용이 크고 유연성이 낮아진다 [1:02:18]
  • 대안은 도구를 보편적인 형식으로 설명하는 것이다. 모델이 실행 시점에 도구의 기능을 파악하도록 만들어, 도구에 맞춰 모델을 바꾸는 대신 도구 설명을 표준화한다 [1:03:00]

33. REST API·함수 호출·MCP는 서로 다른 연결 수준을 다룬다

  • REST API는 사람이 읽는 문서와 요청 형식을 중심으로 드러난다. 함수 호출은 도구를 JSON 형식으로 제공하고 모델이 함수 이름과 인자를 출력하게 하며, 주변 실행 코드가 호출 형식을 검증할 수 있다 [1:04:44]
  • 함수 호출에서도 도구가 바뀌면 호출 정의를 수정해야 한다. MCP는 여러 에이전트와 도구가 연결되는 생태계를 대상으로, 서버가 도구를 공개하고 클라이언트가 실행 시점에 발견하고 호출하는 방식을 제공한다 [1:05:43]

34. REST API 사용에는 URL과 응답 구조에 대한 사전 지식이 필요하다

  • 날씨 조회 예시에서는 GET 요청의 URL과 쿼리로 위치를 지정하고, 성공을 뜻하는 HTTP 200 응답과 온도 정보를 받는다 [1:06:55]
  • GET·POST·PUT·DELETE 같은 동작을 사용하려면 모델이 URL, 매개변수 이름, 응답 구조를 알아야 한다. 필요한 정보를 미리 제공해야 한다는 점이 REST API 활용의 제약이다 [1:07:26]

35. 함수 호출은 구조화된 출력을 제공하지만 도구 정의의 확장 부담이 남는다

  • 도구를 JSON 스키마로 제공하면 모델은 자유 형식 텍스트 대신 도구 이름과 타입이 지정된 인자를 반환한다. 실제 호출은 코드가 실행하고 결과를 돌려준다 [1:07:50]
  • JSON 형식으로 출력을 제한하는 방식은 응답을 올바르게 얻는 데 도움이 될 수 있다. 다만 새로운 도구가 추가되면 API나 JSON 스키마를 다시 작성해야 하므로 확장성의 부담이 남는다 [1:08:44]

36. MCP는 호스트·클라이언트·서버 사이에 공통 연결 계층을 둔다

  • MCP는 AI 애플리케이션과 도구·데이터 소스 사이의 공통 프로토콜이다. 채팅 앱이나 IDE 등을 파일 시스템, Slack, Git 같은 자원과 연결하는 중간 계층으로 배치된다 [1:09:18]
  • 호스트는 사용자가 이용하는 애플리케이션이고, 서버는 파일·데이터베이스·원격 서비스 등의 도구 제공자다. 클라이언트는 호스트가 서버별로 만드는 연결 객체로, 핸드셰이크와 도구 목록 교환, 결과 반환 등을 처리한다 [1:10:09]

37. 도구 발견과 실행을 별도 요청으로 처리한다

  • 연결을 맺은 클라이언트는 tools/list로 사용 가능한 도구를 요청한다. 서버는 각 도구의 이름, 설명, JSON 입력 스키마를 반환하고, 모델은 설명을 바탕으로 적합한 도구를 선택한다 [1:11:29]
  • 도구 실행 요청에는 선택한 도구의 이름과 입력 스키마를 충족하는 인자를 넣는다. 서버가 실행 결과를 반환하면서 발견·선택·실행 과정이 계속된다 [1:12:05]

38. LMS 연결 예시는 도구 공개와 접근 권한 통제를 함께 보여준다

  • 강의 학습관리시스템의 API를 FastMCP로 연결하면 에이전트가 과제 목록 조회, 제출물 조회, 성적 게시 같은 지원 기능을 발견할 수 있다 [1:13:07]
  • 성적 게시처럼 모든 사용자에게 허용할 수 없는 기능에는 별도의 권한 통제가 필요하다. 강의 MCP 서버가 에이전트와 REST API 사이에서 요청자의 기능별 접근 권한을 검사한다 [1:14:02]

39. 함수 호출 평가는 구조·실행 결과·다단계 상태를 함께 확인한다

  • Berkeley Function Calling Leaderboard는 여러 모델의 함수 호출 능력을 비교하는 평가 자원이다. AST 매칭을 통한 환각 평가, 실제 실행의 정오 판단, 다단계·다중 턴 호출의 상태 기반 평가를 활용한다 [1:15:35]
  • 데이터셋은 여러 분류에 걸친 실제 사용 사례를 바탕으로 구성된다. 적절한 도구가 없거나 요청을 처리할 수 없는 상황도 포함해, 모델이 무조건 호출을 생성하지 않고 한계를 인식하는지 확인한다 [1:16:10]

40. 합성 호출 데이터와 고객 상호작용 데이터는 서로 다른 능력을 검증한다

  • ToolBench는 ChatGPT가 사용자 질의를 해결하는 과정을 활용해 합성 데이터를 구성한다. 이를 통해 시스템이 도구를 올바르게 사용하는지 평가할 수 있다 [1:16:55]
  • 고객과 에이전트가 상호작용하는 데이터셋에서는 항공편 취소나 변경 같은 요청을 다룬다. 에이전트는 대화에 맞는 도구를 선택하고 실제 요청된 동작이 이루어지도록 호출해야 한다 [1:17:13]

41. 한 번의 성공보다 반복 실행의 일관성이 중요하다

  • pass@k는 여러 번 시도해 한 번이라도 성공하면 성공으로 평가한다. 그러나 다중 턴 서비스에서는 사용자가 반복 시도 끝의 성공보다 매번 안정적으로 작동하는 경험을 기대한다 [1:17:41]
  • pass^k는 선택한 K번의 시도가 모두 성공해야 하는 더 엄격한 지표다. pass@k와 서로 다른 추세를 보일 수 있으므로, 어떤 지표를 선택하는지가 신뢰성 판단에 영향을 준다 [1:18:14]

🧾 결론

  • 에이전트의 실행 능력은 모델의 도구 선택·인자 생성과 외부 프로그램의 동작이 결합된 결과다. 어느 한쪽의 오류도 최종 과제 실패로 이어질 수 있다.
  • 도구 설명과 연결 방식을 표준화하면 새 도구마다 모델을 다시 학습시키는 부담을 줄이는 방향으로 설계할 수 있다. 접근 권한과 자격 증명 통제는 함께 구현해야 한다.
  • 긴 문맥, 많은 검색 결과, 많은 도구는 각각 활용 가능성을 넓히지만 정확성을 보장하지 않는다. 실제 과제의 근거 활용과 실행 성공을 기준으로 판단해야 한다.

📈 투자·시사 포인트

  • 에이전트 제품을 평가할 때 연결 가능한 도구 수와 함께 다단계 작업의 완료율, 반복 성공률, 실패 후 다른 도구를 시도하는 능력을 확인필요가 있다.
  • MCP 서버의 재사용성과 실행 시점 도구 발견은 여러 애플리케이션을 연결하는 개발 부담을 줄일 수 있는 요소다. 실제 도입에서는 권한 검사와 자격 증명 분리의 구현 수준도 평가 대상이다.
  • 도구 검색·호출에는 토큰과 비용이 발생하고 외부 서버 장애도 영향을 준다. 도입 효과를 판단할 때 성공 사례뿐 아니라 과제 완료까지의 호출 비용과 실패 비용을 함께 살펴야 한다.
  • 작은 모델도 도구와 합성 학습 데이터로 일부 과제에서 성능을 높일 수 있다. 모델 규모만으로 제품의 수행 능력이나 비용 효율을 판단하기는 어렵다.

⚠️ 불확실하거나 확인이 필요한 부분

  • 강의의 검색·독해 점수, 긴 문맥 평가, 모델 간 비교는 특정 모델과 실험 설정의 결과다. 원 논문의 데이터셋·버전·평가 조건을 확인하기 전에는 현재 모델 전반의 성능으로 일반화하기 어렵다.
  • 긴 문맥에서 정보를 놓치는 원인으로 제시된 장거리 의존성과 위치 편향은 가능한 해석이다. 공급된 자료는 이를 확정된 단일 원인으로 설명하지 않는다.
  • AST 일치는 참조 API 데이터베이스를 기준으로 호출이 유효하다는 근거다. 실제 실행 결과나 사용자 의도 충족 여부는 별도로 확인해야 하며, Gorilla의 구체적인 비교 성능 수치는 제공되지 않는다.
  • 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
  • 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
  • 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

  • RAG 평가에서 정답 문서의 위치와 검색 개수 K를 바꾸고, 검색 성공률·답변 정확도·인용 정확성을 나눠 측정한다.
  • 함수 호출에 대해 도구 이름, 필수 인자, 타입, 실제 API와의 일치 여부를 검사하고 실행 결과까지 확인한다.
  • MCP 연결에서 도구 목록 조회와 실행 과정을 확인하고, 사용자별 기능 권한과 자격 증명 분리를 점검한다.
  • 다단계·다중 턴 과제에 잘못 검색된 문서, 외부 서버 오류, 사용할 도구가 없는 상황을 포함해 평가한다.

❓ 열린 질문

  • 도구가 많아질수록 관련 API를 찾는 정확도와 다단계 실행의 일관성을 어떻게 함께 유지할 수 있을까?
  • 합성 해결 트리로 학습한 도구 사용 능력은 실제 고객 대화와 예외 상황에도 얼마나 안정적으로 이어질까?
  • 호출 형식이 유효해도 기능 선택이나 실행 결과가 틀린 경우, 어느 단계에서 오류를 감지하고 다른 경로를 시도하게 해야 할까?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.