YouTubeStanford Online·2026년 11월 13일·0

Stanford CME295 Transformers & LLMs

Quick Summary

스탠퍼드 AI Agents 강의의 핵심은 LLM에 검색·도구·기억·실행 체계를 결합하고, 행동 결과를 확인하는 반복 구조로 과제 수행 능력을 만드는 것이다.

영상 보기

클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.

원본 열기

🖼️ 인포그래픽

Stanford CME295 Transformers & LLMs 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

Stanford CME295 Transformers & LLMs의 핵심 내용을 4단계로 요약한 인포그래픽
Stanford CME295 Transformers & LLMs 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 결론

스탠퍼드 AI Agents 강의의 핵심은 LLM에 검색·도구·기억·실행 체계를 결합하고, 행동 결과를 확인하는 반복 구조로 과제 수행 능력을 만드는 것이다.

📌 핵심 요점

  1. RAG는 지식을 보충하지만 검색 품질이 관건이다. 기본 LLM은 비공개 자료와 학습 이후 정보를 알기 어렵고, 모든 정보를 입력하면 컨텍스트·성능·비용의 제약에 부딪힌다. 관련 문서를 청크와 임베딩으로 구성하고, 저렴한 후보 검색 뒤 정교한 재순위화로 필요한 자료를 골라야 한다.
  2. 검색 방법은 데이터와 질문에 맞춰 선택한다. 의미 검색은 비슷하지만 답이 없는 문서를 찾을 수 있고, 키워드 검색은 다른 표현으로 쓰인 정답을 놓칠 수 있다. 하이브리드 검색, 질문 분해, 청크 문맥 보충을 활용하되 NDCG@K·Recall@K·Precision@K 등으로 검증해야 한다. 특정 함수를 찾는 코드 검색에서는 grep 같은 정확한 일치 검색이 유용하다.
  3. 도구 사용은 모델의 호출 예측과 외부 시스템의 실행을 연결한다. 모델이 필요한 함수와 인자를 선택하면 백엔드가 실행하고, 반환된 결과를 모델이 해석한다. 실시간 조회·계산·코드 실행 등을 처리하려면 도구의 목적, 입력 타입, 출력 구조가 명확해야 한다.
  4. 도구가 늘수록 라우팅·표준화·비용 관리가 중요해진다. 기능이 겹치는 도구는 사용자 의도를 다르게 해석하게 만들 수 있고, 많은 도구 정의는 호출 성능을 낮출 수 있다. 관련 도구만 먼저 고르는 라우팅, MCP를 통한 연결 표준화, 고정된 설명을 앞에 배치하는 프롬프트 캐싱이 이를 다루는 수단이다.
  5. 에이전트의 완성도는 모델과 하네스가 함께 결정한다. ReAct는 관찰·계획·행동을 반복하고 목표 상태를 확인한다. 하네스는 도구·프롬프트·기억·컨텍스트 압축 등을 구성하며, 코딩 에이전트에는 실행 안전성도 필요하다. AGENTS.md와 스킬은 규칙과 절차를 지속시키고, 다중 에이전트는 협업 가능성과 함께 별도 실행 비용·권한 위험을 늘린다.

🧩 배경과 문제 정의

  • 코딩 도구는 사람이 요청한 코드 조각을 생성하는 방식에서 자동완성을 거쳐, 코드 작성·테스트·배포까지 과제 전반을 처리하는 에이전트로 발전했다.
  • 기본 LLM의 지식은 학습 데이터에 제한되므로 비공개 코드베이스나 학습 이후의 사건을 알기 어렵다. 또한 텍스트 응답만으로는 주문 같은 외부 행동을 실행할 수 없다.
  • 외부 정보를 모두 프롬프트에 넣는 방식에는 컨텍스트 크기, 긴 입력에서의 성능 저하, 토큰 비용이라는 제약이 있다. 필요한 정보만 검색해 제공하는 RAG에서는 검색의 정확성과 효율이 핵심 문제가 된다.

🕒 시간순 섹션별 상세정리

1. 코딩 지원이 코드 생성에서 과제 전체의 수행으로 확장됐다

  • 직접 코드를 작성하던 작업에 2022년 말 등장한 ChatGPT가 결합하면서, 사용자가 프롬프트를 입력하고 코드 조각을 받는 방식의 지원이 가능해졌다. [01:15]
  • 2024년에는 IDE의 자동완성이 다음 토큰 예측을 활용해 개선됐고, 이후에는 함수의 일부를 완성하는 수준을 넘어 사용자가 지정한 작업을 도구가 수행하는 방향으로 발전했다. [02:04]

2. 기본 LLM에는 학습 지식의 한계와 행동 능력의 한계가 있다

  • 사전학습에서 보지 못한 비공개 코드베이스에 대해서는 기본 LLM이 내용을 알 수 없다. 언어와 코드에 대한 일반 지식만으로 특정 사용자의 내부 자료까지 이해할 수는 없다. [03:38]
  • GPT-6 Astra 예시의 지식 기준일은 2026년 4월 30일이다. 모델 자체의 지식에만 의존하면 그 이후의 정보가 필요한 중간선거 결과 같은 질문에는 답하기 어렵다. [04:29]

3. 모든 정보를 입력하는 방식은 용량·성능·비용에 막힌다

  • 학습 이후의 정보를 전부 프롬프트에 넣으려 해도 컨텍스트 크기가 제한된다. 예시의 약 100만 토큰 컨텍스트도 그동안 발생한 모든 정보를 담기에는 부족하다. [06:16]
  • ‘건초더미 속 바늘 찾기’ 테스트는 입력 길이와 특정 사실의 삽입 위치를 바꿔 검색 능력을 측정한다. 제시된 차트에서는 입력이 길어질수록 문서 앞부분에 놓인 사실을 찾기 어려워져, 허용 컨텍스트가 크더라도 실제 성능은 저하될 수 있다. [08:21]

4. RAG는 관련 정보를 검색해 프롬프트를 보강한다

  • RAG는 질문과 지식베이스의 문서를 비교해 관련 자료를 검색하고, 이를 프롬프트에 추가한 뒤 응답을 생성한다. 선거 결과를 묻는 경우에는 해당 결과에 관한 정보를 입력에 제공하는 방식이다. [10:44]
  • 검색해 추가한 정보도 입력 토큰 비용에 포함되며, 사용자에게 항상 보이지 않는 추론 토큰 역시 과금 대상이다. 필요한 정보를 효율적으로 검색해야 비용을 줄일 수 있다. [11:24]

5. 자연어 검색에는 단어 일치를 넘어서는 표현이 필요하다

  • 같은 의미를 서로 다른 단어로 표현할 수 있으므로, 질문에 등장한 단어와 정확히 일치하는 문서만 찾는 방식은 충분하지 않다. [12:33]
  • 지식베이스는 과제에 필요한 문서를 모으고, 문서를 청크로 나눈 다음 각 청크를 임베딩 벡터로 표현해 구축한다. 임베딩 크기, 청크 크기, 청크 간 중첩 정도가 주요 설정값이다. [13:41]

6. 청크 크기와 중첩은 정보량과 문맥 보존을 조절한다

  • 문서가 복잡하거나 미묘한 의미 차이를 담고 있다면 더 큰 임베딩이 유리할 수 있으며, 임베딩 크기는 보통 수천 차원 규모를 사용한다. 청크는 입력이 지나치게 커지지 않도록 보통 수백 토큰 규모로 나눈다. [14:26]
  • 청크 사이에는 보통 10% 정도의 중첩을 둘 수 있다. 경계에 걸린 정보가 잘리거나 문장이 중간에서 끊겨 의미를 잃는 문제를 완화하고, 필요한 정보가 하나의 청크 안에 포함될 가능성을 높인다. [15:28]

7. 검색은 재현율 중심의 후보 수집과 정밀한 재순위화로 나뉜다

  • 첫 단계인 후보 검색은 관련 문서를 놓치지 않도록 재현율을 높이는 데 집중한다. 수천 개에서 수백만 개의 문서를 비교할 수 있으므로 계산 비용이 낮은 방법이 필요하다. [16:27]
  • 두 번째 단계는 수집된 후보를 더 정교한 모델로 비교해 미묘한 관련성 차이를 평가한다. 최종적으로 상위 K개 청크를 골라 프롬프트에 넣는다. [17:04]

8. 바이인코더는 문서 임베딩을 미리 계산해 검색 비용을 줄인다

  • 바이인코더는 질문과 청크를 각각 인코더에 통과시켜 벡터로 표현하고, 두 벡터의 유사도 점수로 후보를 선택한다. [18:41]
  • 청크의 임베딩은 미리 계산할 수 있으므로, 추론 시점에는 질문의 임베딩과 유사도 검색만 수행하면 된다. 근사 최근접 이웃 알고리즘을 활용할 수 있어 비교적 저렴하다. [19:17]

9. 의미 유사도와 키워드 일치는 각각 다른 검색 오류를 낳는다

  • ‘Cuddly는 어디에 있는가’라는 질문에 의미 유사도만 적용하면, 이름이 비슷한 Huggy의 문장이나 질문 형태가 비슷한 파리의 위치 문장이 상위에 나올 수 있다. 의미상 비슷한 표현이 실제 답을 포함한다는 보장은 없다. [21:45]
  • BM25는 질문과 문서에 등장한 정확한 단어를 비교한다. 예시에서는 ‘Cuddly’가 포함된 기분 묘사 문장과 책에 둘러싸여 지낸다는 문장을 찾을 수 있다. [22:56]

10. 하이브리드 검색은 의미 검색과 키워드 검색의 순위를 결합한다

  • 의미 유사도 검색의 순위와 키워드 검색의 순위를 결합해 최종 순위를 만들 수 있다. 이런 하이브리드 방식은 대부분의 경우 의미 검색이나 BM25를 단독으로 사용하는 것보다 더 나은 성능을 보인다. [24:03]

11. 가상 문서 임베딩은 질문과 문서의 형식 차이를 줄인다

  • 질문은 대체로 의문문이고 문서는 서술문이므로, 같은 인코더를 사용하더라도 두 입력의 임베딩 사이에 형식상의 차이가 생길 수 있다. [24:41]
  • 가상 문서 임베딩은 질문으로부터 가상의 문서를 생성하고, 그 문서와 실제 청크 사이의 유사도를 계산한다. 비교 대상의 형식을 가깝게 만들어 인코더가 관련성을 파악하기 쉬워질 수 있다. [25:17]

12. 여러 질문을 담은 요청은 나누어 검색할 수 있다

  • 하나의 요청에 여러 질문이 포함되면 단일 임베딩으로 모든 내용을 포착하기 어려울 수 있다. 요청을 여러 질문으로 다시 작성하고, 각 질문으로 관련 문서를 검색하는 방법을 사용할 수 있다. [25:54]

13. 청크에 문서 전체의 문맥을 보충하면 독립적인 이해가 쉬워진다

  • 청크 사이에 중첩을 두더라도 개별 청크만 읽어서는 의미가 불분명할 수 있다. 각 청크에 필요한 문맥을 추가하면 해당 부분을 독립적으로 이해하기 쉬워진다. [26:49]
  • LLM에 전체 문서와 특정 청크를 함께 제공하고, 전체 문서를 바탕으로 해당 청크에 필요한 문맥을 덧붙이도록 요청할 수 있다. [27:09]

14. 반복되는 문서를 프롬프트 앞에 배치하면 캐시 비용을 줄일 수 있다

  • 여러 청크의 문맥을 보충할 때는 공통으로 사용하는 전체 문서를 프롬프트 앞에 놓고, 뒤에서 개별 청크를 지정할 수 있다. 반복되는 앞부분은 캐시 할인 대상이 될 수 있으며, 달라지는 뒷부분은 해당 할인에서 제외된다. [27:49]
  • 가격 예시에서 일반 입력은 100만 토큰당 약 10달러이고 캐시 입력은 그 10분의 1 수준이다. 반복되는 입력을 캐시할 수 있으면 상당한 비용 절감이 가능하다. [28:12]

15. 재순위화는 질문과 청크를 함께 인코딩해 관련성을 평가한다

  • 후보 검색으로 약 100개의 청크를 확보한 뒤에는 순위를 다시 매긴다. 비교 대상이 수백만 개에서 약 100개로 줄었기 때문에 질문과 문서 사이의 더 미묘한 관계를 평가하는 계산을 수행할 수 있다. [29:19]
  • 이 단계에서는 질문과 청크를 각각 따로 인코딩하는 대신, 질문과 각 후보 청크를 하나의 인코더에 함께 입력해 점수를 얻을 수 있다. [29:46]

16. 질의와 문서를 함께 인코딩해야 세밀한 관계를 구별할 수 있다

  • 질의와 문서를 각각 벡터 하나로 압축하면 토큰 사이의 관계가 일부 사라질 수 있다. 두 입력을 하나의 모델에 함께 넣으면 질의와 문서의 토큰이 서로 상호작용해 관련성 점수를 더 세밀하게 계산할 수 있다 [30:01]
  • ‘빨간 목도리와 파란 양말을 착용한 곰인형’과 ‘파란 목도리와 빨간 양말을 착용한 곰인형’은 바이인코더에서 비슷한 표현을 얻을 수 있다. 질의와 청크를 함께 인코딩하는 방식은 색상과 물건의 연결 관계를 더 자세히 구별하려는 접근이다 [30:48]

17. 인코더 기반 재순위화는 질의와 청크 쌍마다 점수를 계산한다

  • 질의와 청크를 하나의 시퀀스로 입력하고, 특수 토큰으로 두 부분을 구분할 수 있다. BERT와 유사한 인코더에서 CLS 토큰의 표현을 투영해 두 입력의 관련 여부를 예측하는 구성이 가능하다 [31:53]
  • 후보 검색으로 A·B·C·D 네 청크를 얻었다면, 각 청크를 질의와 하나씩 묶어 재순위화 모델에 넣는다. 이렇게 계산한 점수들을 비교해 최종 순위를 만든다 [32:33]

18. NDCG는 관련 문서가 상위에 배치되는 정도를 평가한다

  • 검색 평가는 후보 검색과 재순위화로 선택한 상위 K개 문서가 실제 관련 문서와 얼마나 잘 일치하는지 수치화한다. NDCG@K는 상위 K개 예측을 대상으로 순위와 관련성을 평가한다 [35:35]
  • DCG는 관련 문서가 순위의 앞쪽에 있을수록 높은 값을 부여한다. 따라서 같은 관련 문서를 찾더라도 더 높은 순위에 배치한 결과가 유리하다 [37:21]

19. 첫 관련 문서의 위치와 검색 결과의 정밀도·재현율을 함께 본다

  • 역순위는 첫 번째 관련 청크가 등장하는 순위의 역수다. 첫 관련 청크가 더 앞에 나올수록 지표가 높아진다 [39:06]
  • Recall@K는 전체 관련 문서 중 상위 K개 결과에서 찾은 비율이고, Precision@K는 상위 K개 결과 중 실제 관련 문서의 비율이다. 두 지표 모두 높은 값이 바람직하다 [39:25]

20. 코드 검색에서는 의미적 유사성보다 정확한 일치가 중요할 수 있다

  • 코딩 질문은 특정 함수를 찾는 경우가 많아 의미적으로 비슷한 코드보다 정확히 일치하는 대상을 검색하는 편이 더 적합할 수 있다 [41:05]
  • grep은 검색어가 코드베이스에서 등장하는 위치를 찾아 활용하게 한다. 자연어 문제에 적용하던 의미적 유사성·키워드 검색과 달리, 코딩에서는 이러한 정확한 일치 검색을 흔히 사용한다 [41:51]

21. 검색한 청크를 프롬프트에 넣는 기준은 구현에 따라 달라진다

  • 상위 K개 청크를 모두 프롬프트에 넣는 방식이 일반적이지만, 별도 점수와 임계값을 적용해 기준에 못 미치는 청크를 제외할 수도 있다 [42:48]
  • 청크는 보통 관련성이 높은 순서로 배치한다. 다만 관련성 차이를 모델에 전달하는 방식과 구체적인 구성은 구현에 따라 달라질 수 있다 [43:20]

22. 벡터 데이터베이스는 후보 검색을 지원하고 재순위화는 별도 계산이 필요하다

  • 벡터 데이터베이스에는 청크와 해당 임베딩을 저장하며, 이를 첫 단계인 후보 검색에 사용한다 [43:51]
  • 재순위화에서는 현재 질의와 청크를 함께 반영하는 표현과 점수를 계산해야 한다. 이 결합 결과는 미리 계산해 둘 수 없으므로 후보 검색과 같은 방식으로 처리할 수 없다 [44:04]

23. 실시간 정보와 사용자 위치가 필요하면 정적 RAG만으로 부족하다

  • LLM의 지식에는 곰인형의 현재 위치가 없을 수 있다. 곰인형이 자주 이동하지 않고 데이터베이스를 매일 갱신한다면, 관련 청크를 가져와 위치를 추정하는 데 도움을 받을 수 있다 [44:50]
  • ‘내 주변의 곰인형 찾기’는 현재 위치와 실시간 주변 정보가 필요하다. 정적인 데이터나 오래된 청크는 질의와 관련이 있어도 실제 답을 찾는 데 도움이 되지 않을 수 있다 [45:43]

24. 도구 사용은 호출 예측·외부 실행·최종 응답의 세 단계로 계속된다

  • LLM은 제공된 도구를 보고 바로 답하는 대신 필요한 작업을 예측할 수 있다. 주변 곰인형 검색에서는 먼저 위치를 얻고, 그 좌표를 이용해 주변 정보를 조회하는 함수를 호출한다 [47:20]
  • 실제 조회는 외부 백엔드가 수행한다. 그 결과를 다시 LLM에 전달하면 모델이 사용자에게 최종 답변을 생성하므로, 전체 과정은 작업 예측·실행·결과 전달의 세 단계로 구성된다 [48:11]

25. 도구 문서는 모델이 사용할 인터페이스이고 구현 코드는 실행을 담당한다

  • 여러 제공자는 Python으로 도구를 표현한다. 곰인형 검색 도구라면 실제 검색 작업을 구현한 함수가 있고, 모델에는 API 설명과 입력·출력 정보가 제공되므로 함수의 목적을 명확히 문서화해야 한다 [50:48]
  • 함수 내부의 Python 로직은 모델에 보여 주는 정보가 아니라 도구 선택 후 실행되는 구현이다. 이 내부 로직에서 전달받은 인자를 사용해 백엔드를 조회하는 등의 작업을 수행할 수 있다 [51:54]

26. 해석 가능한 입력과 구조화된 출력이 도구 사용을 뒷받침한다

  • 모델이 도구를 올바르게 호출하려면 입력 인자의 의미와 타입이 명확해야 한다. 좌표를 사용하는 도구라면 위치를 나타내는 인자와 필요한 자료형을 분명히 지정해야 한다 [52:21]
  • 도구의 출력도 모델이 자연어로 해석할 수 있어야 한다. 이를 위해 enum 같은 구조화된 타입을 사용할 수 있으며, 곰인형 검색 예시에서는 이름·거리·기분 등의 필드가 있는 결과를 반환한다 [52:49]

27. 웹 검색과 전용 조회·계산 도구는 서로 다른 요구를 처리한다

  • 인터페이스의 ‘웹 검색 중’ 같은 표시는 백엔드에서 검색 도구 호출을 예측하고 실행하고 있음을 나타낸다. 이러한 표시는 사용자가 대기 상황을 이해하고 모델이 결과를 처리하는 동안 기다리게 한다 [54:02]
  • 모든 정보를 웹에서 찾을 필요는 없다. 날씨·주가를 빠르게 조회하는 전용 도구나 코드베이스 검색 도구를 둘 수 있다 [54:46]

28. 도구는 코드 실행과 이메일 발송 같은 작업까지 확장된다

  • 그래프를 그려 달라는 요청은 코드 실행 도구 호출로 이어질 수 있다. 생성한 코드를 실행한 결과가 대화 화면의 그래프로 나타난다 [56:12]
  • 이메일 도구는 사용자의 의도를 받아 내용을 작성하고, 사용자를 대신해 실제 발송 작업까지 수행하도록 구성할 수 있다 [56:45]

29. 기존 SFT 방식은 도구 호출과 결과 해석을 예제로 학습시켰다

  • 사용할 도구가 학습 시점에 고정되는지는 접근 방식에 따라 다르다. 과거의 방식은 도구 호출과 인자 예측, 실행 결과의 자연어 변환을 나누고 이를 지도 미세조정(SFT)의 다음 토큰 예측으로 학습하는 것이었다 [57:16]
  • 호출 학습 예시는 ‘내 주변의 곰인형 찾기’라는 질의와 사용 가능한 API들을 주고, 먼저 위치 확인 도구를 선택한 뒤 얻은 위치로 곰인형 검색 도구를 호출하도록 구성할 수 있다 [57:49]

30. 일반적인 도구 사용 능력과 프롬프트가 개별 도구 적용을 지원한다

  • 최근 방식에서는 학습 과정에서 Python 사용 등 일반적인 계산·도구 사용 능력을 익히게 할 수 있다. 개별 도구의 구체적인 사용 방식은 모델 가중치에 고정하기보다 프롬프트로 전달하는 접근을 사용한다 [58:42]
  • 함수 API에 붙는 문서 문자열은 특정 인자를 어떻게 사용해야 하는지 등 행동 방식을 안내하는 위치가 될 수 있다 [59:15]

31. 목표 답안에 맞춰 도구 설명과 프롬프트를 반복 개선한다

  • 여기서 프롬프트로 모델을 훈련한다는 것은 가중치 변경이 아니라 원하는 답을 내도록 유도한다는 뜻이다. 별도 모델에 API를 제공하고 도구 설명을 작성하게 하는 방법을 사용할 수 있다 [1:00:43]
  • MCP는 도구와 설명을 담는 형식을 정리하지만, 설명에 어떤 내용을 써야 하는지는 해결하지 않는다. 질의와 목표 답안 쌍을 이용해 설명을 반복 수정하면 개선 방향을 구체화할 수 있다 [1:01:33]

32. 도구의 기능 중복은 요청의 의미까지 바꿀 수 있다

  • GDrive 검색과 다른 문서 조회 도구가 같은 문서를 반환한다면 기능 범위가 겹쳐도 결과에는 문제가 없을 수 있다. 이런 중복은 무해한 충돌에 해당한다 [1:05:02]
  • “내 곰인형을 찾아줘”라는 요청은 컴퓨터에서 곰인형 사진을 찾으라는 뜻과 실제 곰인형의 위치를 찾으라는 뜻으로 해석될 수 있다. 어떤 도구가 선택되는지에 따라 응답이 사용자 의도에서 벗어날 수 있다 [1:05:18]

33. 모호한 요청과 결정성만으로는 도구 충돌을 해결하기 어렵다

  • 사용자가 요청을 충분히 구체화하지 않았다는 반론은 가능하지만, 사용자가 관심 없는 활성 도구가 요청을 가져가는 문제까지 사용자 책임으로 돌리기는 어렵다. 의도와 맞지 않는 응답은 도구를 지나치게 많이 노출했다는 신호일 수 있다 [1:06:23]
  • 도구의 범위를 관리하는 주체와 도구를 제공하는 주체가 서로 다를 수 있어 충돌을 시스템 차원에서 다뤄야 한다 [1:07:04]

34. 대화·기억·프로필·설정으로 도구 후보를 좁힌다

  • 전체 도구 중 일부만 선택하면 충돌을 줄일 수 있다. 대화에서 실제 곰인형의 존재를 다뤘거나 과거의 구체적인 요청이 기억에 남아 있다면, 모호한 요청도 그 맥락에 맞춰 해석할 수 있다 [1:08:18]
  • 기업 환경에서는 사용자 프로필이 도구 선택의 단서가 된다. 재무 담당자와 엔지니어가 자주 사용하는 도구 집합은 다를 수 있다 [1:09:16]

35. 가벼운 라우터가 후보를 고르고 본 모델이 그 안에서 도구를 사용한다

  • 도구 라우팅은 자연어를 처리해야 하지만 상대적으로 어려운 작업은 아니므로, 보통 지연 시간이 짧은 경량 LLM을 사용할 수 있다 [1:10:23]
  • 도구 선택은 먼저 관련 도구의 부분집합을 고른 뒤, 그 정의를 컨텍스트에 넣어 본 LLM이 사용하게 하는 두 단계로 구성된다 [1:10:55]

36. 충돌이 없어도 많은 도구 정의는 호출 성능을 떨어뜨릴 수 있다

  • 도구의 기능이 전혀 겹치지 않고 선택도 정확하더라도, 컨텍스트가 커지면 도구 호출 성능이 낮아질 수 있다. 첫 요청부터 많은 컨텍스트를 소모하지 않도록 도구 정의의 불필요한 부피를 줄여야 한다 [1:11:58]

37. MCP는 도구와 여러 LLM 사이의 연결 방식을 표준화한다

  • 표준이 없으면 LLM마다 다른 표현과 API 설계에 맞춰 연결 구현을 따로 만들어야 한다. MCP는 이를 지원하는 여러 LLM 제공업체에 도구를 연결할 수 있도록 공통 방식을 제공한다 [1:12:53]
  • MCP 서버에는 도구 구현과 비즈니스 로직이 들어가고, MCP 클라이언트는 서버에 요청해 도구를 사용한다. 사용자는 클라이언트와 상호작용하며, 클라이언트가 서버를 호출한다 [1:14:01]

38. MCP의 도구·프롬프트·리소스는 서로 다른 역할을 맡는다

  • 도구는 인자와 출력 등을 표준 형식으로 정의한다. 프롬프트는 도구를 활용하는 특정 작업 흐름에 접근하기 위한 바로가기 역할을 한다 [1:14:42]
  • 리소스는 애플리케이션 계층이나 MCP 클라이언트가 작업에 활용할 수 있는 자료다. 책 추천 사례에서는 도서 검색·추천 기능을 도구로, 특정 제목 검색이나 취향 기반 추천 절차를 프롬프트로 구성할 수 있다 [1:15:16]

39. 프롬프트 캐싱은 반복되는 도구 설명의 비용을 낮춘다

  • 긴 도구 사용 지침을 매번 입력하는 비용은 프롬프트 캐싱으로 줄일 수 있다. 제공업체별 차이는 있지만, 일반 입력 토큰 대비 비용 절감 규모는 대략 10배 수준으로 드러난다 [1:17:06]
  • 캐시는 최초 저장 비용과 유지 시간인 TTL을 고려해야 한다. 5분이나 1시간처럼 유지 시간을 선택하고, 그 안에 같은 입력을 다시 요청하면 저장된 내용을 재사용할 수 있다 [1:17:28]

40. 고정된 내용을 프롬프트 앞에 배치해야 캐시를 재사용할 수 있다

  • 프롬프트에는 사용자 질의, 도구 정의, 제공업체가 삽입하는 사용자 맥락 등이 포함된다. 날짜·시간이나 IP 주소에 따른 대략적인 위치는 답변과 검색을 상황에 맞추는 데 쓰일 수 있다 [1:18:45]
  • 사용자 질의와 시간 정보는 바뀌지만, 고정된 도구 집합이나 같은 도구를 선택하는 요청들에서는 도구 정의를 재사용할 수 있다. 이런 고정 부분을 앞에 배치해야 뒤의 가변 내용이 달라져도 캐시를 활용할 수 있다 [1:20:32]

41. 하네스는 모델 주변의 실행 체계를 구성한다

  • 하네스는 모델 자체를 제외한 주변 구성 전체를 가리킨다. 도구, 행동 순서, 컨텍스트 압축 전략, 메모리, 프롬프트 등이 여기에 포함된다 [1:23:21]
  • 모델과 하네스는 상호 보완적이다. 강한 하네스만으로 약한 모델을 보완하거나 강한 모델만으로 부족한 실행 체계를 보완하기는 어렵고, 운행 가능한 자동차에 엔진과 주변 장치가 함께 필요한 것과 같다 [1:23:54]

42. ReAct는 관찰·계획·행동을 반복해 목표 상태에 도달한다

  • ReAct는 추론과 행동을 결합하는 패러다임으로, 2023년에 정식화된 것으로 드러난다. 현재 상태를 관찰하고 행동을 계획한 뒤 실행하며, 결과를 다시 관찰하는 순환을 반복한다 [1:24:27]
  • 시스템이 관찰한 상태에 만족하면 반복을 끝내고 사용자에게 결과를 반환한다 [1:25:14]

43. 관찰·계획·행동은 학습된 도구 사용 능력과 필요한 추론을 포함한다

  • 관찰·계획·행동 단계는 SFT를 포함한 훈련 과정에서 학습될 수 있으며, 도구 사용은 LLM의 기본 능력으로 자리 잡을 수 있다 [1:27:35]
  • 도구 실행 뒤에는 무슨 일이 일어났는지 정리하는 단계가 필요하다. 이런 추론은 추론 모델의 추가적인 추론 계층과 반드시 같지는 않으며, 비추론 모델에서도 필요한 과정이다 [1:27:53]

44. A2A는 에이전트끼리 기능을 발견하고 상호작용하게 한다

  • 도구를 가진 여러 에이전트는 서로 상호작용할 수 있다. A2A 같은 표준화 방식은 에이전트가 제공하는 스킬과 다른 에이전트가 이용할 수 있는 함수를 정의해 공통 방식으로 통신하도록 한다 [1:28:34]

45. 컨텍스트 한계에 도달하면 불필요한 정보를 압축해야 한다

  • 행동과 도구 호출이 누적되어 컨텍스트 윈도 한계에 도달하면 내용을 정리해야 한다. 다음 턴에만 필요한 도구 출력처럼 이후에는 쓸모가 줄어드는 정보를 삭제하면 토큰을 절약할 수 있다 [1:29:13]
  • 시간을 기준으로 컨텍스트를 정리하는 방식도 압축 전략의 대안이 될 수 있다 [1:29:56]

46. 대화 압축과 장기 기억은 정보를 보존하는 범위가 다르다

  • 오래된 대화의 관련성이 낮아진다면 슬라이딩 윈도 방식이 적합할 수 있다. 여러 압축 전략은 함께 사용할 수 있으며, 널리 쓰이는 방법은 대화 내용을 미리 정한 항목으로 분류하고 요약해 이후 입력과 함께 사용하는 것이다. Pi의 현재 진행 상황·남은 작업 항목이 그 예다. [1:30:57]
  • 단기 기억은 현재까지의 대화가 담기는 컨텍스트 윈도를 뜻하며, 장기 기억은 나중에 다시 쓸 정보를 보존하는 개념이다. 선물 아이디어처럼 기억해 두고 싶은 내용은 과거 대화를 대상으로 한 RAG를 통해 현재 사용자 발화와 관련된 정보를 검색하는 방식으로 활용할 수 있다. [1:32:19]

47. 코딩 에이전트는 실행 안전성과 빠른 코드 검색이 핵심이다

  • 코딩 에이전트의 중심에는 추론과 행동을 결합해 도구를 호출하고 결과를 관찰하는 반복 구조가 있다. 일반적인 LLM 대화와 달리 실제 시스템의 실행 환경에 접근하므로, 제안한 행동을 안전하게 수행할 수 있는지 확인해야 한다. [1:34:28]
  • 약 1년 전에는 행동마다 사용자가 허용 여부를 직접 선택하는 방식이 일반적이었지만, 최근에는 더 가벼운 모델이 지금까지의 문맥을 살펴보고 제안된 행동의 안전성을 별도로 판단하는 자동 승인 방식이 쓰인다. [1:34:58]

48. AGENTS.md와 스킬은 규칙과 반복 작업을 지속시킨다

  • AGENTS.md는 매 세션 에이전트가 알아야 할 내용을 규칙으로 정리하는 표준화된 방식이다. 사용자는 이를 통해 선호와 작업 규칙을 지속시키고 에이전트에 제공할 문맥을 통제할 수 있다. [1:36:32]
  • 스킬은 반복하는 작업을 매번 다시 설명하지 않도록 절차를 적어 둔 레시피다. 프롬프트뿐 아니라 필요한 도구 호출이나 스크립트 등 관련 파일을 포함할 수 있으며, 작업을 처음부터 끝까지 수행한 뒤 그 과정을 스킬로 정리하도록 요청하는 방식이 효율적이다. [1:37:33]

49. 컴퓨터 조작은 화면 관찰과 다음 행동 예측의 비효율이 남아 있다

  • 컴퓨터 조작 에이전트는 스크린샷으로 화면을 확인하고 다음 행동을 예측하는 방식으로 동작하며, 현재는 매우 비효율적이어서 사용자가 답답함을 느낄 수 있다. 향후 개선 가능성은 제시되지만, 이 구간에서는 구체적인 해결책이나 성과가 확정되지 않는다. [1:38:51]

50. 다중 에이전트는 협업 가능성과 실행 비용·권한 위험을 함께 늘린다

  • 코딩 에이전트는 많은 추론이 필요하지 않고 위임할 수 있는 작업에 하위 에이전트를 띄우기도 한다. 다만 하위 에이전트마다 별도의 문맥과 전체 실행 루프가 필요해 비용이 들며, Pi 같은 일부 최소주의 실행 틀은 이를 지원하지 않거나 제한적으로 지원한다. [1:39:39]
  • 에이전트 스웜은 여러 에이전트가 하나의 목표를 향해 협력하는 방식이다. 에이전트들은 통신 채널로 진행 상황을 공유하거나 작업을 묶어 분담할 수 있다. [100:02] [1:40:00]

🧾 결론

  • 에이전트 구축은 모델 선택과 함께 정보 검색, 도구 실행, 결과 확인을 하나의 흐름으로 설계하는 작업이다.
  • 검색과 도구 호출은 각각 평가가 필요하다. 관련 문서를 찾았는지, 올바른 도구를 골랐는지, 실제 목표에 도달했는지를 구분해 확인해야 한다.
  • 컨텍스트를 무작정 늘리기보다 필요한 자료와 도구를 선택하고, 반복 입력은 캐시하며, 이후에 불필요한 실행 기록은 압축하는 운영이 중요하다.
  • 모델과 하네스는 상호 보완적이므로 어느 한쪽의 성능만으로 전체 과제 수행 능력을 판단하기 어렵다.

📈 투자·시사 포인트

  • 기업용 에이전트를 평가할 때는 모델 성능과 함께 내부 자료 검색, 실시간 시스템 연결, 실행 결과 검증까지 확인필요가 있다. 강의는 이 요소들이 실제 과제 수행을 구성한다고 설명한다.
  • 운영 비용을 비교할 때는 입력 토큰뿐 아니라 추론 토큰, 재순위화, 도구 정의, 하위 에이전트의 별도 문맥과 실행 루프까지 살펴봐야 한다.
  • MCP의 연결 표준화와 도구·프롬프트·리소스 재사용은 통합 구현을 평가하는 기준이 될 수 있다. 다만 표준 연결만으로 도구 설명의 품질이나 선택 충돌까지 해결되지는 않는다.
  • 다중 에이전트의 활용 가치는 협업 가능성과 추가 비용·권한 위험을 함께 비교해야 한다. 제공된 자료만으로 특정 기업의 수익성이나 투자수익률을 판단할 근거는 부족하다.

⚠️ 불확실하거나 확인이 필요한 부분

  • 지식 기준일, 컨텍스트 크기, 토큰 가격과 캐시 할인율은 강의의 예시다. 실제 적용 시 사용할 모델과 제공업체의 조건을 별도로 확인해야 한다.
  • 하이브리드 검색의 성능 우위, 수백 토큰 규모의 청크, 약 10% 중첩은 모든 데이터에 적용되는 최적값으로 제시되지 않는다. 자체 문서와 질의로 검증해야 한다.
  • 다중 에이전트의 수학적 성과와 권한 취약성 사례는 언급되지만, 제공된 자료에는 효과 크기나 재현 조건을 판단할 구체적인 실험 결과가 없다.
  • 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
  • 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
  • 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

  • 대상 업무를 정적 문서 검색, 실시간 조회, 실제 행동 실행으로 나누고 각 단계에 필요한 정보와 도구를 정리한다.
  • 대표 질의와 관련 문서 정답 집합을 만들고, 의미 검색·키워드 검색·하이브리드 검색 및 재순위화 결과를 비교한다.
  • 도구별 목적·입력 타입·출력 필드를 명확히 작성하고, 모호한 요청에서 잘못된 도구가 선택되는 사례를 점검한다.
  • 고정된 도구 정의와 공통 문서를 프롬프트 앞에 배치하고, 요청 빈도와 TTL을 고려해 캐시 비용을 비교한다.

❓ 열린 질문

  • 우리 업무에서는 어떤 정보까지 정적 RAG로 충분하며, 어느 시점부터 실시간 백엔드 조회가 필요한가?
  • 도구 후보를 줄일 때 필요한 기능을 놓치는 문제와, 너무 많은 도구를 노출해 생기는 충돌 사이의 균형은 어떻게 평가할 것인가?
  • 컨텍스트를 압축한 뒤에도 목표와 제약을 유지하려면 어떤 정보를 반드시 남겨야 하는가?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.