DSPy vs. LangGraph: AI Agent Frameworks Explained
Quick Summary
DSPy는 데이터·평가에 기반한 프롬프트 최적화에, LangGraph는 상태·그래프 기반 실행 조율에 강점이 있으며, 두 프레임워크는 결합해 사용할 수 있다.
영상 보기
클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론
DSPy는 데이터·평가에 기반한 프롬프트 최적화에, LangGraph는 상태·그래프 기반 실행 조율에 강점이 있으며, 두 프레임워크는 결합해 사용할 수 있다.
📌 핵심 요점
- 워크플로와 에이전트의 차이는 다음 행동을 누가 결정하느냐에 있다. 코드가 호출 순서와 분기를 정하면 워크플로이고, 모델이 도구와 다음 행동을 선택하면 에이전트다. DSPy와 LangGraph 모두 두 방식에 활용할 수 있다.
- DSPy는 입력·출력 계약과 추론 방식, 최적화를 분리한다. 시그니처가 입출력을 정의하고 모듈이 처리 방식을 구성하며, 옵티마이저가 데이터와 평가 지표를 바탕으로 프롬프트를 개선한다. 합성 이메일 테스트 20개에서 Gemma 소형 모델의 정확 일치 정확도는 최적화 전 55%에서 최적화 후 100%로 높아졌다.
- LangGraph는 공유 상태와 노드·엣지로 실행 경로를 표현한다. 이메일 추출 결과에 따라 캘린더 등록 여부를 결정하는 조건부 흐름을 명시할 수 있다. DSPy 호출을 노드에 넣으면 프롬프트 최적화와 그래프 실행 조율을 함께 활용할 수 있다.
- 모델뿐 아니라 하네스와 평가 설계도 성능을 좌우한다. 도구 구성, 문맥·메모리 관리, 실행 상태 유지 방식에 따라 같은 모델의 결과가 달라진다. 목표 업무에 맞는 평가를 먼저 만들고 정확도·비용·지연 시간과 실패 상황을 함께 측정해야 한다.
- 운영에는 관측 가능성, 복구, 단순한 설계가 필요하다. 실행 추적은 실패 원인을 드러내고, Temporal 같은 실행 도구는 상태 보존과 재시도로 복구를 지원한다. 절차가 명확한 작업은 워크플로로 시작하고, 평가로 필요성을 확인하며 복잡성을 추가하는 접근이 제안된다.
🧩 배경과 문제 정의
- 에이전트를 직접 구현하면 모델 호출, 입출력 형식, 제어 흐름 등 반복적인 시스템 세부사항을 다뤄야 한다. 프레임워크는 이를 추상화해 개발을 간소화하지만, 추상화와 실제 동작의 관계를 이해해야 적절히 사용할 수 있다.
- AI 시스템을 체계적으로 개선하려면 실행 가능한 시스템뿐 아니라 데이터와 평가 지표가 필요하다. 데이터나 평가 없이 에이전트를 만드는 것과 성능을 검증하며 공학적으로 개선하는 것은 구분된다.
- 워크플로와 에이전트는 제어 흐름을 코드와 모델 중 어디에서 결정하는지에 따라 구분된다. 실행 중 오류를 파악하는 관측 가능성과 장애 이후에도 실행을 유지하는 신뢰성도 함께 고려해야 한다.
- 처리 구간에서는 DSPy의 입출력 정의와 모듈 조합을 이메일 기반 캘린더 예제로 구체화하고, 로컬·공개 가중치 모델의 활용 가능성을 검토하기 위한 데이터와 평가 지표를 준비한다.
🕒 시간순 섹션별 상세정리
1. 프레임워크는 반복 구현을 추상화한다
- Python과 NumPy로 역전파를 직접 작성하려면 가중치별 미분과 적용 과정을 구현해야 한다. PyTorch에서는 순전파를 정의하고
loss.backward()를 호출해 이 과정을 처리한다. [00:33] - 에이전트 프레임워크도 시스템 세부사항을 추상화해 코드 작성을 쉽게 한다. 추상화가 기존 시스템 설계와 어떻게 연결되는지, 오케스트레이션과 신뢰성에 어떤 도움을 주는지가 도구 선택의 기준이 된다. [01:12]
2. AI 시스템 엔지니어링에는 시스템·데이터·평가가 함께 필요하다
- 시스템은 언어 모델이나 복합 AI 시스템, 에이전트 자체를 뜻한다. 데이터에는 학습 데이터, 실행 궤적, 시연, 인간 피드백 등이 포함되며, 시스템이 생성한 실행 결과도 데이터가 될 수 있다. [02:54]
- 평가 지표로는 통과율, 정보 추출의 정확 일치, LLM을 활용한 판정 등을 사용할 수 있다. 데이터와 평가 없이도 에이전트를 만들 수 있지만, AI 시스템을 공학적으로 개선하려면 세 요소가 모두 필요하다. [03:21]
3. 워크플로와 에이전트는 제어 흐름의 위치로 구분된다
- 모델은 더 큰 시스템의 구성요소이며, 워크플로 또는 복합 AI 시스템은 여러 모델 호출을 연결한다. 반복과 분기가 있더라도 호출 횟수와 라우팅을 프로그램이 결정하면 제어 흐름은 코드에 있다. [04:29]
- 에이전트에서는 모델이 필요한 도구, 함수 호출, 다른 모델 호출 등을 결정한다. 작업 목표를 사람이 지정하더라도 다음 행동을 선택하는 주체가 모델이라는 점에서 차이가 난다. [05:07]
4. 실행 유지와 내부 추적에는 별도의 도구가 필요하다
- Temporal 같은 신뢰성 도구는 시스템이 오랜 시간 기능을 유지하며 실행되도록 돕는다. Langfuse와 MLflow 같은 관측 도구는 오류와 실행 추적을 통해 내부 동작을 확인하는 데 쓰인다. [06:01]
- DSPy와 LangGraph는 GitHub에서 인기를 얻은 프로젝트인 동시에, 일부 에이전트 엔지니어 채용 공고에서 필수 또는 권장 기술로 언급되는 실무 도구다. [07:09]
5. 관측 가능성은 문제를 드러내고 신뢰성은 복구까지 다룬다
- 관측 가능성과 신뢰성의 구분은 엄격한 분류가 아니며 실제 도구의 기능도 겹친다. 관측 가능성은 실행 상태, 추적, 오류를 드러내 개발자가 문제를 찾아 수정하도록 돕는 데 초점이 있다. [08:24]
- 신뢰성 도구는 상태를 보여주는 것에 더해, 실행이 중단되면 다시 가동하는 등 자동 복구를 수행해 시스템이 계속 실행되도록 한다. [08:43]
6. DSPy는 시그니처·모듈·옵티마이저로 구성된다
- 시그니처는 언어 모델에 전달할 입력과 받아야 할 출력을 정의한다. 모듈은 시그니처에 적용할 추론 방식과 프로그램 로직을 호출 가능한 형태로 구성한다. [09:27]
- 옵티마이저는 시스템의 프롬프트와 가중치를 자동으로 개선하는 역할을 한다. [10:02]
7. 간단한 시그니처만으로는 출력 표현이 일관되지 않을 수 있다
message를 입력,response를 출력으로 정의하고Predict모듈을 적용하면 간단한 대화 기능을 만들 수 있다. 호출할 때 사용하는 입력 이름과 결과에서 읽는 출력 이름은 시그니처에 대응한다. [11:01]- 입력을
message, 출력을sentiment로만 정의한 감정 분류에서는 긍정·부정 결과의 대소문자 표기가 섞였다. 출력 이름만 정하고 허용 형식을 엄격하게 제한하지 않았기 때문이다. [12:01]
8. 타입과 어댑터가 구조화된 출력을 지원한다
- 어댑터는 시그니처를 프롬프트로 변환하고 JSON이나 특정 형식을 따르도록 요구한다. DSPy는 모델이 반환한 결과가 요구 형식에 맞는지 검증한다. [13:06]
- 감정 출력을
positive,negative,neutral중 하나로 제한하고 신뢰도를 실수형 출력으로 추가할 수 있다. 어댑터는 이런 필드와 형식 요구를 프롬프트에 반영하고, 반환값을 프로그램에서 사용할 예측 객체로 파싱한다. [14:08]
9. 클래스 기반 시그니처는 복잡한 정보 추출을 표현한다
- 이메일에서 일정 이름, 날짜, 시간, 소요 시간을 추출하는 작업은 클래스 기반 시그니처로 정의할 수 있다. 문자열뿐 아니라 날짜와 시간 타입도 사용할 수 있으며, ‘24시간제 사용’ 같은 필드 설명도 프롬프트에 반영된다. [15:58]
- 필드에
None을 허용하면 이메일에 없는 정보를 미상으로 반환할 수 있다. 일정의 소요 시간이 명시되지 않은 경우처럼 일부 정보가 빠진 입력을 표현하는 데 유용하다. [16:47]
10. 필드 설명과 독스트링이 추출 기준을 구체화한다
- 출력은 시그니처에 정의한 항목으로 제한된다. 별도 설명이 없다면 필드 이름과 타입이 의미를 결정하는 단서이며, 날짜가 여러 개일 때 어느 날짜를 선택할지 같은 기준은 설명으로 보완할 수 있다. [17:20]
- 클래스의 독스트링은 DSPy에서 시스템 프롬프트에 해당하는 지시로 사용된다. 작업에 필수적인 조건은 명시하되, 세부 표현은 옵티마이저가 개선하도록 맡기는 접근이 제안된다. [18:10]
11. 같은 시그니처에도 다른 추론 모듈을 적용할 수 있다
- 시그니처 코드에서 프롬프트로의 변환은 LLM이 수행하지 않고 결정적인 방식으로 처리된다. [19:59]
- 같은 일정 추출 시그니처에
Predict대신ChainOfThought를 적용하면 다른 출력 필드보다 앞에reasoning출력이 추가된다. 모델이 먼저 추론 내용을 생성한 뒤 나머지 필드를 채우도록 구성하는 방식이다. [20:14]
12. 독스트링을 실행 지시로 쓰는 설계에는 장단점이 있다
- 일정 이름을 입력받아 대표 이모지 하나를 출력하는 별도 시그니처도 정의할 수 있다. 치과 일정에는 치아 이모지가 선택됐다. [21:01]
- 독스트링으로 지시를 모으면 코드를 읽을 때 시그니처의 목적을 한곳에서 확인하기 쉽다. 별도 시스템 프롬프트 필드의 타입이나 중복 개수를 검사해야 하는 설계 부담도 줄일 수 있다. [21:40]
13. 모듈과 Python 분기를 조합해 캘린더를 갱신한다
UpdateCalendarFromEmail모듈 안에 일정 추출 모듈과 이모지 선택 모듈을 두고,forward에서 이메일 처리 절차를 연결한다. 각 하위 모듈은ChainOfThought를 사용한다. [23:36]- 일정 이름·날짜·시작 시간 중 하나라도 없으면 일정을 추가하지 않고 이벤트가 없다는 상태를 반환한다. 필수 정보가 있으면 이모지를 선택하고 캘린더 API를 호출하며, 소요 시간이 없을 때는 1시간으로 설정한다. 이는 예제 코드에서 정한 처리 규칙이다. [24:32]
14. 공개 가중치 모델의 가능성을 검토하기 위해 평가 데이터를 준비한다
- 비교적 합리적인 하드웨어에서 실행할 수 있는 로컬·공개 가중치 모델도 같은 작업을 수행할 수 있는지가 다음 문제다. 이 시점에서는 가능성을 검토하기 위한 질문이며 성능 결과는 제시되지 않는다. [26:41]
- 정답 라벨이 있는 합성 이메일 50개를 준비한다. 일정 이름은 평가에서 제외하고 날짜·시작 시간·소요 시간을 정확히 추출하는지 확인한다. [27:06]
15. 정확 일치 점수와 오류 피드백으로 최적화 기준을 만든다
- DSPy 평가 함수는 정답과 예측을 입력으로 받으며, 모델 호출 내역을 담는 추적 정보 등은 선택적으로 활용할 수 있다. [28:22]
- 날짜·시작 시간·소요 시간이 각각 정답과 같은지 검사하고, 세 조건이 모두 맞을 때만 1점, 그렇지 않으면 0점을 반환한다. 일부 필드만 맞은 경우에는 점수를 주지 않는 정확 일치 지표다. [28:58]
16. 프롬프트 최적화로 소형 모델의 일정 추출 정확도를 높인다
- 비교 기준인 GPT 5.4 Nano는 테스트 세트에서 정확도 100%를 기록했다. Gemma 소형 모델은 최적화 전 이메일 20개 중 11개의 정보를 정확히 추출해 정확도 55%를 기록했다. [31:01]
- 초기 지시는 이메일에서 이벤트 정보를 추출하라는 짧은 docstring이었다. 옵티마이저는 여러 차례 실행 결과를 검토하고 프롬프트를 수정하는 방식으로 이를 개선한다. [31:35]
17. 최적화에는 비용 관리와 데이터 분리, 재현성 확보가 필요하다
- 해당 실행의 실제 토큰 사용량은 확인되지 않았다. 최적화는 시스템을 수백 번 실행할 수 있어 예산 설정에 따라 백만 토큰 안팎이 들 수도 있으며, 이 비용을 한 번 지불한 뒤 개선된 시스템을 사용하는 절충이 있다. [32:58]
- 이번 최적화 결과에는 예시가 포함되지 않았지만, 일부 DSPy 옵티마이저는 인컨텍스트 학습을 사용한다. 어느 방식이든 학습·개발·테스트 세트 분리는 필요하며, 이번 정확도 100%는 최적화에 사용하지 않은 테스트 세트에서 얻은 결과다. [33:46]
18. 기묘한 프롬프트의 유효성은 평가의 품질에 달려 있다
- 과거에는 수학 성능을 높이기 위한 최적화에서 스타트렉 함장 역할과 같은 엉뚱한 설정이 생성되기도 했다. 실제로 성능이 개선됐지만 작동 이유는 이상하게 느껴졌으며, 모델이 발전한 뒤에는 이런 사례가 줄었어도 여전히 발생할 수 있다. [35:09]
- 프롬프트의 겉모습보다 중요한 것은 평가 지표와 데이터가 원하는 능력을 측정하는지다. 좋은 평가에서 성능을 높이는 기묘한 프롬프트는 유용할 수 있지만, 평가의 허점을 공략한 결과라면 실제 목적과 어긋날 수 있다. [35:37]
19. DSPy ReAct는 도구 사용 결정을 모델에 맡긴다
- Python 코드가 호출 순서를 정하는 워크플로와 달리, 에이전트는 모델이 도구 호출을 판단한다. DSPy는 이를 위한 ReAct 아키텍처를 내장 모듈로 제공한다. [36:35]
- 예제는 요청을 입력받아 실행 결과 요약을 반환하는 시그니처와 TinyCal의 도구 함수들을 연결한다. 각 도구는 자체 입력·출력 시그니처가 있는 호출 가능한 함수이며, 에이전트 구성 자체는 한 줄로 표현된다. [37:16]
20. RLM은 긴 입력을 변수로 두고 코드로 조사한다
- DSPy의 재귀적 언어 모델인 RLM은 긴 문맥을 다루는 모듈이다. 예제에서는 이메일들을 하나의 문자열로 합치고, 전체 받은편지함과 질문을 입력받아 관련 이벤트 목록을 반환하도록 구성했다. [38:24]
- Gates 건물에서 열리는 행사와 날짜를 묻는 데 약 50개의 이메일을 사용했다. 이 정도는 소형 모델의 문맥 한도를 채우지 않으며, 백만 개 이메일은 실제 시연 규모가 아닌 가정으로 언급됐다. 실행 결과에는 해당 건물에서 열리는 논문 심사가 포함됐다. [38:46]
21. DSPy는 직접 작성한 프롬프트와 자동 최적화를 함께 지원한다
- 직접 작성한 프롬프트를 docstring에 넣어 옵티마이저 없이 사용할 수 있다. 옵티마이저를 적용하면 그 프롬프트를 출발점으로 삼아 추가로 개선한다. [40:45]
- 시그니처는 입력·출력 계약을 정의하고, 모듈은 그 계약을 수행하는 방식을 구성한다. 옵티마이저는 데이터와 지표를 바탕으로 프롬프트를 개선하며, 모델 가중치에 접근할 수 있다면 가중치 최적화도 가능하다. ReAct와 RLM은 에이전트용 내장 모듈이다. [41:59]
22. LangGraph는 공유 상태와 노드·엣지로 실행을 표현한다
- 상태는 그래프 전체가 공유하고 수정하는 작업 공간이다. 노드는 이 상태를 읽어 행동을 결정하거나 특정 값을 갱신하는 함수로 구성된다. [43:10]
- 시작·종료 노드와 엣지가 실행 경로를 정의한다. 조건부 엣지를 사용하면 중간 판단에 따라 다음 노드로 이동하거나 바로 종료할 수 있다. [43:30]
23. 이메일 추출을 그래프로 구성하면 상태 변화와 실행 경로가 드러난다
- LangGraph 예제도 이메일에서 이벤트명, 날짜, 시작 시각, 소요 시간을 추출한다. LangChain LLM의
with_structured_output에 해당 구조를 전달해 구조화된 출력을 지정한다. [44:42] - 공유 상태에는 이메일과 추출 결과를 두고, 추출 노드는 이메일을 읽어 결과 필드를 갱신한다. 시작→추출→종료 경로를 연결해 컴파일한 그래프를 실행하면 원래 이메일과 추출된 정보를 포함한 상태가 반환된다. [46:14]
24. 조건부 엣지로 정보가 충분한 일정만 캘린더에 등록한다
- 확장된 캘린더 그래프에는 이모지와 상태 정보가 추가되고, 이모지를 고르는 노드와 캘린더에 이벤트를 추가하는 노드가 들어간다. 각각 LLM 호출과 TinyCal 도구 호출을 담당한다. [48:19]
- 라우팅 함수는 현재 상태를 받아 다음 노드의 이름을 반환한다. 이벤트명·날짜·시작 시각이 있으면 이모지 선택으로 이동하고, 필요한 정보가 없으면 곧바로 종료한다. [49:06]
25. DSPy의 최적화와 LangGraph의 오케스트레이션은 결합할 수 있다
- DSPy는 Python으로 제어 흐름을 작성하고 프롬프트를 최적화하는 용도에 무게가 있다. LangGraph는 정해진 제어 흐름을 따르는 견고한 그래프의 실행 조율에 무게가 있으며, DSPy 호출을 LangGraph 노드 안에 넣어 함께 사용할 수 있다. [50:44]
- 두 도구는 비슷한 문제를 해결하지만 선택 이유와 선호가 다를 수 있다. LangGraph에 옵티마이저가 있는지는 확언하지 않았으며, 알고 있는 범위에서는 없다고 답했다. [51:06]
26. LangGraph 에이전트도 모델과 도구 목록으로 구성한다
- LangChain의
create_agent에 LLM과 도구 목록을 전달하면 간단히 에이전트를 만들 수 있다. 내부 동작은 ReAct와 유사할 것으로 설명됐으며, 모델이 도구를 조건부로 반복 호출한 뒤 종료하는 구조다. [51:58] - John과의 커피 약속을 30분 늦춰 달라는 요청을 실행하면 메시지에 수행한 행동들이 남는다. 실제 캘린더에서도 약속이 3시 30분부터 4시까지로 변경됐다. [52:20]
27. 대규모 처리에서는 출력 형식보다 실행 조율과 평가 설계가 중요하다
- 일관된 구조화 출력은 두 도구 모두 잘 처리하므로 핵심 선택 기준으로 보지 않았다. 대규모 그래프를 분산·병렬로 실행하려면 LangGraph를 고려할 수 있고, 노드 내부의 DSPy로 프롬프트를 최적화하는 조합도 가능하다. [53:24]
- 노드는 자유롭게 작성하는 코드이므로 노드마다 다른 모델을 배치하거나 여러 LLM을 사용할 수 있다. 기본 모델·도구 반복보다 복잡한 에이전트도 가능할 것으로 보았지만, 관련 패키지인 Deep Agents의 세부 사항은 알지 못한다고 밝혔다. [54:30]
28. 에이전트 하네스는 모델 주변의 실행 체계를 구성한다
- 에이전트 하네스는 외부 환경을 제외하고 LLM 주변에 구축하는 계획·추론, 메모리, 도구 등의 구성 요소다. 모델이 실제 에이전트로 작동하게 만드는 장치들이 여기에 해당한다. [56:15]
- 하네스마다 제공 도구, 메모리·문맥 관리, 도구 실행 방식, 실행 결과를 문맥에 돌려주는 방식이 다르다. 좋은 설계는 사용 사례에 맞춰 작업 성공률, 비용, 지연 시간, 사용자 통제 수준을 조정해야 한다. 사용자 상호작용이 중요한 제품과 자율적인 작업 해결용 하네스는 요구가 다르다. [56:59]
29. 하네스마다 문맥 저장과 실행 상태를 다르게 관리한다
- Mini SWE Agent는 Bash만 도구로 제공하고, 도구 호출과 파일 읽기 결과 등을 이력에 계속 추가한다. 명령은
subprocess.run으로 실행해 매번 새 셸을 사용하므로 이전 셸의 실행 상태를 이어받지 않는 최소 구성을 택한다. [57:57] - OpenHands는 각 단계를 이벤트로 저장한 뒤 이벤트에서 문맥을 재구성하며, 지속되는 터미널과 실패 시 중단 장치를 둔다. Pi는 도구가 네 개이고 권한 시스템이 없는 단순한 구성이며, 문맥 이력을 목록 대신 트리로 저장한다. [58:39]
30. 같은 모델도 하네스에 따라 벤치마크 성능이 달라진다
- 하네스에는 단일한 정답이 없으며 설계상의 절충이 실제 성능에 영향을 준다. Terminal Bench에서는 Pi, Codex, Claude Code 등 어떤 하네스와 모델을 조합하느냐에 따라 성공률이 달라지므로, 하네스 구성도 확인하고 최적화할 대상이다. [59:54]
31. 자체 하네스 최적화의 가능성과 비교의 한계
- Meta Harness는 LLM이 자신의 실행 하네스와 도구를 코드로 작성하고, 과학 작업 같은 목표 영역의 평가에 맞춰 개선하는 방식이다. Terminal Bench 2에서 성능을 높이는 사례가 있지만, 해당 벤치마크의 작업에 맞춰 최적화하므로 범용성을 목표로 하는 Claude Code와의 비교에는 공정성의 한계가 있다. [1:00:53]
- 하네스 설계에는 컨텍스트 관리, 노출할 도구, 메모리 처리 방식이 포함된다. 첫 번째 과제도 이러한 선택을 직접 실험하며 에이전트 하네스를 구축하는 작업이다. [1:01:20]
32. 장시간 실행에 필요한 신뢰성과 관측 가능성
- 모델이 해결하는 작업의 길이가 늘어나는 추세를 보여주는 그래프에서 작업 시간은 모델의 실행 시간이 아니라 사람이 해당 작업을 수행하는 데 걸리는 시간이다. 이를 모델 실행 시간으로 해석해서는 안 된다. [1:02:45]
- 에이전트가 장시간 실행될수록 실행 머신이나 인프라의 문제가 작업 실패로 이어질 수 있다. 안정적인 인프라와 디버깅용 로그·관측 가능성은 소프트웨어 공학에서 에이전트 공학으로 이어지는 요구사항이다. [1:03:16]
33. Temporal의 실행 상태 보존과 재시도
- Temporal은 실패할 수 있는 기능 단위인 액티비티를 연결해 워크플로를 구성한다. 워커가 코드를 실행하고, 서버는 큐를 통해 작업을 배분하면서 실행 이력과 상태를 저장한다. [1:03:58]
- 캘린더에 이벤트를 추가하는 예제에서는 간헐적으로 실패하는 이모지 선택 작업을 세 차례 재시도한 뒤 캘린더 추가를 완료했다. 실행 기록에서 단계별 순서와 타임스탬프를 확인할 수 있어 실패 지점과 복구 과정을 추적할 수 있다. [1:05:43]
34. 관측 도구로 실행 내용·비용·품질을 확인하기
- MLflow는 입력과 출력, 실제 실행 내용을 살펴볼 수 있게 한다. LangGraph 생태계와 관련된 LangSmith에서는 실행 추적과 함께 토큰 사용량, 지연 시간, 평가 점수 등을 확인할 수 있다. [1:06:56]
- Langfuse 같은 도구는 시간에 따른 시스템의 신뢰성과 비용을 살펴보는 데 활용할 수 있다. 관측 가능성은 시스템 내부의 동작을 드러내 디버깅과 모니터링을 돕는다. [1:07:19]
35. 작업의 성격에 맞춰 가장 단순한 구조 선택하기
- 모든 작업에 에이전트가 필요한 것은 아니다. 이메일 내용을 캘린더에 추가하는 것처럼 범위가 명확한 작업은 워크플로나 복합 시스템으로 구현하면 신뢰성과 디버깅 측면에서 유리할 수 있다. [1:08:31]
- 캘린더 전반을 관리하는 비서처럼 요구가 개방적이고 절차를 미리 정의하기 어려운 작업에는 에이전트 방식이 필요할 수 있다. 에이전트를 선택하더라도 어떤 도구를 포함할지는 신중하게 결정해야 한다. [1:08:49]
36. 실패를 기록하고 에이전트가 복구할 수 있게 설계하기
- 모델 호출, 도구 호출, 상태 변화, 오류를 추적하고 기록해야 한다. 타임아웃, 재시도 횟수 제한, 실행 예산을 설정하고 출력과 시스템 상태를 관찰해야 실패를 진단할 수 있다. [1:09:51]
- Claude Code의 하네스는 도구나 코드 실행이 실패하면 오류를 모델에 돌려주고 다시 시도하게 한다. 실패 정보를 에이전트의 다음 판단에 반영하는 것도 복구를 구현하는 방법이다. [1:10:20]
37. 평가를 먼저 만들고 실제 사용 영역에 맞춰 최적화하기
- 에이전트의 설계 결정은 평가에 근거해야 한다. 이메일 데이터의 정확 일치 점수처럼 평가 기준이 있어야 최적화가 가능하고, 설계 변경이 실제로 도움이 되는지도 검증할 수 있으므로 프로젝트 초기에 좋은 평가를 구축해야 한다. [1:12:23]
- 평가 지표에는 정확도뿐 아니라 애플리케이션에 따라 비용과 지연 시간도 포함해야 한다. 대표 사례, 다양한 사례, 경계 사례, 여러 실패 상황을 시험해야 정상 경로에서만 작동한다는 이유로 잘못된 설계 결정을 내리는 일을 줄일 수 있다. [1:12:55]
38. 추상화와 외부 라이브러리 의존성이 만드는 한계
- 프레임워크의 추상화는 구현을 쉽게 만들지만 내부 동작과의 거리를 넓힌다. PyTorch로 신경망을 작성할 수 있어도 역전파 이해가 필요한 경우가 있듯, 에이전트도 기반 시스템을 이해해야 더 나은 설계가 가능하다. [1:14:31]
- 언어 모델 호출을 수십 개나 수백 개 연결한 복잡한 시스템에서는 실패 원인을 찾기 어렵다. 실행 추적과 관측 도구, 필요하면 분석을 돕는 에이전트를 활용해 어느 단계에서 문제가 생겼는지 진단해야 한다. [1:14:55]
39. 구축·실행·평가·개선을 반복하는 운영 원칙
- 에이전트 개발은 구축, 실행, 평가, 개선을 반복하는 과정이다. 첫 구현을 곧바로 출시할 완성본으로 간주하지 말고 단순하게 시작해 추가 복잡성의 필요성을 입증해야 하며, Temporal 같은 도구를 활용해 실패와 복구를 미리 설계해야 한다. [1:16:11]
- 품질·비용·지연 시간은 근거와 평가로 판단하고, 평가 결과에 따라 설계를 선택해야 한다. 장애가 기반 시스템에서 발생할 수도 있으므로 프레임워크 사용법과 함께 시스템 전체의 동작 원리를 이해해야 한다. [1:16:35]
🧾 결론
- 두 프레임워크의 선택 기준은 구조화 출력 지원 여부보다 프롬프트 최적화와 실행 조율 중 어떤 요구가 중요한지에 있다.
- 실행 가능한 데모를 공학적으로 개선하려면 시스템뿐 아니라 데이터와 평가 지표가 필요하다.
- 제한된 테스트에서 얻은 높은 정확도는 해당 평가 범위의 결과다. 실제 사용 영역의 다양한 입력과 실패 상황으로 검증 범위를 넓혀야 한다.
- 프레임워크를 사용하더라도 실제 프롬프트, 제어 흐름, 상태 변화와 장애 복구 방식을 이해해야 한다.
📈 투자·시사 포인트
- AI 제품의 기술력을 살필 때 모델 이름이나 에이전트 구현 여부와 함께 업무별 평가, 실행 추적, 장애 복구 체계를 확인필요가 있다.
- 소형 모델의 프롬프트 최적화는 모델 선택의 폭을 넓힐 가능성을 보여준다. 경제성은 최적화에 드는 일회성 비용과 이후 운영 비용·품질을 함께 측정해 판단해야 한다.
- 장시간 작업에서는 실행 상태 보존, 재시도, 비용·지연 시간 모니터링이 운영의 중요한 구성 요소가 된다.
- 장기 사용 시스템의 프레임워크 채택에는 개발 편의성뿐 아니라 외부 라이브러리의 유지보수 지속성과 내부 동작을 진단할 수 있는지도 고려해야 한다.
⚠️ 불확실하거나 확인이 필요한 부분
- 소형 모델의 최적화 후 정확도 100%는 합성 이메일 테스트 20개에서 얻은 결과다. 실제 이메일의 다양성이나 다른 업무에서도 같은 성능을 내는지는 확인되지 않았다.
- 해당 최적화 실행의 실제 토큰 사용량은 제시되지 않았다. 강의에서 언급한 백만 토큰 안팎은 예산에 따른 가능성이므로 실측 비용으로 해석하면 안 된다.
- LangGraph의 옵티마이저 유무는 강연자가 확언하지 않았다. 기능 비교에 이를 활용하려면 사용할 버전의 지원 범위를 별도로 확인해야 한다.
- 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
- 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
- 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.
✅ 액션 아이템
- 목표 업무의 대표 사례·경계 사례·실패 사례를 모으고, 정확도·비용·지연 시간의 평가 기준을 먼저 정한다.
- 학습·개발·테스트 데이터를 분리하고, 최적화에 사용하지 않은 테스트 데이터로 개선 효과를 확인한다.
- 다음 행동을 코드가 정할지 모델이 정할지 명시하고, 절차가 명확한 작업은 단순한 워크플로로 구현한다.
- DSPy의 프롬프트 최적화와 LangGraph의 실행 조율을 각각 시험하고, 필요하면 DSPy 모듈을 그래프 노드에 결합한다.
❓ 열린 질문
- 소형 모델의 최적화 효과는 실제 이메일과 더 다양한 실패 사례에서도 유지되는가?
- 목표 업무에서 DSPy와 LangGraph를 결합할 때 추가 복잡성보다 큰 품질·운영상의 이점을 얻을 수 있는가?
- 어떤 작업까지 고정 워크플로로 처리하고, 어느 지점부터 모델의 자율적인 도구 선택을 허용해야 하는가?