LLMs for Agent Builders: Context Engineering

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

LLMs for Agent Builders: Context Engineering를 중심으로, 응용 개발에도 모델 내부에 대한 이해가 필요하다. LLM은 다음 토큰의 조건부 확률을 계산하며, 샘플링 설정에 따라 출력이를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. 응용 개발에도 모델 내부에 대한 이해가 필요하다. LLM은 다음 토큰의 조건부 확률을 계산하며, 샘플링 설정에 따라 출력이 달라진다. 온도·top-p·top-k와 후보 탐색 방식은 과제의 정확성 요구, 다양성, 계산 예산에 맞춰 선택해야 한다.
2. 긴 문맥의 적합성은 어텐션 구조에 좌우된다. 표준 소프트맥스 어텐션은 문맥 길이에 대해 제곱으로 계산량이 증가한다. 선형 어텐션은 고정 크기 상태로 과거 정보를 누적하지만, 긴 입력에서 특정 정보를 정확히 찾는 과제에는 불리할 수 있다.
3. 학습 데이터와 검증 방식이 에이전트의 행동을 만든다. 사전학습은 필터링·중복 제거·데이터 혼합을 거치며, 중간학습과 지도 미세조정은 목표 도메인과 응답 행동을 학습시킨다. 수학 정답이나 코드 테스트처럼 검증 가능한 보상은 강화학습과 합성 과제 구성에 활용된다.
4. 추론 성능은 시간·메모리·출력 규약을 함께 설계해야 한다. 강의는 프리필을 연산 중심, 디코드를 메모리 전송 중심의 작업으로 설명한다. 추측 디코딩, 추론 토큰 확대, 복수 답안 검증은 서로 다른 비용으로 성능을 개선하며, 제약 디코딩은 도구가 해석할 수 있는 구조화된 출력을 지원한다.
5. 컨텍스트는 선별·추가·압축·분할의 대상이다. 모든 정보를 넣으면 비용과 성능 저하가 발생할 수 있다. 관련 자료를 검색해 넣고, 기존 입력의 앞부분을 바꾸기보다 뒤에 추가하며, 압축 시 행동 제약을 보존해야 한다. 재귀적 언어 모델은 긴 입력을 외부 환경에 두고 필요한 부분을 나누어 처리하는 접근법이다.

🧩 배경과 문제 정의

• 에이전트 개발은 주로 기존 LLM 위에 응용을 구축하는 작업이지만, 모델의 내부 설계가 응용의 성능과 제약을 좌우한다.
• 언어 모델은 토큰 시퀀스의 확률을 계산하며, 실제 출력은 샘플링 전략에 따라 달라진다. 따라서 과제의 성격과 계산 예산에 맞는 생성 설정이 필요하다.
• 트랜스포머의 어텐션 구조는 학습 병렬화에 유리하지만, 긴 문맥에서는 계산 부담이 커진다. 이러한 구조적 특성을 이해해야 모델과 활용 방식을 적절히 선택할 수 있다.

🕒 시간순 섹션별 상세정리

1. LLM 응용 개발에도 내부 설계에 대한 이해가 필요하다

• LLM 스택은 모델 엔지니어링, 특정 환경에 맞추는 적응, 응용 구축의 세 층으로 구분할 수 있다. 각각 분산 학습·GPU 커널·아키텍처, 미세조정·증류·문맥 내 학습, 에이전트·챗봇·RAG 등을 포함하는 설명용 구분이다. [01:36]
• CS329Z는 기존 LLM 위에 응용을 구축하는 데 집중한다. 다만 학습·추론 설계와 그 한계를 이해하면 KV 캐시와 어텐션 방식 등을 바탕으로 모델을 선택하고 긴 문맥에서의 적합성을 판단할 수 있다. [03:16]

2. 언어 모델은 조건부 확률을 연결해 텍스트 전체의 확률을 계산한다

• 토큰 시퀀스의 확률은 각 토큰이 앞선 모든 토큰을 조건으로 등장할 확률을 곱한 값이다. 예시에서 the의 확률은 0.0377, the 다음에 class가 나올 조건부 확률은 0.0001이다. [04:51]
• 실제 계산에서는 매우 작은 확률을 계속 곱할 때 생기는 수치적 문제를 줄이기 위해 로그 확률의 합을 주로 사용한다. 언어 모델의 기본 기능은 이처럼 텍스트 시퀀스의 확률을 예측하는 것이다. [05:09]

3. 생성 모델이라는 구분은 전체 시퀀스의 확률을 모델링한다는 데서 나온다

• 판별 모델은 고양이와 개를 구분하는 경계처럼 클래스 간 차이를 학습한다. 생성 모델은 입력 자체의 확률을 모델링하고 새로운 표본을 생성할 수 있다. [05:34]
• 언어 모델도 다음 토큰을 구분한다는 점에서는 판별적으로 보일 수 있어 경계가 다소 모호하다. 그러나 임의의 토큰 시퀀스에 확률을 부여하고 그 분포에서 표본을 생성할 수 있다는 점에서 일반적으로 생성 모델로 분류된다. [07:02]

4. 다음 토큰 분포에서 선택을 반복하며 문장을 생성한다

• 현재 문맥이 주어지면 전체 어휘의 각 토큰에 다음 토큰일 확률을 부여한다. 선택한 토큰을 문맥에 추가한 뒤 같은 과정을 반복하면 텍스트가 계속된다. [08:43]
• Greedy 디코딩은 매 단계 가장 가능성이 높은 토큰을 선택한다. 확률분포에서 표본을 뽑는 방식은 최빈 토큰 이외의 후보도 선택할 수 있다. [09:03]

5. 온도와 빔 탐색은 출력 다양성과 계산 비용을 바꾼다

• 온도가 높으면 출력이 다양해지고, 낮으면 가장 가능성이 높은 선택에 가까워진다. 확률로 변환하기 전의 로짓을 온도로 나누고 다시 정규화해 분포를 조절한다. [10:12]
• 빔 탐색은 다음 토큰 하나만 즉시 확정하지 않고 여러 후보 경로를 더 진행한 뒤 비교한다. 여러 상태를 유지해야 하므로 시간과 메모리 비용이 커진다. [10:34]

6. 어휘 크기와 온도는 서로 다른 설계 선택이다

• 온도는 분포를 조절하는 배율이며, 특정 값이 어떤 출력을 보장하는 식으로 해석하기는 어렵다. 제시된 예시의 숫자를 일반적인 상한이나 하한으로 볼 수 없다. [12:01]
• 토큰은 반드시 단어가 아니라 텍스트를 나눈 작은 조각이다. 모델은 예컨대 12만 8천 개의 고정된 어휘 항목에 확률을 부여하며, 어휘 크기는 모델 설계의 선택 사항이다. [12:41]

7. 샘플링은 후보 평가, 강화학습, 추론 과정에도 관여한다

• 빔의 우열은 과제에 따라 외부 검증기나 가치 함수로 평가할 수 있다. 언어 모델 자체를 이용해 몇 토큰 더 진행한 시퀀스의 확률을 비교하는 방법도 가능하다. [13:55]
• 온도는 보통 학습되는 매개변수가 아니라 추론 시 정하는 설정이다. 강화학습에서는 모델로 출력을 생성해야 하므로 그 생성 과정에 특정 온도를 사용한다. [14:32]

8. 빈도 기반 언어 모델에서 디코더 중심 트랜스포머로 발전했다

• N-gram 모델은 관측한 토큰 조합의 빈도로 확률을 추정했다. 이후 2003년 신경망 언어 모델, 2010년 순환 신경망, 2014년 무렵 언어 모델에서 대중화된 LSTM을 거쳐 현대 LLM의 주요 기반인 트랜스포머로 이어졌다. [16:14]
• 2017년 「Attention Is All You Need」의 원래 트랜스포머는 인코더·디코더 구조였다. 인코더가 입력을 임베딩으로 바꾸고 디코더가 이를 활용하지만, 현대 언어 모델 상당수는 디코더만 사용하는 구조를 택한다. [17:17]

9. 토큰 임베딩과 위치 임베딩은 내용과 순서를 함께 표현한다

• 토큰은 학습되는 임베딩 테이블을 통해 벡터로 변환된다. 이 벡터들이 다음 토큰의 확률을 계산하는 입력 표현이 된다. [18:13]
• 기본 연산만으로는 위치가 명시되지 않으므로 위치 임베딩을 결합해 각 토큰의 위치를 전달한다. 이후 토큰 벡터들을 행렬로 쌓아 함께 처리한다. [18:29]

10. 쿼리·키·값을 통해 토큰 간 어텐션 점수를 계산한다

• 입력 벡터에 레이어 정규화를 적용한 뒤, 쿼리·키·값 각각의 가중치 행렬을 곱해 Q·K·V 활성값을 만든다. 가중치는 학습되는 매개변수이고 활성값은 입력에 대한 연산 결과다. [19:34]
• 쿼리와 전치한 키를 곱하면 시퀀스 길이가 n일 때 n×n 크기의 어텐션 점수 행렬이 생긴다. 이 행렬은 각 토큰이 다른 토큰과 맺는 관계를 계산하는 기반이다. [20:40]

11. 인과 마스크와 가중합으로 미래를 보지 않는 표현을 만든다

• 인과 어텐션 마스크는 현재 토큰이 미래 토큰을 참조하지 못하도록 막는다. 뒤쪽 토큰은 앞쪽 토큰에 접근할 수 있지만, 앞쪽 토큰은 뒤쪽 토큰을 이용해 자신의 예측을 만들 수 없다. [21:00]
• 점수를 스케일링하고 softmax를 적용해 각 행의 합이 1이 되도록 만든다. 이 가중치를 값 벡터에 곱한 뒤 모델 차원으로 다시 투영한다. [21:38]

12. 무작위 가중치의 학습과 미래 정보 차단이 예측을 성립시킨다

• 쿼리·키·값 등의 가중치는 무작위로 초기화되므로 처음에는 의미 없는 출력을 만든다. 이 가중치들은 입력마다 새로 만들어지는 값이 아니라 공통으로 사용하는 매개변수다. [23:00]
• 학습 시에는 전체 문장이 보이더라도 미래 토큰을 가려야 한다. 그렇지 않으면 the 다음의 class를 예측하면서 이미 class를 참고하게 되므로, 학습과 실제 생성의 조건이 달라진다. [23:36]

13. 인과 마스크만으로는 위치 정보를 충분히 활용하기 어렵다

• 인과 마스크에도 일부 순서 정보가 들어 있지만, 네트워크가 일반적으로 그것만으로 위치를 충분히 익히기는 어렵다. 위치 임베딩은 토큰의 순서를 더 직접적으로 제공한다. [25:26]
• 마스크만으로 위치를 알아내려면 앞선 토큰의 위치를 바탕으로 자신의 위치를 차례로 추론해야 한다. 모델은 이런 귀납적 과정을 쉽게 학습하지 못하는 경향이 있으므로 위치를 명시하는 편이 유리하다. [26:12]

14. 여러 어텐션 헤드와 블록을 쌓아 다음 토큰 출력을 만든다

• 멀티헤드 어텐션은 서로 다른 가중치로 어텐션을 여러 번 계산해 같은 시퀀스의 다양한 표현을 얻는다. 각 헤드의 출력을 이어 붙이고 더 큰 투영 행렬을 적용해 원래 모델 차원으로 되돌린다. [26:34]
• 멀티헤드 인과 자기어텐션에 레이어 정규화, 피드포워드 연산, 잔차 연결을 결합하면 트랜스포머 블록이 된다. 이 블록을 여러 층 쌓아 깊은 신경망을 구성한다. [27:21]

15. 학습 병렬화의 이점과 긴 문맥의 비용이 함께 존재한다

• 어텐션은 학습 시 시퀀스의 토큰들을 함께 처리할 수 있어 GPU 병렬화에 유리하다. 순차 연산 단계 수는 O(1)인 반면, 순환 모델은 앞선 은닉 상태를 다음 단계에 전달해야 하므로 시퀀스 길이에 따라 O(n) 단계가 필요하다. [29:23]
• 어텐션의 시퀀스 길이에 대한 O(n²) 비용 때문에 문맥이 길어지면 계산 부담이 매우 커진다. 순차 연산 단계가 적다는 이점이 전체 계산량까지 일정하다는 뜻은 아니다. [29:35]

16. 선형 어텐션은 과거 토큰을 고정 크기 상태에 누적한다

• 소프트맥스를 제거하면 행렬 곱의 결합 순서를 바꿔 Q와 K보다 K와 V를 먼저 곱할 수 있다. 예시에서는 시퀀스 길이에 따른 4×4 행렬 대신 은닉 차원에 따른 3×3 상태 행렬을 만든다 [30:58]
• 새 토큰마다 상태를 갱신하면 과거 토큰의 개별 정보를 모두 저장할 필요가 없다. 토큰 사이에 유지하는 상태의 메모리는 문맥 길이에 따라 증가하지 않고, 모델 차원 D에 따른 D² 크기를 갖는다 [32:23]

17. 긴 문맥의 정보 검색에는 압축 상태의 한계가 있다

• 긴 글에 숨겨 둔 특정 숫자를 찾는 과제에서는 그 정보를 고정 크기 상태에 계속 보존해야 한다. 원래 시퀀스로 돌아가 해당 위치를 직접 참조하는 방식보다 어려우며, 비교 사례에서 RWKV와 Mamba는 표준 어텐션을 사용하는 Llama보다 긴 시퀀스에서 성능 저하가 컸다 [33:10]
• 실제 문맥 길이 제약은 위치 임베딩을 어느 길이까지 학습했는지와 관련된다. 전체 소프트맥스 어텐션의 연산량은 문맥 길이 N에 대해 O(N²), 선형 어텐션은 O(N)이며, 저장 공간은 각각 증가하는 KV와 고정 크기 상태라는 차이를 갖는다 [34:11]

18. 어텐션 구조는 에이전트의 모델 선택 기준이 된다

• 현대 모델은 선형 어텐션, 피드포워드 층, 다중 헤드 어텐션을 조합하고 잠재 표현이나 게이트 같은 변형을 더한다. 기본 구성 요소를 이해하면 이러한 혼합 구조를 해석할 수 있다 [35:23]
• 긴 문맥을 다루는 에이전트에서는 추론 효율과 문맥 처리 능력이 설계 조건이 된다. 모델 구조의 한계를 고려해야 적절한 모델을 선택하고 하네스나 스캐폴드를 설계할 수 있으며, 긴 문맥 과제에서는 전역 어텐션을 사용하는 모델이 더 적합할 수 있다 [36:01]

19. 교차 엔트로피는 정답 다음 토큰의 확률을 높이도록 학습시킨다

• 학습 데이터의 실제 다음 토큰에 모델이 부여한 확률의 음의 로그를 손실로 사용한다. 정답 토큰에 높은 확률을 줄수록 손실은 낮아진다 [37:29]
• 교차 엔트로피에서는 정답 다음 토큰에 해당하는 지시값만 1이고 나머지는 0이다. 따라서 정답 토큰의 예측 확률을 이용해 모델 가중치를 갱신할 수 있다 [37:55]

20. 사전학습 데이터는 대규모 수집보다 강한 선별을 거친다

• 웹 크롤링으로 모은 HTML에서 규칙 기반 도구로 본문 텍스트를 추출하고 언어를 판별한다. 기호 비율이나 반복 문자열 같은 규칙으로 불량 문서를 제거한 뒤, 모델 기반 품질 필터링과 중복 제거를 적용한다 [39:25]
• DCLM 사례에서는 Common Crawl 데이터에 언어, 단어·페이지 길이, 반복, 중복 제거, 모델 기반 품질 필터를 적용한 뒤 처리한 콘텐츠의 1.4%만 학습용으로 남겼다 [40:08]

21. 다양한 출처의 데이터는 목표에 맞는 비율로 혼합한다

• 수학 중심 데이터셋은 추가적인 수학 필터를 적용하지만, 원자료를 텍스트로 가공하고 필터링·중복 제거·오염 제거를 거치는 기본 과정은 유사하다 [40:48]
• 강하게 필터링한 웹 데이터에도 애니메이션을 찾는 포럼 글, 요리학교 관련 기사, 어셈블리 함수 문서처럼 서로 다른 주제가 남는다. 이러한 폭넓은 주제는 모델이 광범위한 지식을 학습하는 기반이 된다 [41:39]

22. 중간학습은 목표 도메인으로 데이터 분포를 이동시킨다

• 중간학습에서는 데이터 혼합을 목표 도메인에 더 집중시킨다. Marin 사례의 사전학습 혼합과 쿨다운 혼합은 가중치가 다르며, 쿨다운 단계에서는 비즈니스 소프트웨어 같은 분야의 비중을 높인다 [43:03]
• 목표 도메인 데이터를 사전학습이나 중간학습에 섞은 뒤 해당 데이터로 미세조정하면 도메인 테스트 손실이 개선되는 경향이 있다. 제시된 결과에서는 미세조정 후 다른 도메인에도 도움이 되는 것으로 보인다 [43:43]

23. 지도 미세조정은 원하는 응답 행동을 직접 학습시킨다

• 지시 미세조정 또는 지도 미세조정은 질문과 바람직하게 작성한 답변을 짝지어 학습한다. 광범위한 인터넷 텍스트와 달리, 채팅 도우미가 실제로 보여야 할 말투와 행동에 집중한 데이터를 사용한다 [44:50]

24. 인간 선호 학습에는 일관성·아첨·노동 조건 문제가 따른다

• 인간 선호 학습에서는 같은 프롬프트의 여러 응답을 사람이 평가·순위화하고, 그 선호를 예측하는 모델을 학습한다. 이후 강화학습으로 선호되는 응답을 더 많이 생성하도록 조정한다 [45:32]
• 같은 사람도 몇 주 뒤에는 다른 응답을 선호할 수 있고, 사람마다 기준도 다르다. 사용자가 자신을 칭찬하는 답변을 좋아하면 모델이 아첨하는 방향으로 최적화될 수 있다 [46:18]

25. 검증 가능한 보상과 합성 환경으로 코딩 에이전트를 훈련한다

• 검증 가능한 보상을 사용하는 강화학습은 인간의 선호를 추정하는 대신 결과의 정오를 확인한다. 수학에서는 정답 일치 여부, 코드에서는 테스트 통과 여부를 보상 기준으로 사용할 수 있다 [47:29]
• 코딩 학습 환경은 기존 에이전트로 GitHub 저장소를 설치·실행하고 Docker 이미지로 만든 뒤, PR 변경을 되돌리거나 함수에 버그를 삽입해 구성할 수 있다. 문제 설명을 생성하고 해결 결과가 테스트를 통과하는지 확인하면 합성 과제를 학습에 활용할 수 있다 [48:25]

26. 장기 작업 훈련에는 긴 문맥 학습과 어려운 실행 환경이 필요하다

• 긴 문맥 확장은 더 긴 문서를 학습시키는 과정과 연결된다. 위치 임베딩을 긴 범위에서도 사용할 수 있도록 학습해야 하므로, 기존 사전학습 길이보다 긴 문서를 추가로 활용할 수 있다 [49:52]
• 며칠이나 몇 주에 걸친 장기 작업을 위한 학습에는 에이전트 실행 환경을 활용한다. 사람이 만들거나 고품질 합성 데이터로 구성한 길고 어려운 저장소 과제를 평가와 강화학습에 사용할 수 있으며, 코드는 이러한 환경에서 가장 쉽고 흔하게 활용되는 분야다 [50:42]

27. 합성 데이터의 생성 능력이 인터넷 데이터의 가치를 대체하지는 않는다

• 매일 수조 토큰이 생성되고 공개 모델의 사전학습에는 보통 약 36조 토큰을 넘지 않는 양이 사용되므로, 사전학습 데이터를 전부 합성할 기반 시설상의 능력은 이미 갖춰져 있다는 판단이다. 다만 인터넷의 강점은 다양성이므로 전면적인 합성 데이터 대체는 권장되지 않는다 [51:35]
• 인터넷 데이터에서 얻을 수 있는 개선이 언젠가 포화되면 강화학습 같은 방법에 더 의존할 가능성이 있다. 이는 확정된 결론이 아니라 가능한 전망이다 [51:48]

28. 학습 단계의 경계는 데이터 분포와 통제 수준에 따라 흐릿하다

• 사전학습과 중간학습의 구분은 엄격하지 않다. 학습률 쿨다운을 바꿀 수도 있지만, 핵심 변화는 데이터 분포를 조정하는 데 있다 [52:08]
• 사전학습은 방대한 데이터의 세부 내용을 충분히 알기 어렵고, 중간학습은 수학 같은 원하는 콘텐츠가 포함됐다는 감각은 있어도 여전히 양이 중요하다. 사후학습에서는 무엇을 학습시키는지 훨씬 명확하게 파악한다는 실무적 구분이 가능하다 [52:38]

29. GPU 성능은 연산 능력과 메모리 전송 중 느린 쪽에 제한된다

• GPU는 복잡한 제어나 분기보다 많은 병렬 연산을 처리하는 데 집중한다. 최대 FLOPS는 칩의 연산 처리 상한을, 메모리 대역폭은 필요한 데이터를 옮기는 속도를 나타낸다 [54:15]
• 루프라인 성능 모델에서는 데이터 공급이 연산 능력을 충분히 활용시키지 못하면 메모리 전송이 병목이 된다. 데이터 공급이 충분해지면 칩의 최대 연산 능력이 병목이 된다 [54:57]

30. 프리필과 디코드는 병목과 성능 지표가 다르다

• 프리필에서는 입력 프롬프트의 토큰이 이미 모두 주어져 있으므로 전체 시퀀스를 한 번의 순전파로 처리할 수 있다. 많은 행렬 곱을 수행하므로 연산 능력의 제약을 받는다 [55:36]
• 디코드는 토큰을 하나씩 생성하며, 다음 토큰 계산에 필요한 과거 K·V 활성값을 유지한다. 이 KV 캐시는 생성이 진행될수록 메모리에서 커진다 [56:50]

31. 추측 디코딩은 작은 모델의 초안을 큰 모델이 묶어서 검증한다

• 작은 모델로 여러 토큰을 순차 생성한 뒤, 신뢰하는 큰 모델이 그 토큰들을 한꺼번에 처리한다. 여러 토큰을 함께 계산해 사용 가능한 연산 능력을 더 활용하는 방식이다 [58:18]
• 탐욕적 디코딩을 예로 들면, 초안의 각 토큰이 큰 모델에서도 해당 위치의 최빈 토큰인지 확인한다. 초안이 거부되는 지점에서는 그 지점부터 초안 생성을 이어 가는 방식으로 동작한다 [59:13]

32. 추측 디코딩의 효과는 초안 길이와 작업 분야에 따라 달라진다

• 작은 모델이 만드는 초안 토큰 수를 조정하면 샘플링 시간을 개선할 수 있다. 적절한 초안 길이는 추측 디코딩의 효율을 좌우하는 조정 요소다 [59:32]
• 비교에서는 코딩 벤치마크 HumanEval의 초안 수용률이 요약 벤치마크 XSum보다 높았다. 코드가 요약보다 더 예측 가능하거나 압축하기 쉬울 수 있다는 해석이지만, 확정적인 원인으로 단정하지는 않는다 [59:50]

33. 추론 시간을 늘려 성능을 높이는 사고 사슬과 추론 모델

• 사고 사슬 프롬프팅은 단계별 사고를 요청하거나 추론 예시를 제공해, 최종 답변 전에 추론을 생성하도록 유도한다. 과제 해결에 더 많은 연산을 사용한다는 점에서 추론 시점 스케일링에 해당한다 [1:00:16]
• 추론 모델은 긴 추론을 수행하도록 훈련되며, 생성 도중 자신의 오류를 발견하고 다시 검토할 수 있다. 이런 자기 수정은 잘못된 추론을 그대로 밀고 나갈 가능성을 낮추지만 비용을 늘린다 [1:01:01]

34. 추론 수준을 제어하는 보상과 토큰 예산

• GPT-OSS에서는 시스템 프롬프트에 low·medium·high를 지정해 추론량을 조절할 수 있다. 이러한 제어를 학습시키는 한 방식은 검증 가능한 과제의 성공 보상에 더해, 설정한 추론 수준마다 토큰 사용량에 다른 페널티를 부여하는 것이다 [1:02:24]
• 다른 보상 방식에서는 정답에 1점, 오답에 0점, 예산까지 초과한 오답에 -1점을 부여한다. 정답을 얻는 경우의 예산 초과보다 실패하면서 연산까지 낭비하는 경우를 더 강하게 억제한다 [1:03:11]

35. 여러 답을 생성하고 검증하거나 다수결로 선택하기

• 정답 여부를 판별할 확실한 검증기가 있다면 답을 여러 번 생성한 뒤 올바른 결과를 선택할 수 있다. 샘플 수를 늘리면 적어도 한 번 정답을 얻을 가능성이 높아지는 방식의 추론 시점 스케일링이다 [1:04:04]
• 검증기가 없다면 여러 결과의 자기 일관성을 선택 기준으로 삼을 수 있다. 수학 문제에서 18달러·26달러·18달러가 나왔다면 가장 자주 등장한 18달러를 선택하는 식이며, 이 방식도 샘플 수에 따른 성능 개선을 보인다 [1:04:27]

36. 구조화된 입출력으로 시스템 간 통신 규약 만들기

• LLM과 도구를 연결한 복합 시스템에는 공유된 통신 규약이 필요하다. 제약 디코딩은 JSON과 특정 필드처럼 요구되는 출력 형식을 정의하고 모델이 그 형식을 따르도록 제한한다 [1:05:31]
• SGLang은 유한 상태 기계를 이용해 다음 출력이 확정된 부분에서는 모델 호출을 생략하고, 분기에서는 허용된 토큰으로 후보를 제한할 수 있다. 형식을 지키는 정확도뿐 아니라 디코딩 속도도 높일 수 있다 [1:05:58]

37. 제한된 선택지의 점수화와 파싱 가능한 도구 호출

• 필요한 출력이 긍정·부정처럼 정해져 있다면 모델 임베딩에 분류용 헤드를 붙여 해당 선택지의 점수만 출력하도록 훈련할 수 있다. 언어 모델을 더 큰 시스템의 분류기로 사용하는 방식이다 [1:07:59]
• 공개된 한 접근법은 상태와 행동을 각각 임베딩하고 내적으로 비교해 행동별 점수를 계산한다. 게임의 이동·점프뿐 아니라 객관식 답변이나 도구 선택에도 대응시킬 수 있지만, 이 공개 사례가 비공개 기업의 ‘시스템 1’ 모델과 같은 방식인지는 단정할 수 없다 [1:08:40]

38. 컨텍스트 엔지니어링과 긴 입력의 성능 저하

• 컨텍스트 엔지니어링의 핵심은 많은 정보를 어떻게 구성하고 줄일지 결정하는 것이다. 에이전트의 입력에는 시스템 프롬프트, 대화 기록, 저장된 메모리, 도구 호출 결과, 첨부 파일 등이 포함된다 [1:10:48]
• 모든 정보를 넣는 방식은 어텐션 연산량이 컨텍스트 길이의 제곱에 비례한다는 비용 문제에 부딪힌다. 비용을 감당하더라도 컨텍스트가 길어지면서 성능이 떨어지는 ‘컨텍스트 부패’ 때문에 무조건 많은 정보를 제공하는 것이 유리하지는 않다 [1:11:32]

39. 필요한 정보만 검색하고 순차적으로 추가하며 실험하기

• 도구와 컨텍스트의 불필요한 비대를 피해야 한다. 제시된 Terminal Bench 비교에서 read·write·edit·bash만 갖춘 Pi는 ‘Claude stable’로 언급된 예외를 제외한 테스트 모델에서 가장 좋은 결과를 냈다. 메모리와 파일도 검색으로 관련성이 높은 자료만 골라 컨텍스트에 넣을 수 있다 [1:12:57]
• 대화 도중 문서를 컨텍스트 맨 앞에 삽입하면 기존 토큰의 위치가 바뀌어 위치 임베딩에 의존하는 KV 캐시 전체가 무효화될 수 있다. 정보를 시간에 따라 뒤에 순차적으로 추가하는 편이 캐시 재사용에 유리하다 [1:13:59]

40. 컨텍스트 압축에서 반드시 보존해야 할 제약

• 컨텍스트가 너무 길어져 압축이 발생하면 무엇을 남길지가 핵심 설계 문제가 된다. 압축 과정에서 중요한 지시가 제거되면 이후 에이전트의 행동이 사용자의 조건을 벗어날 수 있다 [1:15:14]
• 소개된 이메일 사례에서는 삭제 전 확인을 받으라는 조건이 있었지만, 전체 받은편지함을 넣은 직후 압축이 발생하면서 그 지시가 사라졌고 이메일이 삭제됐다. 압축은 내용의 분량뿐 아니라 행동을 제한하는 지시의 보존까지 고려해야 한다 [1:15:35]

41. 재귀적 언어 모델로 긴 컨텍스트를 나누어 처리하기

• 재귀적 언어 모델은 압축을 피하기 위한 최근의 접근법으로, 긴 프롬프트를 코드 환경의 변수에 저장한다. 모델은 전체 내용을 한꺼번에 입력받는 대신 일부 문자를 읽거나 내용을 분할하는 코드로 필요한 부분에 접근할 수 있다 [1:16:01]
• 모델은 LLM 호출 함수를 통해 분할한 내용을 하위 에이전트에 전달하고, 필요한 처리 결과만 돌려받을 수 있다. 프롬프트를 환경의 데이터로 다루면서 필요한 부분을 다시 프롬프트로 전달하는 재귀 구조로 긴 컨텍스트를 처리한다 [1:16:38]

🧾 결론

• 컨텍스트 창의 최대 길이는 실제 과제에서 정보를 정확하게 활용하는 능력과 구분해서 평가해야 한다.
• 모델 선택은 어텐션 구조, 긴 문맥 검색 능력, 추론 비용을 함께 고려해야 하며, 하네스와 컨텍스트 구성도 같은 평가에 포함해야 한다.
• 압축에서 보존할 대상에는 사실과 작업 상태뿐 아니라 사용자의 승인 조건과 행동 제한도 포함된다.
• 도구 구성, 입력 형식, 검색 방식의 효과는 실제 벤치마크를 통해 확인해야 한다.

📈 투자·시사 포인트

• 에이전트 제품의 경쟁력을 평가할 때 모델 성능과 함께 정보 검색, 컨텍스트 압축, 지시 보존, 도구 실행의 신뢰성을 살펴볼 필요가 있다.
• 추론 비용을 분석할 때 입력 처리와 출력 생성을 구분해야 한다. 첫 토큰까지의 시간과 출력 토큰당 시간은 서로 다른 병목을 드러낸다.
• 긴 문맥 처리 기술은 비용 절감과 정보 검색 정확도를 함께 비교해야 한다. 고정 크기 상태나 혼합 어텐션의 효율만으로 실제 업무 적합성을 판단하기 어렵다.
• 검증 가능한 과제와 실행 환경은 코딩 에이전트 학습의 중요한 자원이다. 학습 성과를 평가할 때 테스트 기반 보상과 합성 과제의 구성 방식도 확인필요가 있다.

⚠️ 불확실하거나 확인이 필요한 부분

• 자막에서 ‘Ulong’으로 지칭한 벤치마크의 정확한 명칭과 평가 조건은 확인이 필요하다. Gemini의 정확도 하락과 GPT-5 mini의 우위는 소개된 사례의 결과이며, 모든 긴 문맥 과제로 일반화할 수 없다.
• Pi의 Terminal Bench 비교에는 ‘Claude stable’로 언급된 예외가 있다. 도구 수를 줄이면 언제나 성능이 좋아진다는 결론으로 확대해서는 안 된다.
• Qwen 2.5 32B의 SWE-bench Verified 출발 성능 약 9%는 강연자의 대략적인 기억에 근거한다. 약 40% 도달 사례도 구체적인 학습·평가 조건과 함께 확인해야 한다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 실제 에이전트 입력을 시스템 지시, 대화 기록, 메모리, 도구 결과, 첨부 파일로 나누고 각 정보가 필요한 이유를 점검한다.
• 전체 자료 입력과 관련 자료 검색 방식을 같은 과제로 비교하고, 정확도·입력 길이·첫 토큰 지연·출력 속도를 기록한다.
• 컨텍스트 압축 전후에 사용자 승인 조건과 행동 제한이 유지되는지 확인한다. 강의의 이메일 삭제 사례처럼 지시가 사라지는 상황을 평가에 포함한다.
• 대화 앞부분 수정과 뒤쪽 정보 추가가 캐시 재사용에 미치는 영향을 사용하는 모델·실행 환경에서 측정한다.

❓ 열린 질문

• 현재 과제에서는 긴 원문을 직접 참조하는 방식과 검색·압축·재귀적 분할 중 어떤 구성이 비용 대비 정확도가 가장 높은가?
• 압축 과정에서 사용자 지시와 행동 제한의 보존 여부를 어떻게 검증할 수 있는가?
• 추가 추론 토큰, 복수 답안 생성, 외부 검증기 중 어느 방식에 계산 예산을 배분해야 실제 성공률이 가장 크게 개선되는가?