How We Build Agent Environments & Tasks

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

LangChain은 추적·코드·사람의 입력에서 과제 명세를 만들고 이를 Harbor 평가 과제와 환경으로 변환하는 2단계 파이프라인을, 데이터셋 공통 지식을 담은 월드 스펙과 반복적인 사람 검토로 운영한다.

📌 핵심 요약

• 신뢰할 수 있는 에이전트 개선에는 대표 입력, 현실과 가까운 환경, 결과와 정렬된 평가 기준을 갖춘 고품질 벤치마크가 필요하지만, 개별 과제 하나를 만드는 데도 상당한 시간과 사람 간 합의가 요구된다.
• 제안된 2단계 파이프라인은 추적·코드·사람의 입력으로 마크다운 과제 명세를 생성한 뒤, 해당 명세를 Harbor 형식의 평가 과제와 실행 환경으로 변환하는 구조다.
• 월드 스펙은 데이터셋 전체에 공통으로 적용되는 지식, 정의, 서비스 스키마, 평가 기준 작성법, 추적 분석 및 합성 데이터 생성 스크립트를 모아 과제별 명세와 분리한다.
• 월드 스펙은 첫 2~3개 과제를 코딩 에이전트와 함께 만들면서 발견한 공통 지식과 사람의 피드백을 반영해 반복적으로 보완하며, eval-engineering 스킬이 이 과정을 지원한다.
• Harbor 과제는 실제 에이전트의 실행 궤적을 통해 환경 결함과 보상 해킹을 점검하고, gpt-5.6- Luna와 gpt-5.6-Sol 같은 서로 다른 계층의 모델로 난이도를 보정해야 하며, 명세의 현실성 판단에는 계속 사람의 개입이 필요하다.

🧩 주요 포인트

1. 과제 정의와 과제 구현을 마크다운 명세로 분리하면 사람은 현실성·평가 기준 검토에 집중하고, 코딩 에이전트는 합의된 여러 명세를 병렬로 구현할 수 있다.
2. 월드 스펙은 데이터셋 공통 지식을 재사용하고 과제 명세는 입력·환경·채점 방식의 개별 차이를 기록하므로, 두 문서의 경계를 명확히 할수록 반복 생성의 일관성이 높아진다.
3. Harbor 과제를 실제 에이전트와 여러 계층 모델로 실행하면 누출된 추상화, 과도하게 구체적인 지시, 지나치게 쉬운 과제, 보상 해킹을 발견할 수 있어 생성 후 검증이 과제 품질의 핵심 단계가 된다.

🧠 상세 정리

1. 벤치마크 구축의 목적과 어려움

에이전트를 안정적으로 개선하려면 회귀를 식별하고 개선 영역을 찾으며 실제 지표에 근거해 반복할 수 있는 벤치마크가 필요하다. 그러나 각 과제에는 대표성 있는 입력, 현실과 밀접하게 맞닿은 실행 환경, 결과를 올바르게 판정하는 평가 기준이 함께 갖춰져야 하므로 단일 과제 제작에도 많은 시간과 사람 간 합의가 든다. 지향점은 평가, 성능 향상 탐색, 사후 학습에 활용할 수 있는 검증된 고품질 과제의 데이터셋이다. LangChain 내부 사례에는 누락된 고객 데이터에서 회사와 인물을 찾는 GTM 엔지니어링, 프롬프트 최적화, 실제 병합된 PR 데이터를 이용한 코드 리뷰, 대규모 추적 자료에서 소수 문제를 찾는 추적 마이닝 과제가 포함된다. 따라서 핵심 문제는 단순히 과제 수를 늘리는 것이 아니라 현실을 대표하면서도 일관되게 채점할 수 있는 과제를 효율적으로 생산하는 것이다.

2. 핵심 용어와 평가 과제의 구성

이 글에서 에이전트는 LLM을 사용해 애플리케이션의 제어 흐름을 결정하는 시스템이며, 환경은 그 에이전트가 실행되는 공간을 뜻한다. 평가 기준은 실행 결과를 판단하는 조건의 집합이고, 과제는 입력·환경·테스트 스크립트로 구성되어 에이전트가 환경 안에서 지시를 수행한 뒤 테스트 스크립트의 점수를 받게 한다. 데이터셋 또는 벤치마크는 이러한 과제의 모음이며, 평가는 데이터셋 전체에서 에이전트를 실행해 점수를 얻는 과정이다. Harbor는 과제와 데이터셋을 정의하고 평가를 실행하는 프레임워크이며, 추적은 에이전트의 입력과 실행 경로를 상세히 기록한 정보다. 과제 명세는 특정 과제의 입력·환경·테스트 스크립트를 자연어로 설명하고, 월드 스펙은 여러 과제의 생성과 변환에 공통으로 쓰이는 프로젝트 지식·스크립트·도우미 함수·정의를 담는다.

3. 과제 명세 중심의 2단계 파이프라인

대량의 과제를 효율적으로 만들기 위해 제안된 중심 매개체는 과제의 입력, 환경, 평가자를 자연어로 기술한 마크다운 명세다. 첫 단계는 추적, 코드, 사람의 입력을 분석해 과제가 무엇이어야 하는지 구체화하는 명세 생성이며, 팀과 사용자가 중요하게 여기는 기준을 맞추기 위한 반복적인 사람 검토가 포함된다. 두 번째 단계인 Spec2Task는 합의된 명세를 받아 코딩 에이전트가 실제 평가 과제와 환경으로 구현하는 과정으로, 첫 단계보다 자동화하기 쉽다. 이 분리는 여러 명세에 대한 사람의 검토를 한곳에 집중시킨 뒤 구현 작업을 병렬화할 수 있게 한다. 마크다운 명세는 원시 코드와 과제 데이터를 직접 검토하는 것보다 사람이 읽고 수정하기 쉬우며, 코드처럼 변경 이력을 관리하고 팀 간 공유할 수 있다는 장점도 있다.

4. 월드 스펙에 모으는 데이터셋 공통 지식

명세 생성과 Spec2Task를 제대로 수행하려면 개별 과제에 국한되지 않고 데이터셋 전체에 적용되는 월드 지식이 필요하며, 이 지식이 월드 스펙에 저장된다. 월드 스펙은 마크다운 설명뿐 아니라 추적 분석, 환경 데이터 생성, 공통 채점에 필요한 파이썬 스크립트 등 여러 형식을 포함할 수 있다. 명세 생성 단계에서는 데이터의 크기와 형태처럼 미리 확보해야 할 정보, 추적이나 다른 자료에서 필요한 내용을 추출하는 방법이 중요하다. 과제 변환 단계에서는 프로그램 방식과 LLM 판정 방식 중 적절한 평가 기준을 고르는 지식, 환경을 채울 특정 데이터를 만드는 스크립트가 활용된다. 프롬프트 최적화 벤치마크에는 도메인·입력 형태·출력 클래스와 공통 채점 함수가 포함될 수 있고, GTM 벤치마크에는 모의 구현할 Salesforce·Notion의 API와 스키마, 기존 에이전트 추적에서 찾은 사용자 질문 유형이 포함될 수 있다.

5. 첫 과제에서 월드 스펙을 도출하는 반복 과정

월드 스펙은 사전에 한 번 작성해 완성하는 문서가 아니라, 코딩 에이전트와 첫 과제를 함께 구현하면서 발견한 일반 지식을 정리하고 이후 과제에 재사용하는 방식으로 만들어진다. 공통 지식이 충분히 포착되었는지 확인하려면 첫 2~3개 과제까지 같은 과정을 반복할 수 있으며, eval-engineering 스킬은 첫 과제 제작과 그 경험의 월드 스펙 일반화를 지원한다. 코딩 에이전트는 하위 에이전트와 함께 저장소를 탐색해 실제 프롬프트·도구·스킬을 찾고, 추적을 묶어 사용자가 요청하는 현실적인 유형과 잠재 과제 범주를 파악한다. 또한 웹 검색 같은 실시간 API 호출에 필요한 자격 증명과 모의 실행 여부를 정리하고, Salesforce나 Gong 등 연결 서비스의 테이블과 스키마를 목록화한다. 데이터 관계와 계층을 분석해 합성 데이터 생성 방식을 계획하는 일도 포함되며, 도메인별 지식의 누락을 줄이기 위해 사용자 피드백을 반복적으로 반영한다.

6. 과제 명세의 세 요소와 월드 스펙의 경계

개별 과제 명세는 월드 지식의 안내를 받되 해당 과제에만 필요한 구현 세부 사항을 기록하며, 기본적으로 에이전트 환경의 모습, 입력의 내용, 출력 채점 방식을 다룬다. 모든 과제에서 동일한 정보는 개별 명세마다 반복하지 않고 월드 스펙으로 옮길 수 있으므로, 세 요소가 항상 모두 과제 명세에 들어가야 하는 것은 아니다. 일반 질의응답 챗봇처럼 환경이 항상 같고 입력과 출력만 달라지는 경우에는 환경 정의를 월드 스펙에 통합해 여러 과제가 공유할 수 있다. 반대로 GTM 조사 과제처럼 입력은 고정되어 월드 스펙에 둘 수 있지만 환경과 평가 기준이 과제마다 달라지는 경우에는 그 차이를 과제 명세에 기록한다. 이 구분은 공통 설정의 중복을 줄이는 동시에 각 과제의 채점 조건과 환경 차이를 명시적으로 보존한다.

7. Spec2Task 구현과 실행 기반 검증

Spec2Task는 과제 명세를 Harbor 형식의 과제로 변환하는 파이프라인이며, 코딩 에이전트에 과제 명세·월드 스펙 스킬·eval-engineering 스킬을 함께 제공하는 방식으로 수행할 수 있다. 생성된 과제는 실제 에이전트로 실행하고 그 궤적을 읽어, 지나치게 구체적인 지시나 누출된 추상화처럼 환경 설계를 왜곡하는 결함을 찾아야 한다. 예를 들어 테이블 항목에 ‘Answer placeholder’라고 적힌 경우처럼 정답이나 행동을 부당하게 암시하는 데이터가 검증 과정에서 드러날 수 있다. gpt-5.6- Luna와 gpt-5.6-Sol 같은 서로 다른 계층의 모델을 실행하면 특정 계층에 과제가 너무 쉽거나 어려운지, 더 강한 모델에서 보상 해킹 때문에 과제가 깨지는지 판단하는 데 도움이 된다. 데이터 생성 방식은 자유 텍스트에 LLM과 평가 기준을 사용하고 표 형식 데이터에는 명시된 스키마를 가진 sqlite 스크립트를 사용하는 식으로 전체 지침을 제공해야 한다.

8. 확장 절차와 계속 필요한 사람의 판단

전체 절차는 eval-engineering 스킬, LangSmith 프로젝트의 추적, 현재 저장소를 이용해 첫 과제를 만들고 그 과정에서 별도의 월드 스펙 스킬을 드러내는 단계로 시작한다. 사람은 월드 스펙의 핵심 내용을 검토해 수정하고, 새 대화에서 월드 스펙과 eval-engineering을 함께 불러 두 번째 과제를 만들어 공통 지식의 유효성을 다시 확인한다. 고객 규모와 매출·직원 수·이메일 수의 다양성을 확대하는 식의 피드백을 반영하며 두 번째 과제와 월드 스펙 수정을 반복하고, 충분히 신뢰할 수 있을 때 최근 10일의 추적에서 기존에 포착하지 못한 유형을 찾아 10개의 새 명세를 생성하는 방식으로 확장한다. 검토된 각 명세는 다시 코딩 에이전트와 월드 스펙을 통해 실제 과제로 변환된다. 다만 명세가 현실의 도메인·사용자 행동·요구 사항을 반영하는지 판단하려면 여러 차례 사람의 피드백이 필요하고, 에이전트가 지나치게 쉬운 과제를 만드는 경향도 사람의 개입이 필요한 영역으로 제시된다. 제공된 원문은 이 두 번째 문제의 설명 도중 끝나므로 그 이후의 구체적인 대응책은 확인할 수 없다.

🧾 핵심 주장 / 시사점

• 마크다운 명세를 사람과 에이전트 사이의 검토 지점으로 삼으면 사람은 과제의 현실성과 평가 기준에 집중하고, 합의 이후의 구현은 여러 코딩 에이전트로 병렬화할 수 있다.
• 월드 스펙은 처음부터 완성되는 고정 문서가 아니라 첫 2~3개 과제에서 발견한 공통 지식과 사용자 피드백을 누적해 완성도를 높이는 반복적 산출물이다.
• 과제 생성의 성공만으로 품질을 판단할 수 없으며, 실제 에이전트의 실행 궤적과 서로 다른 계층 모델의 결과를 통해 환경 결함·난이도·보상 해킹 가능성을 확인해야 한다.

✅ 액션 아이템

• 2단계 파이프라인의 첫 과제로 작성된 월드 스펙 검토 및 두 번째 과제를 통한 반복 검증.
• Harbor 평가 과제의 실제 에이전트 실행과 궤적 기반 환경 결함·보상 해킹 점검.
• gpt-5.6- Luna와 gpt-5.6-Sol 실행 비교를 통한 과제 난이도 보정.

❓ 열린 질문

• 월드 스펙이 데이터셋 공통 지식과 과제별 명세를 충분히 분리하고 있는가?
• Harbor 평가 과제를 실제 에이전트로 실행했을 때 환경 결함이나 보상 해킹이 드러나는가?
• gpt-5.6- Luna와 gpt-5.6-Sol 비교에서 과제가 특정 모델 계층에 지나치게 쉽거나 어렵게 나타나는가?