Terminal-Bench: Evaluating AI Agents
Quick Summary
Terminal Bench는 AI 에이전트가 터미널에서 여러 단계의 작업을 끝까지 해냈는지, 실행 후 남은 결과가 과제의 성공 기준을 충족하는지로 평가한다.
영상 보기
클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론
Terminal-Bench는 AI 에이전트가 터미널에서 여러 단계의 작업을 끝까지 해냈는지, 실행 후 남은 결과가 과제의 성공 기준을 충족하는지로 평가한다.
📌 핵심 요점
- 에이전트는 같은 입력을 받아도 모델 호출 결과에 따라 다르게 행동할 수 있다. Terminal-Bench는 텍스트로 여러 프로그램을 다룰 수 있는 터미널을 공통 작업 환경으로 삼고, 에이전트가 실제로 무엇을 완성했는지 확인한다.
- 과제 하나를 만들려면 달성할 목표, 작업을 시작할 환경, 성공 여부를 판정할 검증기가 필요하다. 포스터 복원 과제에서는 완성 이미지와 원본 자료를 주고 편집 가능한 포스터를 요구한다. 어떤 원본이 쓰였는지 가려내는 일도 평가에 포함된다.
- Terminal-Bench는 역량을 측정하는 과제 모음이고, Harbor는 과제를 만들고 실행하는 프레임워크다. Harbor는 매 시도를 격리하므로 이전 실행이 남긴 상태에 영향을 받지 않고 같은 과제에서 모델이나 에이전트 실행 도구를 바꿔 비교할 수 있다.
- 검증기 자체도 평가 대상이다. 요구사항마다 대응하는 검사가 있어야 하고, 각 검사에도 요구사항상의 근거가 있어야 한다. 그래야 미완성 결과가 통과하는 경우와 유효한 새 풀이가 탈락하는 경우를 모두 찾아낼 수 있다.
- 종합 점수에서 개별 시도로 내려가면 실행 기록과 산출물, 소요 시간과 비용을 살펴볼 수 있다. 강의에서는 패키지 버전이 맞지 않아 에이전트가 막힌 사례를 든다. 실패 점수만 봤다면 측정하려던 역량과 무관한 원인을 놓쳤을 사례다.
🧩 배경과 문제 정의
- Terminal-Bench는 에이전트가 터미널에서 여러 단계를 거쳐 어려운 과업을 끝까지 수행할 수 있는지 평가하는 벤치마크다. Harbor는 이런 평가를 만들고 실행하는 프레임워크다.
- 에이전트의 동작은 사람이 작성한 코드와 확률적인 모델 호출에 함께 의존한다. 어떤 일을 얼마나 안정적으로 해내는지 알려면 실제 환경에서 실행하고 결과를 관찰해야 한다.
- 평가 설계의 핵심은 사람이 맡기고 싶은 일을 재현 가능한 과제로 바꾸는 데 있다. 에이전트가 어떤 환경에서 시작하는지, 무엇을 달성해야 성공인지, 그 성공을 어떻게 확인할지 정해야 한다.
🕒 시간순 섹션별 상세정리
1. 기계어에서 포트란까지, 사람이 다루는 명령의 단위가 바뀌다
- 1940년대에는 명령을 메모리에 저장하면서 하드웨어를 물리적으로 바꾸지 않고도 컴퓨터를 다시 프로그래밍할 수 있었다. 초기 프로그래머는 CPU가 실행할 명령을 숫자로 직접 작성했다. [01:42]
- 어셈블리어는 숫자로 적던 명령을 사람이 알아보기 쉬운 형태로 바꿨다. 1950년대 후반에는 초기 고급 언어 중 하나인 포트란이 등장해 프로그램의 의도를 코드에서 더 쉽게 읽을 수 있게 됐다. [02:55]
2. 전통적인 소프트웨어에서는 코드가 동작을 보여준다
- 전통적인 프로그래밍의 전제는 주어진 환경에서 프로그램을 실행하면 어떤 결과가 나올지 원칙적으로 코드에서 연역할 수 있다는 것이다. [03:54]
- 포트란 개발자들은 고급 언어가 코딩과 디버깅을 거의 없애고 관리자도 직접 프로그램을 작성하게 해 프로그래머의 역할을 크게 줄일 것으로 기대했다. [04:42]
3. 머신러닝은 입출력 사례에서 규칙을 추정한다
- 크리스 앤더슨은 2008년, 데이터가 충분하면 인과관계를 설명하는 가설이 없어도 상관관계로 유용한 예측을 할 수 있다고 주장했다. 검색·광고·추천은 이런 예측에 가치를 두는 사례다. [06:28]
- 귀납적 개발에서는 입력과 출력의 사례로부터 규칙을 추정하고, 다른 입력에서도 기대한 출력을 예측하는지 평가한다. 사람의 역할은 처리 규칙을 일일이 작성하는 일에서 데이터·레이블·학습 알고리즘을 선택하는 일로 옮겨간다. [07:15]
4. 모델 개발에서는 평가가 구현보다 앞선다
- 전통적인 소프트웨어 개발은 명세를 작성하고 사람이 구현한 뒤 테스트와 배포로 이어지는 비교적 선형적인 과정이다. [07:50]
- 머신러닝에서는 먼저 목표와 평가 방법을 정한다. 구성 요소를 바꿔 보는 실험으로 무엇이 성능에 기여하는지 살피고, 최적화로 모델을 갱신한 뒤 다시 평가한다. 이 과정에서 모델을 실제로 바꾸는 최적화가 소프트웨어 개발의 구현 단계에 대응한다. [08:34]
5. 다음 토큰 예측이 컴퓨터에서의 행동으로 이어지다
- 언어 모델은 텍스트의 다음 토큰을 예측하는 방식으로 인터넷의 방대한 텍스트를 학습 사례로 활용한다. 스케일링 법칙은 데이터와 연산량을 늘리면 일반화 능력과 성능이 향상되는 경향을 보여준다. [09:33]
- 에이전트에서는 별도 프로그램이 모델의 텍스트 출력을 다른 프로그램의 입력이나 실행할 코드로 해석한다. 코딩 모델이 생성한 프로그램을 샌드박스에서 실행하는 경우처럼, 학습된 패턴이 컴퓨터 환경의 변화로 계속된다. [10:23]
6. 에이전트가 만든 코드도 실행 결과로 평가한다
- 알렉스 쇼는 디지털 기술 개발 전반이 점차 귀납적으로 바뀔 것으로 전망한다. 모델 호출에는 확률적 요소가 있으므로 에이전트를 둘러싼 코드만 읽고 개별 실행의 동작을 알아내기는 어렵다. [12:03]
- 프랑수아 숄레는 에이전트가 생성한 코드의 동작과 일반화 능력도 모델처럼 경험적으로 평가해야 한다고 주장한다. 생성된 코드를 직접 읽을 수는 있지만, 생성량이 커질수록 다양한 조건에서 어떤 출력이 나오는지 검사하는 일이 중요해진다는 견해다. [13:13]
7. 전화번호 추출에서 드러나는 일반화와 일관성의 차이
- 정규식으로 전화번호를 추출하는 함수는 같은 입력에서 어떤 결과가 나올지 규칙을 보고 예측할 수 있다. 언어 모델을 호출하는 함수는 더 다양한 전화번호 형식을 알아볼 수 있다는 장점이 있다. [14:56]
- 쇼는 같은 입력으로 모델을 백만 번 실행하는 가정에서 매번 같은 출력이 나온다고 확신하기는 어렵다고 본다. 전화번호 추출처럼 쉬운 과제에서는 거의 일치할 수 있지만, 더 어려운 과제에서는 결과를 예측하기가 한층 어렵다는 설명이다. [15:17]
8. 평가자의 역할과 실제 업무의 성공 기준
- 쇼는 개발자의 일이 명세 작성과 구현에서 결과 평가 쪽으로 일부 이동할 것으로 본다. 평가가 독립 직군이 될지, 기존 직군이 새로운 개발 방식을 흡수할지는 아직 열려 있다. [16:20]
- 주택 가격 예측은 수치 표 형태의 학습·시험 데이터를 쉽게 떠올릴 수 있다. 치과의 접수 업무를 자동화하려면 무엇을 한 건의 사례로 삼고 어떤 결과로 업무 처리를 평가할지부터 정해야 한다. Harbor는 이런 평가를 구성하려는 도구다. [17:11]
9. 터미널이 다양한 컴퓨터 작업의 공통 인터페이스가 되는 이유
- 언어 모델과 터미널은 모두 텍스트로 입출력을 주고받는다. Bash에서는 여러 프로그램을 호출하고 코드를 실행할 수 있어 과제마다 별도의 조작 인터페이스를 마련할 필요가 줄어든다. [18:06]
- 강의의 EC2 인스턴스 설정 사례에서는 웹 화면에서 여러 번 클릭해야 하는 작업을 터미널 명령 하나로 표현할 수 있었다. [18:28]
10. Terminal-Bench의 과제 다양성과 평가 용도
- 강의 시점에 Terminal-Bench는 공개된 지 1년 반이 넘었다. 여러 모델 출시 자료에서 주요 비교 지표로 쓰였으며, 강의에 제시된 표는 대표 수치·모델 카드 본표·시스템 카드 중 어디에 결과가 실렸는지를 구분했다. [19:17]
- 개발진에 따르면 오픈소스 기여자는 171명을 넘었다. 컴퓨터로 하는 일의 범위가 넓어 여러 분야의 참여자에게 과제를 모았고, 과제 검토와 문제 발견에는 더 많은 사람이 참여했다. [19:55]
11. SWE-bench 대회에서 범용 컴퓨터 과제로
- 개발팀은 2024년 말 약 3개월 동안 SWE-bench를 지속적으로 갱신하는 상금 100만 달러 규모의 K Prize를 준비했다. 대회용 과제를 생성하고, 대회가 끝난 뒤에도 새 시험 과제를 만들어 제출된 에이전트를 평가할 수 있도록 했다. [21:39]
- 기존 과제를 살펴보면서 GitHub 저장소·이슈·풀 리퀘스트·단위 테스트가 모든 평가의 필수 조건일 이유가 있는지 의문이 생겼다. 사람이 컴퓨터에 맡기고 싶은 일 전반을 과제로 삼자는 구상과 터미널 활용 능력을 시험하자는 구상이 결합해 Terminal-Bench로 이어졌다. [22:52]
12. 과제는 지시문·실행 환경·검증 방식으로 구성된다
- 지시문은 에이전트가 달성할 일을 정의하고, 환경 명세는 작업을 시작할 컴퓨터 환경을 재현한다. 흔히 Docker 이미지를 쓰지만 환경을 구성할 수 있는 다른 인프라 명세도 가능하다. [23:23]
- 결과는 단위 테스트로 검사하거나 언어 모델 또는 에이전트가 판정할 수 있다. 이 유연성 덕분에 CAD 설계와 프로그래밍뿐 아니라 네트워킹, 생물학, 화학, 음악, 그래픽 디자인 과제도 같은 틀에 담을 수 있다. [24:07]
13. Harbor는 평가 인프라를 재사용하게 한다
- Terminal-Bench가 역량을 측정하는 과제 모음이라면, Harbor는 과제를 표현하고 평가를 실행하는 인프라다. 개발팀은 벤치마크를 만들며 익힌 방법을 도구로 옮겨, 새 평가마다 실행 기반을 다시 구축하는 수고를 줄였다. [24:54]
- Harbor가 지원하는 평가 주도 개발에서는 관찰한 결과를 근거로 에이전트를 이해하고 개선한다. 에이전트는 환경 안에서 도구를 사용하므로, 성공을 판정하려면 응답 문자열을 대조하는 것보다 복잡한 검증 로직이 필요할 수 있다. [26:28]
14. 과제 한 건, 실행 한 번, 전체 행동 기록은 서로 다른 평가 단위다
- 과제(task)는 입력과 성공 기준을 갖춘 시험 한 건이다. 지시문과 환경이 입력이고 검증기(verifier)가 성공 여부를 판정한다. 시도(trial)는 특정 에이전트가 그 과제를 한 번 수행한 실행이다. [27:00]
- 벤치마크는 특정 역량을 측정하는 과제들의 집합이다. 실행 궤적(trajectory)은 한 번의 시도에서 일어난 도구 호출, 추론 과정, 메시지, 시스템 응답을 담은 전체 기록이다. [27:32]
15. 독립적인 과제 패키지가 평가 명세가 된다
- Harbor는 과제를 특정 에이전트 구현과 분리해 같은 환경에서 여러 에이전트를 평가할 수 있도록 설계했다. 파일 구성만 보고 과제의 요소를 파악할 수 있고, 과제 하나를 독립된 패키지로 묶어 다른 인프라로 옮길 수 있다. [28:48]
- 패키지에는 지시문, 메타데이터와 실행 설정, 환경 정의, 채점용 테스트가 들어간다. 참조 풀이를 두면 과제가 의도대로 명시됐는지 확인할 수 있다. [29:35]
16. 기대 결과는 명확하게 쓰고 풀이의 단서는 줄인다
- 측정할 능력을 정하는 일과 과제가 그 능력을 정확히 측정하는지 확인하는 일은 별개다. 과제 하나를 제대로 설계하는 데 기업이 수천 달러에서 수만 달러를 지급하는 경우도 있다. [30:19]
- Terminal-Bench의 지시문은 기대 결과를 모호함 없이 명시하되, 실제 사용자가 요청하듯 간결하고 자연스러워야 한다. 불필요한 설명이 늘수록 지시문과 채점 기준이 어긋날 여지도 커진다. [31:44]
17. 실제 업무를 닮은 환경과 반복 가능한 실행 조건을 함께 설계한다
- 환경에는 문서와 코드뿐 아니라 이미 실행 중인 프로세스도 포함할 수 있다. 실제 소프트웨어와 서비스를 사용하면 에이전트가 배포 후 접할 조건을 더 충실히 재현할 수 있다. [33:29]
- 인터넷 접근을 허용하면 실행할 때마다 외부 정보가 달라지고, 평가 데이터 오염이나 에이전트의 외부 활동에 따른 안전 문제도 생길 수 있다. 실행 중 다운로드할 항목을 미리 실행 이미지에 포함하면 외부 상태에 따른 실패를 줄일 수 있다. [34:18]
18. Harbor는 과제뿐 아니라 개별 시행도 격리한다
- 같은 과제를 반복해도 한 시행의 상태나 자원이 다른 시행에 영향을 주지 않아야 한다. 연구진은 로컬 Docker로 시작했지만, 노트북 한 대에서 수백~수천 회를 실행하는 데 시간이 오래 걸려 클라우드에서 시행마다 새 컨테이너나 가상 머신을 사용하는 방식도 도입했다. [36:43]
- Harbor에서는 평가 인프라가 시행 간 격리를 담당한다. 과제 작성자는 개별 과제 정의에 격리 로직을 다시 구현할 필요가 없다. [37:02]
19. 검증기도 정답과 오답을 잘못 분류할 수 있다
- Terminal-Bench의 검증기는 결과를 통과와 실패로 분류한다. 다른 과제에서는 연속적인 보상을 쓸 수도 있지만, 이진 채점에서는 오답을 통과시키는 경우와 정답을 탈락시키는 경우를 모두 살펴야 한다. [37:49]
- 지시문의 각 요구사항에는 대응하는 검사가 있어야 하고, 검사에도 지시문상의 근거가 있어야 한다. 그래야 에이전트가 명시된 요구를 모두 충족했을 때 만점을 기대할 수 있다. [38:09]
20. 보상 해킹을 줄이려면 실행 환경과 채점 기준을 함께 점검해야 한다
- 보상 해킹은 에이전트가 과제의 기대 결과를 달성하지 않고도 점수를 받는 현상이다. 모델의 능력이 높아지면서 방지 작업도 계속될 가능성이 크며, 과제 작성자가 직접 점검할 부분은 해당 과제에서 목표와 보상이 어긋나는 조건이다. [40:26]
- Harbor는 에이전트가 만든 산출물을 별도의 검증 환경에서 채점할 수 있다. 이렇게 하면 실행 중 남은 프로세스가 채점에 간섭하는 일을 막을 수 있지만, 산출물 자체가 코드인 경우에는 검증 환경에도 보호 조치가 필요하다. [41:27]
21. 실행 가능한 기준 풀이로 환경과 채점을 함께 시험한다
- 모든 벤치마크에 기준 풀이가 필수인 것은 아니지만, 에이전트와 비슷한 방식으로 환경 안에서 과제를 수행하는 풀이가 있으면 환경 설정과 검증기가 함께 작동하는지 확인할 수 있다. [42:25]
- 고전 화성학 과제에서는 완성된 음표열을 기준 답으로 고정하지 않았다. 기준 풀이 프로그램이 음 조합을 시도하고 화성 규칙을 어기면 앞부분으로 돌아가 다시 작곡하므로, 실제 환경에서 곡을 생성하고 규칙 준수 여부까지 검사할 수 있다. [43:29]
22. 평가 인프라의 속도는 자원 한도와 재현성에 달려 있다
- 에이전트의 출력에는 이미 변동성이 있다. 인프라까지 불안정하면 결과 차이의 원인을 가리기 어려워지므로, 반복 실행에서 인프라가 더하는 변동을 줄여야 한다. [44:21]
- 서로 독립적인 시행은 병렬로 실행할 수 있다. 다만 토큰 사용 한도, 가용 샌드박스 수, 컨테이너 레지스트리에 접근할 수 있는 빈도가 실제 병렬 처리 규모를 제한한다. [45:02]
23. 같은 과제 형식과 실행 엔진을 평가와 학습에 활용한다
- 에이전트 학습용 과제와 시험용 과제는 같은 형식을 쓸 수 있다. 강연에 따르면 Terminal-Bench의 Harbor 과제 형식은 모델 개발사에 공급되는 학습 과제에도 쓰이며, 평가 시행과 학습용 실행 기록을 만드는 서버는 비슷한 인프라 문제를 안고 있다. [46:25]
- Harbor에서는 과제를 고정한 채 모델, 에이전트, 샌드박스, 사용 가능한 스킬을 바꿔 실행할 수 있다. 같은 실행 엔진을 성능 평가와 최적화, 새 과제의 품질 검사에 활용한다. [47:09]
24. 공개 전 품질 검사는 설정과 채점 기준, 실제 행동을 모두 다룬다
- 에이전트 과제는 유지보수가 필요한 소프트웨어다. Terminal-Bench는 여러 과제에서 반복해서 발견한 오류를 공통 검사 항목으로 만들고, 정적 분석으로 잘못된 설정을 찾는다. [48:18]
- 지시문의 요구사항이 실제 검사와 대응하는지는 문장의 의미까지 판단해야 한다. 기준 풀이와 최신 에이전트를 실행하고 과제의 결함을 찾기 위한 시험도 진행한 뒤, 시행 기록에서 과제가 의도와 다르게 동작한 지점을 찾는다. [49:03]
25. 실행 기록은 에이전트가 실제로 막힌 이유를 보여 준다
- 오라클 에이전트는 미리 작성한 기준 풀이 스크립트를 그대로 실행한다. 이와 별도로 모델에 주는 힌트를 줄여 가며 성공에 필요한 최소한의 단서를 찾으면, 과제의 어느 부분이 어려운지 짐작할 수 있다. [49:43]
- 정적 검사와 요구사항 검토는 실패나 경고를 직접 반환한다. 실제 시행 기록에서는 설치된 패키지 버전이 과제와 호환되지 않는 문제도 드러난다. 이 경우 에이전트를 막은 원인은 설계자가 평가하려던 능력과 무관하다. [51:11]
26. 새 모델의 성공과 실패가 공개 후 채점 오류를 드러낸다
- 더 강한 모델은 이전 모델이 달성하지 못한 단계까지 도달한다. 그 결과 예상 밖의 방식으로 보상을 받는 사례뿐 아니라, 유효한 새 풀이를 검증기가 오답으로 처리하는 사례도 관찰할 수 있다. 두 경우 모두 과제를 수정할 근거가 된다. [52:08]
- 공개 후 여러 환경에서 과제를 반복 실행하면서 과제나 인프라가 간헐적으로 실패하는 조건도 발견할 수 있다. [52:19]
27. 변경의 성격에 따라 재채점과 전체 재실행을 구분한다
- Harbor는 과제의 변경 내용을 버전에 반영한다. 검증기의 채점 오류만 수정했다면 기존 시행의 산출물을 다시 채점해, 비용이 큰 에이전트 실행을 생략할 수 있다. [53:09]
- 오라클 풀이를 고쳐도 기존 에이전트 시행은 영향을 받지 않는다. 반면 지시문이나 환경을 실질적으로 바꾸거나 제공 데이터와 도구를 변경하면, 에이전트가 마주하는 조건이 달라지므로 시행 전체를 다시 실행해야 한다. [53:38]
28. 모델 간 비교를 위해 과거 성적과 개별 시행 기록을 공개한다
- Terminal-Bench는 벤치마크 변경을 일정한 주기로 배포하고, 변경 후에는 리더보드를 가능한 한 빨리 갱신한다. 이전 모델의 결과도 보존해 새 모델이 나왔을 때 비교할 수 있게 한다. [54:45]
- Terminal-Bench 웹사이트에서는 종합 점수에서 개별 시행으로 들어가 보상과 에이전트의 전체 행동 기록을 확인할 수 있다. 소요 시간과 비용 통계, 평가 인프라와 에이전트 실행 도구의 로그도 함께 제공한다. [56:10]
29. 오프라인 자동 평가는 개선 결과를 빠르게 확인하는 데 적합하다
- 운영 중인 에이전트의 실행 기록을 살피는 온라인 평가도 가능하다. 실제 사용 상황을 관찰할 수 있지만, 개별 결과의 정오를 판단할 신호가 항상 있는 것은 아니다. [56:54]
- 사람이 직접 평가하는 방식은 규모를 늘리기 어렵다. Harbor와 Terminal-Bench가 집중하는 오프라인 자동 평가는 에이전트를 수정한 뒤 같은 과제를 다시 실행해 개선 여부를 빠르게 확인하는 데 목적이 있다. [57:19]
30. 모의 사용자와의 대화를 평가하려면 사용자 모델도 검증해야 한다
- 처음부터 모든 정보를 주기 어려운 업무는 에이전트가 사용자에게 추가 정보를 묻는 상호작용을 환경에 포함할 수 있다. Harbor에서는 사용자 역할의 에이전트가 ACP를 통해 평가 대상과 대화하도록 구성할 수 있고, 여러 컨테이너를 연결해 더 복잡한 환경도 만들 수 있다. [58:53]
- 사용자 역할을 모델에 맡기면 모델 심사기를 쓸 때처럼 결과가 달라질 요인이 하나 더 생긴다. 모의 사용자를 별도로 평가하는 방안도 있지만, 어떤 평가가 적절할지는 분명하지 않다. [59:42]
31. SWE-bench와 Terminal-Bench가 측정하는 역량
- SWE-bench의 모든 과제는 Terminal-Bench 형식으로 표현할 수 있다. 반대 방향으로는 일부 과제만 표현할 수 있다. [1:00:22]
- SWE-bench는 소프트웨어 엔지니어링에 집중한다. 에이전트가 실제 코드베이스의 큰 파일을 다루면서 문맥에 더 많은 토큰을 쓰는 경향이 있다는 설명이다. Terminal-Bench는 데이터 과학, 소프트웨어 엔지니어링, 디버깅, 시스템 인프라까지 포괄하지만 실제 데이터에서 직접 가져온 과제는 상대적으로 적다. [1:00:54]
32. 현실적인 작업 환경을 구성하는 두 가지 방식
- 개인 노트북에서 일하는 능력을 평가하려면 바탕 화면과 다운로드 폴더에 파일이 흩어져 있고 같은 자료의 여러 버전이 섞여 있는 상태를 재현할 수 있다. [1:01:52]
- 기업 운영 환경에서는 에이전트 주변에서 여러 서비스가 함께 돌아간다는 점이 중요하다. Harbor는 과제마다 임의의 파일 시스템을 담을 수 있고, Docker Compose로 여러 컨테이너에 나뉜 마이크로서비스를 구성할 수 있다. [1:02:55]
33. 분야별 전문가가 설계하는 평가와 Harbor의 역할
- 특정 과제가 측정하려는 역량을 제대로 반영하는지는 그 업무를 깊이 이해하는 사람이 판단해야 한다. Terminal-Bench 팀은 모든 분야의 과제를 직접 만드는 방식으로는 규모를 키우기 어렵다고 보고, 전문가가 자기 업무에 맞는 과제를 만들 수 있도록 Harbor 개발에 집중했다. [1:04:22]
- Harbor는 과제 작성 오류를 점검하고, 에이전트가 과제의 취지를 벗어나 점수만 얻는 행동을 억제하는 실행 환경을 제공한다. 여러 과제를 병렬로 실행하고 결과를 분석하는 일도 지원한다. [1:04:45]
34. 작은 단위 테스트의 가치와 차기 버전의 확장 방향
- 현재 과제는 특정 역량을 가능한 한 작고 저렴한 단위 테스트로 확인하도록 설계했다. 10년 뒤에는 지금의 과제가 오늘날의 문장 감성 분류만큼 단순해 보일 수도 있다는 전망이다. [1:06:30]
- 현재 과제가 표본으로 삼은 컴퓨터 업무의 범위는 좁다. 차기 버전에서는 업무 종류를 늘리는 방향과, 작업 환경을 더 복잡하게 만들고 더 긴 과정에 걸쳐 목표를 달성하는 과제를 넣는 방향을 함께 검토하고 있다. [1:07:09]
35. 과제의 범용성과 구현 품질에 집중한 동기
- 아이디어가 익숙하더라도, 과제를 얼마나 범용적으로 표현할 수 있는지와 얼마나 정교하게 구현하는지처럼 사용자가 중요하게 여기는 한두 측면에서 기존 기준을 끌어올리면 연구 공동체에 기여할 수 있다는 판단이었다. [1:08:19]
- 한 연구자에게는 앞선 Kprize 경험이 Terminal-Bench에 참여할 배경이 됐고, 함께 일할 동료들도 참여 동기였다. [1:08:37]
36. 실제 업무 관찰에서 오프라인 평가를 만들 때의 난점
- 치과 접수 직원의 컴퓨터 작업처럼 정답을 명시하기 어려운 업무도 관찰을 통해 과제 지시문을 얻을 수 있다. 다만 화면 녹화만 있는지, 파일 시스템을 복사할 수 있는지에 따라 복원할 수 있는 작업 환경의 범위가 달라진다. [1:10:24]
- 성공이나 실패를 한 번 관찰하면 판정 사례 하나를 얻는다. 신뢰할 만한 검증기를 만들려면 여러 가능한 결과를 고려해 어디까지 성공으로 인정할지 정해야 한다. 합성 데이터로 사례를 늘리는 시도에도 아직 어려움이 있다. [1:10:49]
37. 총점과 함께 전체 실행 기록을 공개할 이유
- 연구진은 전체 실행 기록 공개를 가장 바람직한 방식으로 봤다. 실제로 Terminal-Bench 결과를 살펴본 커뮤니티 참여자들은 에이전트가 과제의 취지를 벗어나 점수를 얻은 사례를 찾았고, 한 참여자는 모델별로 생성한 스크립트의 크기를 비교했다. [1:12:47]
- 100점 만점에 60점과 55점이라는 예시는 성능 차이를 한눈에 보여 주지만, 어느 모델이 더 긴 코드를 작성했는지 같은 질문에는 답하기 어렵다. 실행 기록과 산출물을 함께 공개하면 여러 차원의 행동을 총점 하나로 압축한 뒤에도 이런 차이를 다시 조사할 수 있다. [1:13:12]
🧾 결론
- 업무를 평가 과제로 바꾸는 첫 결정은 성공의 의미를 정하는 것이다. 치과 접수 업무라면 무엇을 한 건으로 세고 어떤 상태가 되면 처리를 마쳤다고 볼지 현업 전문가가 정해야 한다.
- 모델을 개선한 뒤 같은 과제를 다시 실행하려면 시작 환경을 재현할 수 있어야 한다. 환경이 안정적일수록 결과가 달라졌을 때 에이전트의 행동에서 원인을 찾기 쉽다.
- 벤치마크는 공개 뒤에도 수정필요가 있다. 더 강한 모델이 새로운 풀이를 내면 과거에는 드러나지 않았던 채점 오류를 발견할 수 있고, 보존한 실행 기록으로 당시 판정을 다시 살펴볼 수 있다.
📈 투자·시사 포인트
- 모델 도입을 검토할 때는 리더보드에서 자사 업무와 비슷한 과제를 골라 성공 여부와 시간·비용을 함께 볼 수 있다. 점수가 비슷한 후보들도 어떤 단계에서 막히고 얼마의 자원을 쓰는지는 다를 수 있다.
- 개발진은 강의 시점에 Terminal-Bench 실행이 700만 회를 넘었다고 밝혔다. 용도에는 출시 모델 비교, 학습 중간 점검, 모델을 둘러싼 실행 시스템 평가가 포함됐다. 평가 인프라를 어디에 활용하는지 보여 주는 수치다.
- 평가 비용은 무엇을 고쳤는지에 따라 달라진다. Harbor에서는 채점 오류만 수정했다면 기존 산출물을 다시 채점할 수 있다. 지시문이나 작업 환경이 실질적으로 바뀌었다면 새 조건에서 에이전트를 다시 실행해야 한다.
⚠️ 불확실하거나 확인이 필요한 부분
- 개발진은 현재 과제가 컴퓨터 업무의 좁은 범위를 표본으로 삼는다고 설명했다. 특정 조직의 장시간 업무에서도 같은 성능이 나오는지는 해당 업무를 반영한 과제로 확인해야 한다.
- 주관적 산출물을 언어 모델이 채점하거나 모델이 사용자 역할을 맡으면 결과가 달라질 요인이 늘어난다. 특히 모의 사용자가 실제 사용자처럼 행동하는지 판단할 기준은 강의에서도 열린 문제로 남았다.
- 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
- 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
- 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.
✅ 액션 아이템
- 자동화하려는 업무 한 건을 골라 현업 담당자와 시작 상태, 완료 상태, 성공으로 인정할 결과의 범위를 적는다.
- 각 요구사항에 대응하는 검사를 짝짓고, 기준 풀이와 미완성 산출물을 각각 채점해 통과와 실패가 의도대로 나오는지 확인한다.
- 같은 과제를 격리된 환경에서 반복 실행한다. 실패한 시도는 행동 기록과 환경 로그를 함께 읽어 에이전트가 판단을 잘못했는지, 실행 조건 때문에 막혔는지 확인한다.
❓ 열린 질문
- 여러 서비스가 함께 돌아가고 작업도 오래 이어지는 환경에서, 작고 저렴한 과제로 확인한 역량은 어디까지 유지될까?
- 치과 접수처럼 여러 결과를 성공으로 인정할 수 있는 업무에서, 검증기가 타당한 풀이를 놓치지 않는지 판단하려면 어떤 사례를 더 관찰해야 할까?