How Third Moment Research runs 10,000 agents for 36+ hours

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Third Moment Research는 Codex와 GPT-6 계열 모델로 10,000개 에이전트가 36~48시간 연구하는 자기 개선형 AI 시스템을 운영하며, 실행 효율·과업 지속성·보안을 개선하고 수십만 협업 에이전트로의 확장을 추진한다.

📌 핵심 요약

• Third Moment Research는 에이전트의 행동에서 반복되는 약점을 찾아 수천 개의 합성 시나리오를 자동 생성하고, 이를 에이전트 개선에 사용하는 과정을 반복한다. Codex, GPT-6 Astra, GPT-6 Sol, GPT-6.1 Sol은 10,000개 에이전트의 동시 실행과 36~48시간에 걸친 연구를 지원한다.
• 정량 금융 연구에서 Codex와 당시 최신 모델 GPT-5.6은 백테스트 병목을 분석하고 캐싱 및 메모리 패킹을 적용해 실행 시간을 약 3시간에서 약 3~5분으로 줄였다. 대기 중 반복 상태 확인으로 발생하던 토큰 낭비와 컨텍스트 오염도 감소했다.
• Third Moment는 Docker 환경의 Codex 하네스에 1테라바이트 데이터와 연구 도구를 제공한다. GPT-6 Sol 또는 GPT-6.1 Sol 기반 외부 하네스는 미완료 작업의 실행 기록을 살펴 재시도·종료·사람의 검토 요청을 판단하며, 최신 모델들은 하위 에이전트와 수백 개의 병렬 실험을 통해 원인을 탐구한다.
• 공동창업자 Jeffrey Yan에 따르면 GPT-6.1 Sol은 GPT-6 Astra와 유사한 성능을 내면서 가장 적은 토큰으로 과업을 완료해 현재 가장 많이 사용된다. 출력의 정확성을 유지하면서 실행 시간을 줄이는 벤치마크에서는 Adam Khakhar에 따르면 GPT-6 Astra가 가장 큰 속도 향상을 보였고, 팀은 GPT-6 Luna도 시험하고 있다.
• Third Moment는 시뮬레이션 실행 전 Daybreak로 연구 환경 탈출과 더 넓은 네트워크 접근 가능성을 자동 검사한다. 향후 수십만 협업 하위 에이전트, 수조 개 토큰, 수십 개의 의존적 실험을 연결해 새로운 문제에 맞춰 에이전트를 자율적으로 개선할 계획이다.

🧩 주요 포인트

1. 백테스트 병목 제거 → 약 3시간이던 대기를 약 3~5분으로 줄여 토큰과 컨텍스트를 후속 실험에 더 많이 사용할 수 있게 했다.
2. Codex 하네스와 외부 하네스의 결합 → 실험 수행과 미완료 작업에 대한 재시도·종료·사람의 검토 판단을 함께 지원해 장시간 연구의 지속성을 보완한다.
3. GPT-6.1 Sol의 토큰 효율, GPT-6 Astra의 속도 향상, Daybreak의 보안 검사 → 모델별 장점과 환경 검증이 대규모 자율 연구를 운영하고 확장하는 주요 요소로 제시된다.

🧠 상세 정리

1. 반복되는 약점을 학습하는 시스템과 백테스트 개선

Third Moment Research는 기업마다 업무 흐름과 도구, 예외 상황, 성공 기준이 다르므로 에이전트도 특정 업무에 능숙하고 사용될수록 개선되어야 한다고 본다. 이를 위해 OpenAI의 최신 모델로 에이전트 행동과 반복되는 약점을 분석하고, 관련 합성 시나리오 수천 개를 자동 생성해 개선에 활용하는 순환 구조를 구축하고 있다. 초기 적용 분야인 정량 금융에서는 성공을 비교적 명확히 측정할 수 있어 에이전트의 수행 방식과 한계를 연구하기에 적합하다고 설명한다. 한 사례에서 Codex와 당시 최신 모델 GPT-5.6은 수천 개의 시뮬레이션 실행 기록, 타임스탬프, 코드베이스를 분석해 미국 주식의 1년치 주문 단위 데이터를 백테스트하는 동안 에이전트가 완료 여부를 반복 확인하는 병목을 발견했다. Codex는 프로파일링과 입력·사용 방식 분석을 거쳐 캐싱과 메모리 패킹을 실험하고 수정 사항을 프로덕션에 배포해 실행 시간을 약 3시간에서 약 3~5분으로 줄였다. 그 결과 상태 확인에 쓰이던 토큰과 컨텍스트 오염이 줄어 추가 실험에 사용할 토큰 예산이 늘어났다.

2. 장시간 연구를 이어 가는 하네스 구성

Third Moment는 정량 연구용 Docker 환경 안에서 기본 Codex 하네스를 실행하며, 에이전트에 1테라바이트 데이터와 문서, 연구 저장소를 제공한다. 저장소에는 피처 엔지니어링, GPU 지원 모델 학습, 거래 전략, 시뮬레이션 모듈이 포함되고, GPT-6 Astra·GPT-6 Sol·GPT-6.1 Sol이 추론을 담당한다. Codex 하네스는 도구 실행, 계획 작성, 목표 설정, 하위 에이전트 생성, 컨텍스트 압축을 지원한다. 과업을 끝내기 전에 멈추는 문제에는 Codex를 GPT-6 Sol 또는 GPT-6.1 Sol 기반 외부 하네스의 하위 에이전트로 두고, 미완료 실행 기록을 분석해 재시도·작업 종료·사람의 검토 요청을 결정하는 방식으로 대응한다. 에이전트는 엔지니어들이 만든 기준 거래 시스템을 역사적 데이터로 시험하고 개선이 의미 있는지 잡음인지 평가한 뒤 다음 실험을 선택하며, 공동창업자 Adam Khakhar는 이 작업이 기준 시스템을 개선했다고 말한다. 회사는 이러한 구성으로 10,000개 에이전트를 동시에 실행해 36~48시간 연구하며, Adam은 GPT-6.1 Sol이 단일 세션에서 여러 날의 계산 연구 흐름을 일관되게 유지할 수 있다고 평가한다.

3. 지시된 실험에서 병렬 원인 탐구로의 발전

Adam에 따르면 GPT-5.5 이전 모델은 사용자가 지정한 실험을 실행하는 수준에 머물렀다. GPT-5.5와 GPT-5.6은 Codex 하네스와 함께 실험 결과를 바탕으로 후속 실험을 설계할 수 있었으며, GPT-6 Astra·GPT-6 Sol·GPT-6.1 Sol은 하위 에이전트와 수백 개의 실험을 병렬로 수행하며 근본 원인을 탐구하는 단계로 발전했다. Third Moment는 이러한 변화가 연구팀이 미처 예상하지 못한 방향을 탐색하는 데 도움이 되었다고 설명한다. 한 세션에서 GPT-6.1 Sol은 특정 거래소에서 비공개 거래가 예상보다 큰 거래량 비중을 차지한다는 점과 그 영향을 찾아냈다. Adam은 이를 연구팀이 처음에는 고려하지 않았던 비자명한 결과로 소개했지만, 원문은 해당 발견의 구체적인 수익이나 정량적 효과를 제시하지 않는다.

4. 성능·토큰 효율·추론 비용에 따른 모델 선택

Third Moment는 최적화, 머신러닝 시스템, 정량 연구에서 모델을 평가하며, 최첨단 모델 출시 때 최고 추론 설정으로 저장소 탐색, 효율적인 코드 작성, 연구 지속 능력을 시험한다. 현재 시험 대상에는 GPT-6 Luna도 포함되며, 공동창업자 Jeffrey Yan은 GPT-6.1 Sol이 GPT-6 Astra와 유사한 성능을 가장 적은 토큰으로 제공해 가장 많이 사용된다고 말한다. 한 벤치마크는 실시간 점수판 서비스의 출력을 유지하면서 갱신 지연을 줄이는 과제로, 정확성을 충족한 해법에 대해 동일 하드웨어에서 전문가 해법의 평균 실행 시간을 모델 해법의 평균 실행 시간으로 나눠 속도 향상을 측정한다. Adam에 따르면 이 평가에서는 GPT-6 Astra가 가장 큰 속도 향상을 보였다. 시뮬레이션 시스템의 특정 보안 약점을 확인하는 등 범위가 좁은 작업에는 GPT-5.6 Terra처럼 더 효율적인 모델을 사용한다. 반면 Adam은 정량 금융에서 흥미로운 신호를 발견하는 가치가 매우 높으므로 심층 연구에는 더 강한 추론의 높은 비용이 정당화될 수 있다고 본다.

5. Daybreak를 활용한 연구 환경 보안 검사

10,000개 에이전트가 자율적으로 실행되는 상황에서 Third Moment는 연구 환경의 보안을 같은 규모로 검사할 방법이 필요하다고 설명한다. 팀은 시뮬레이션을 시작하기 전에 Daybreak 사이버보안 플랫폼으로 검사를 자동화하며, 에이전트가 연구 환경을 벗어나 더 넓은 네트워크에 접근할 수 있는지 확인한다. Adam은 에이전트 자체가 시뮬레이션에 대한 침투 테스트를 수행하고 인프라와 보안을 시험하도록 Daybreak를 활용한다고 말한다. 그는 Daybreak 없이는 이러한 규모의 자율적 검사가 불가능했을 것이라고 평가하며, 원문은 이 도구를 대규모 연구 환경의 보안을 검증하는 수단으로 제시한다.

6. 수십만 협업 에이전트와 업무별 자율 개선 구상

Third Moment의 목표는 정량 금융을 넘어 기업이 일상적으로 수행하는 전문 업무로 확장된다. 원문은 소매업의 재고 부족·공급업체 지연에 따른 공급망 의사결정, 엔지니어링 팀의 대규모 코드베이스 성능 병목 탐색, 문서 중심 기업의 약속과 실제 결과 간 불일치 식별을 적용 가능 사례로 든다. 회사는 GPT-6 Astra·GPT-6 Sol·GPT-6.1 Sol의 추론 능력을 바탕으로 개별 연구에서 수십만 개의 협업 하위 에이전트로 확장할 계획이다. 구상에는 수조 개 토큰으로 수십 개의 의존 관계가 있는 실험을 연결하고, 새로운 문제가 나타나면 연구 결과를 이용해 에이전트를 자율적으로 개선한다는 목표가 포함된다. Adam은 이를 통해 사람이 연구를 직접 수행하기보다 연구 방법과 연구 자체의 최적화를 설계하는 데 더 큰 역량을 발휘할 수 있다고 전망하며, 이러한 확장은 현재 달성된 규모가 아닌 향후 계획으로 제시된다.

🧾 핵심 주장 / 시사점

• 백테스트 사례는 에이전트의 효율이 모델의 추론 능력뿐 아니라 실행 환경의 대기 시간에도 좌우됨을 보여준다. 환경 병목을 줄이면 상태 확인에 소모되던 토큰과 컨텍스트를 연구에 돌릴 수 있다.
• 장시간 자율 연구에는 실험을 수행하는 능력과 중단된 과업의 처리 방식을 판단하는 능력이 함께 필요하다. Third Moment의 외부 하네스는 이러한 판단에 재시도와 종료뿐 아니라 사람의 검토도 포함한다.
• 원문은 모든 작업에 하나의 모델을 적용하기보다 토큰 효율, 속도 향상, 과업의 범위와 발견의 가치를 고려하는 운영 방식을 제시한다. 다만 성능 비교와 연구 성과는 회사 관계자의 설명 및 소개된 평가 범위에 한정된다.

✅ 액션 아이템

• Codex의 백테스트 단축 사례를 바탕으로 연구 환경의 실행 시간과 반복 상태 확인에 따른 토큰 낭비를 함께 검토.
• GPT-6.1 Sol과 GPT-6 Astra의 과업 성능 및 토큰 효율을 비교해 장시간 연구에 사용할 모델 선택을 검토.
• 10,000개 에이전트에서 수십만 협업 하위 에이전트로 확장할 때 Daybreak 보안 검사의 적용 가능성을 검토.

❓ 열린 질문

• 백테스트를 약 3시간에서 약 3~5분으로 줄인 최적화는 다른 연구 작업에서도 유사한 토큰 절감 효과를 내는가?
• GPT-6.1 Sol의 토큰 효율과 GPT-6 Astra의 속도 향상을 고려할 때 과업별 모델 선택 기준은 무엇인가?
• Daybreak의 연구 환경 탈출 및 네트워크 접근 검사는 수십만 협업 하위 에이전트 규모에서도 적용 가능한가?