A Model For Everyone: How Ronak From Trajectory Is Building Products For Continual Learning

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Trajectory의 Ronak은 학습·평가·배포를 통합한 모델 맞춤화 제품을 통해, 누구나 실제 사용 경험으로 에이전트를 개선하는 지속 학습의 기반을 만들고 있다.

📌 핵심 요점

1. 현재의 모델 맞춤화와 궁극적인 지속 학습은 단계가 다르다. 첫 목표는 기업이 모델을 쉽게 학습하고 수정하도록 만드는 것이다. 매번의 사용 경험이 다음 판단에 반영되는 지속 학습은 장기적인 지향점이다.
2. 핵심 제품은 학습·평가·배포를 연결하는 순환이다. 운영 중 실행 기록과 사용자 피드백을 수집하고, 좋은 결과의 기준을 정해 학습한 뒤, 평가와 재배포를 거쳐 새로운 기록을 모은다.
3. 기업의 전문성을 학습 신호로 바꾸는 과정이 병목이다. 실행 기록 수집, 실행 환경 재현, 학습 스택이 필요하다. 대표 기록 100개에 작성한 루브릭을 메타 평가자로 확장하고, 같은 과업의 반복 실행을 줄이는 ‘그룹 크기 1’ 학습도 추진한다.
4. Harvey와 Rogo 사례는 전문화의 가능성을 보여준다. Harvey 관련 평가에서는 공개 모델 정확도가 약 4%에서 18%로 개선됐다고 한다. Rogo는 금융 업무에서 더 적은 토큰과 비용으로 원하는 결과를 내는 모델을 추구한다. 두 사례 모두 발표된 성과의 평가 조건을 함께 확인해야 한다.
5. 성과의 단위는 토큰보다 완료한 과업이다. 실제 업무의 실행 궤적을 학습 경험으로 활용하고, 반복 업무의 속도·비용·안정성을 높이는 것이 목표다. 장기적으로는 하네스 최적화까지 확장하되, 인간이 학습 방향과 과업 기준을 정하는 구조를 지향한다.

🧩 배경과 문제 정의

• 현재 AI 에이전트는 지능적인 작업을 수행하지만, 실제 사용 경험을 지속적으로 축적해 학습하기보다 대규모 배치 업데이트에 의존한다.
• 기업은 업무 전문성, 사용자 피드백, 운영 데이터를 보유하고도 이를 모델 개선으로 전환하기 어렵다. 자체 모델 학습에는 연구 인력·컴퓨팅·시간이 필요하고, 학습 환경과 보상 기준을 만드는 부담도 크다.
• Trajectory는 학습·평가·배포를 통합해 기업별 모델 맞춤화를 쉽게 만들고, 장기적으로는 인간과의 상호작용을 통해 계속 개선되는 에이전트를 지향한다.

🕒 시간순 섹션별 상세정리

1. 학습·평가·배포를 연결하는 제품 철학

• Trajectory의 제품 철학은 서로 분리된 기능을 하나의 사용 경험으로 결합하는 데 있다. 학습·평가·배포를 한곳에 모아 누구나 쉽게 모델을 개선하도록 만드는 것이 핵심이다 [00:27]
• 개선한 모델을 운영 환경에 다시 배포하고 새로운 실행 기록을 수집하면 학습의 순환이 닫힌다. 이러한 방식이 조만간 모든 기업에 확산될 것이라는 전망을 제시한다 [00:42]

2. 배치 업데이트를 넘어 경험마다 배우는 지속 학습

• 인간은 경험하는 동안 계속 학습하고 갱신하지만, 현재 에이전트는 경로를 바꾸려면 오프라인 지도를 다시 받아야 하는 상황과 비슷하다. 지능적인 판단 능력과 경험을 즉시 반영하는 능력 사이에 간극이 있다 [01:18]
• Trajectory의 첫 목표는 누구나 모델을 학습하고 맞춤화할 수 있도록 접근성을 높이는 것이다. 이는 여전히 오프라인 방식이지만 직접 경로를 설정할 수 있게 된 MapQuest에 비유된다 [02:14]

3. 아키텍처 발전과 현장 요구를 잇는 계층

• 가중치 내부의 빠른 기억과 느린 기억, 멀리 떨어진 계층을 잇는 연결 등 기본 모델의 구조 변화가 이미 진행 중이며, 이러한 변화가 지속 학습의 중요한 구성 요소가 될 것으로 본다 [03:33]
• 실제 제품의 가치는 구조적 연구 성과를 현장 사용과 연결할 때 생긴다. 기업이 생각하는 ‘좋은 결과’를 구체적인 모델 성능 개선으로 바꾸는 계층이 현재의 핵심 공백이다 [04:04]

4. 대규모 연구 조직의 작업을 반복 가능한 제품으로 전환

• Windsurf에서 프런티어 모델을 학습하기까지 수억 달러 규모의 연구개발·컴퓨팅 투자와 대규모 연구팀이 필요했고, 기간도 6~9개월 걸렸다. 여러 기업이 같은 작업을 반복한다면, 필요한 조절 요소만 드러내고 나머지를 감추는 제품으로 만들 수 있다는 판단이다 [05:06]
• 창업팀은 Windsurf의 수정·재시도 기록, Gemini 로보틱스의 현장 경험, Apple Vision Pro 관련 아티스트 피드백을 모델 개선에 활용하는 문제를 각자 경험했다. 공통 과제는 현실의 피드백을 학습 신호로 바꾸는 일이었다 [06:07]

5. Harvey의 법률 전문성을 맞춤 모델에 반영

• Harvey는 폐쇄형 프런티어 모델 위에 법률 제품을 구축했지만, 법률사무소의 요구와 도메인 전문성이 담긴 데이터를 모델 자체의 차별화에 활용하는 데 한계가 있었다. 전문가 지식을 법률 에이전트 벤치마크와 학습 기준으로 전환하면 모델의 발전 방향을 직접 정할 수 있다 [07:39]
• Trajectory를 통한 학습으로 해당 평가에서 공개 모델의 정확도가 약 4%에서 약 18%로 올랐다고 한다. 프런티어 모델보다 6배 저렴한 비용은 같은 작업에 더 많은 토큰을 사용할 여지를 주지만, 성능에는 여전히 큰 개선 여지가 있다 [08:30]

6. 토큰 대신 경제적 가치가 있는 작업을 단위로 삼기

• 사람의 업무를 발화한 단어 수로 평가하지 않듯, 에이전트의 작업 단위도 토큰보다 하나의 과업이나 실행 궤적인 ‘trajectory’가 되어야 한다는 관점이다 [09:02]
• 강화학습에서 trajectory는 롤아웃에 해당한다. 지속 학습에서는 실제 서비스의 추론이 롤아웃 엔진 역할을 하고, 현실에서 수행한 경제적 가치가 있는 작업이 학습 경험이 된다 [09:24]

7. 실행 기록·재현 환경·학습 스택의 세 가지 기반

• 첫 기반은 운영 중 발생하는 실행 기록이다. 주 에이전트 호출뿐 아니라 하위 에이전트, 제품 내 활동, 사용자 피드백까지 하나의 시간선으로 연결해야 한다. 기업은 이를 자체 구축하거나 기존 관측 도구를 활용한다 [10:50]
• 두 번째는 기록을 평가와 학습에 다시 사용할 수 있도록 재현하는 기능이다. Trajectory는 실행 기록과 Dockerfile 또는 시스템 요구사항 같은 환경 정보를 받아 해당 실행을 재현하는 과정을 단순화한다 [11:51]

8. 같은 환경의 반복 실행을 줄이는 ‘그룹 크기 1’ 학습

• 현재 입력에는 실행 기록·보상·환경 정보가 필요하지만, 운영 환경을 정확히 복제하는 데 수작업이 많이 들고 완벽한 재현이 불가능한 경우도 있다. 법률이나 투자은행 업무에는 명확하게 검증 가능한 보상이 없는 경우도 많다 [13:08]
• GRPO는 같은 과업을 8회나 16회 수행한 결과를 하나의 그룹으로 비교하는 방식이다. 반면 인간은 같은 환경을 반복 재현하지 않고도 한 번의 경험에서 배우므로, 그룹 크기를 1로 줄이는 방향을 연구한다 [13:44]

9. 대표 사례의 평가 기준을 전체 데이터로 확장

• 실행 기록 1만 개 각각에 보상을 붙이는 작업은 가능하지만 노동이 많이 든다. 목표는 ‘좋은 결과’에 대한 판단을 전달하는 데 필요한 시간을 줄이는 것이다 [14:57]
• 전체를 대표하는 기록 100개를 선별해 고객이 상세한 루브릭이나 검증 기준을 작성하고, 이를 학습한 메타 평가자가 나머지 기록으로 평가 기준을 확장하도록 한다 [15:24]

10. 클릭 한 번의 학습에서 평가·배포까지 연결

• 공개한 플랫폼은 에이전트 실행 기록과 좋은 결과의 기준을 받아 간단한 프롬프트와 클릭 한 번으로 모델을 학습하고, 같은 공간에서 평가와 배포까지 수행하도록 구성됐다 [16:22]
• 학습·평가·배포가 연결되면 개선된 모델을 운영 환경에 올린 뒤 새 기록을 수집하는 순환이 쉬워진다. 이 통합된 사용 경험이 기업의 모델 맞춤화를 확산시킬 것이라는 기대다 [17:19]

11. 맞춤 모델의 효율성과 하네스의 새 기능을 함께 추구

• 현재 주요 고객은 에이전트 하네스를 이미 구축한 AI 네이티브 기업이다. Harvey와 Rogo, Nvidia 같은 기업이 플랫폼을 사용하며, 기존 에이전트의 핵심인 모델을 쉽게 수정하는 데 초점을 둔다 [17:42]
• 맞춤 모델은 반복해서 경험한 작업을 더 빠르고 저렴하며 안정적으로 수행하게 한다. 하네스는 새로운 기능을 가능하게 하므로, 향후에는 모델뿐 아니라 하위 에이전트 구성 등 하네스 최적화까지 확장하려 한다 [18:08]

12. Rogo의 목표는 간결하고 효율적인 금융 에이전트

• Rogo는 요청을 받고 장황한 답을 돌려주는 에이전트보다, 필요한 금융 업무를 자율적으로 수행하고 간결하고 명확하게 결과를 전달하는 에이전트를 원한다 [19:04]
• 같은 과업을 더 적은 자원으로 수행하는 ‘지능 밀도’가 중요한 기준이다. Rogo는 보유 데이터를 활용해 토큰 효율이 몇 배 높고 더 저렴하고 빠르면서, 자체적으로 중요하게 보는 평가에서도 개선되는 모델을 학습했다고 한다 [19:46]

13. 자율 학습에 필요한 호기심과 상태 전이의 이해

• 현재 모델은 과업을 수행해도 현실에 대한 경험을 축적하지 못한다는 진단이다. 인간처럼 직접 탐색하고 반복 경험으로 판단 기준을 형성하려면, 자율적인 지속 학습에 호기심이 필요하다고 본다 [20:24]
• 마르코프 의사결정 과정에서는 세계를 상태와 행동으로 표현한다. 공을 들고 있는 상태에서 던지는 행동을 했을 때 어디에 도달하는지처럼, 행동이 상태를 어떻게 바꾸는지에 대한 전이 함수가 중요하다. 현재 LLM에는 이를 명시적으로 표현하는 방식이 부족하다는 주장이다 [21:41]

14. 인간과의 상호작용을 학습 방향의 기준으로 유지

• 재귀적 자기개선과 지속 학습은 모두 경험을 통해 에이전트가 개선된다는 점에서 가깝다. 다만 모델을 스스로를 개선하는 AI 연구자로 만드는 접근에는 인간의 이익과 정렬되는지에 대한 우려가 따른다 [23:07]
• 지향하는 지속 학습은 인간과 상호작용한 경험을 배우고, 인간이 설정한 과업을 더 잘 수행하는 방식이다. 알고리즘에 인간의 참여를 유지하는 구조가 필요하다는 입장이다 [23:52]

15. 연구 코드의 운영화와 제품·연구 조직의 결합

• Trajectory는 실제 경험에서 학습하도록 강화학습 알고리즘을 수정하는 연구 역량과, 이를 간결한 인터페이스로 제공하는 제품 역량을 함께 요구한다. 모델 연구 경험과 대규모 인프라·디자인 경험을 가진 인력을 결합한다 [24:31]
• 학습 코드도 운영 가능한 형태로 구축해 마이크로서비스, Kubernetes, 자동 확장을 적용하고 학습기와 롤아웃 엔진의 각 부분을 확장한다. 디자인 엔지니어도 직접 학습을 실행하며 연구자의 사용 경험을 이해한다 [25:19]

16. 제품 제작자는 스스로 성장하는 시스템의 방향을 정한다

• 제품 제작자의 역할은 현실의 실행 기록과 경험이 제품 개선으로 이어지도록 만드는 것이다. 모델 개선에서 시작해 하네스까지 개선 대상이 넓어지면, AI 네이티브 기업에서는 제품과 회사의 상당 부분이 그 순환에 포함될 수 있다는 전망이다 [26:14]
• 이러한 미래에서 제품 제작자는 식물이 자랄 방향을 지지대로 잡아주는 정원사에 비유된다. 제품이 사용자 경험을 통해 스스로 성장하도록 하면서, 제작자의 판단과 취향으로 성장 방향을 설정하는 역할이다 [26:55]

17. 사용자 경험과 모델 지능을 연결하는 생태계

• Google·Amazon·Facebook의 추천과 광고 시스템은 현실의 선호를 받아 사용될수록 개선되는 온라인 학습 구조를 활용해 왔다. Trajectory는 에이전트에도 이런 순환을 만들고, 장기적으로 기업과 개별 사용자의 요구에 맞춰지는 거대한 추천 시스템 같은 구조를 지향한다 [27:35]
• 이를 실현하려면 Trajectory뿐 아니라 샌드박스와 학습 기반을 제공하는 여러 기업이 함께 발전해야 한다. Modal이 인프라 일부를 지원하며, 이러한 생태계 위에서 제품 인터페이스를 발전시키는 데 큰 기회가 있다는 판단이다 [28:31]

18. 범용 AI 의존에서 경험에 기반한 전문화로 전환

• 1700년대 장인이 전체 작업을 수행하던 방식과 대비해, 풍요를 이루려면 전문화가 필요하다는 논리다. 잦은 맥락 전환을 줄이고 경험이 쌓인 작업에 집중하는 것이 핵심이다. [30:00]
• 현재 AI 활용은 모두가 같은 일을 반복하고 하나의 기술적 오라클에 의존한다는 점에서 산업혁명 이전이나 수렵·채집 사회에 비유된다. [30:24]

19. 수작업 자동화와 축적된 경험의 학습으로 AI 도입 확대

• 기업의 AI 도입률이 1%에 불과하다는 진단 아래, 여전히 수작업인 많은 업무를 자동화할 여지가 있다고 본다. 실제 운영에 투입되는 에이전트들을 통해 지능을 높일 수 있다는 가능성도 제시한다. [30:59]
• AI 도입률을 1%에서 99%로 높이는 것이 목표다. 이를 통해 세상에 이미 축적된 경험으로부터 학습할 수 있는 상태를 지향한다. [31:15]

🧾 결론

• Trajectory의 제품적 가치는 기업이 보유한 경험을 모델 개선으로 연결하는 과정을 단순화하는 데 있다.
• 통합 플랫폼은 맞춤 모델 학습의 접근성을 높이지만, 실행 환경 재현과 보상 기준 설정의 어려움까지 모두 해결한 것은 아니다.
• 지속 학습의 완성도는 학습 실행의 편의성뿐 아니라, 개선 결과를 검증하고 운영에 반영하는 순환이 얼마나 잘 작동하는지에 달려 있다.

📈 투자·시사 포인트

• 전문 데이터의 활용 능력: 법률·금융처럼 업무 기준이 뚜렷한 영역에서는 축적된 경험을 평가 기준과 학습 신호로 전환하는 역량을 살펴볼 필요가 있다.
• 과업 기준의 경제성: 토큰 단가와 함께 과업 완료 비용, 성공률, 응답 속도를 비교해야 한다. 학습과 평가에 드는 비용까지 포함해야 맞춤 모델의 효율을 판단할 수 있다.
• 통합 제품과 기반 인프라: 실행 기록, 재현 환경, 학습, 배포를 연결하는 제품과 이를 지원하는 샌드박스·컴퓨팅 생태계가 함께 기회를 형성한다는 관점이다.
• 미래 구상과 현재 실적의 구분: 작업의 10%를 프런티어 모델에, 90%를 자체 학습 모델에 맡기는 구성은 미래 예시다. 현재 고객의 실제 운영 비율이나 수익성으로 해석해서는 안 된다.

⚠️ 불확실하거나 확인이 필요한 부분

• Harvey 관련 정확도 약 4%→18%와 프런티어 모델 대비 ‘6배 저렴한 비용’은 발표된 주장이다. 평가 데이터, 비교 모델, 비용 산정 범위가 제시된 자료만으로는 충분히 확인되지 않으며, 정확도 18%에는 여전히 큰 개선 여지가 있다.
• ‘그룹 크기 1’ 학습과 메타 평가자의 일반화 범위는 불명확하다. 반복 실행 환경의 필요성을 줄이는 연구 방향과 실제 운영 환경에서 검증된 적용 범위를 구분해야 한다.
• 현재 제공하는 오프라인 모델 맞춤화를 매번의 경험을 즉시 반영하는 자율적 지속 학습과 동일시하면 안 된다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 반복 빈도가 높고 결과를 평가할 수 있는 업무 하나를 골라, 현재 모델의 성공률·과업당 비용·처리 시간을 기준선으로 기록한다.
• 주 에이전트와 하위 에이전트의 실행 기록, 사용자 피드백, 환경 정보를 연결해 학습에 활용할 수 있는지 점검한다.
• 대표 실행 기록에 전문가가 좋은 결과의 기준을 작성하고, 메타 평가자가 다른 기록에서도 같은 기준을 적용하는지 검증한다.
• 맞춤 모델과 기존 모델을 동일한 과업으로 비교하고, 학습·평가·배포 비용을 포함해 운영상 이득을 계산한다.

❓ 열린 질문

• 명확한 정답이나 검증 가능한 보상이 없는 업무에서는 누구의 판단을 어떤 방식으로 학습 기준에 반영할 것인가?
• 개별 경험에서 얻은 개선이 다른 과업의 성능을 해치지 않는다는 점을 어떻게 평가할 것인가?
• 모델과 하네스가 함께 개선되는 구조에서 인간은 학습 방향을 얼마나 자주, 어떤 인터페이스로 조정해야 하는가?