🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Harvey가 제한된 예산으로 연구소를 구축한 핵심은 모든 역량을 직접 소유하는 대신, 현실적인 법률 벤치마크를 중심으로 합성 데이터·오픈소스 모델·외부 연구 파트너·프로덕션 서빙을 하나의 검증 체계로 연결한 데 있다.

📌 핵심 요점

1. Harvey는 프런티어 연구소와 자본·인재·컴퓨팅으로 정면 승부하지 않고, 고객의 실제 법률 업무를 재현하는 벤치마크와 평가 인프라를 연구의 출발점으로 삼았다.
2. 고객의 기밀·특권 정보는 모델 학습에 직접 사용할 수 없기 때문에, 법률 전문가가 평가 루브릭과 문제 조건을 먼저 설계하고 이를 충족하는 계약서·데이터룸을 역으로 생성하는 합성 데이터 전략을 택했다.
3. Kimi·GLM·NeMo-Megatron 같은 기반 모델에 법률 업무 데이터를 포스트트레이닝하고, Fireworks·Trajectory 등 외부 파트너의 인프라와 학습 역량을 활용해 내부 연구 조직의 비용과 채용 부담을 낮췄다.
4. 모델 성능은 벤치마크 점수만으로 판단하지 않고, 사람의 비교 평가와 제품별 사용자 여정 테스트를 거친 뒤 비용·지연 시간·지역별 가용성·SLA까지 결합해 배포 여부를 결정한다.
5. 장기 목표는 하나의 최고 법률 모델을 만드는 것이 아니라, 각 로펌과 기업이 업무 유형에 맞는 모델을 선택·맞춤화하고 인간과 AI 에이전트가 대규모 프로젝트를 함께 운영하도록 지원하는 것이다.

🧩 배경과 문제 정의

• 애플리케이션 기업은 자본·인재·컴퓨팅 인프라·데이터 측면에서 프런티어 연구소보다 구조적으로 불리하다. 따라서 연구 역량을 모두 자체 구축해 정면으로 경쟁하기보다, 외부 연구 생태계와 오픈소스 자원을 선택적으로 활용해야 한다.
• 법률 서비스는 고객의 기밀·특권 정보에 의존하지만, 실제 고객 데이터를 범용 모델이나 자체 모델의 학습에 직접 사용할 수 없다. 실제 법률 업무를 재현하면서도 기밀을 침해하지 않는 벤치마크와 전문가 주도 합성 데이터가 필요한 이유다.
• 강력해진 오픈소스 기반 모델을 특정 업무에 맞게 포스트트레이닝하면 제한된 영역에서 프런티어급 성능을 노릴 수 있다. 다만 이를 실제 제품 가치로 연결하려면 평가, 데이터 생성, 포스트트레이닝, 모델 라우팅, 프로덕션 서빙, 운영 중 품질 관리를 하나의 체계로 구축해야 한다.

🕒 시간순 섹션별 상세정리

1. 애플리케이션 기업의 구조적 열세와 생태계 활용 전략

• 프런티어 연구소는 애플리케이션 기업보다 훨씬 많은 자금·인재·컴퓨팅 인프라·데이터를 보유하고 있어, 동일한 방식으로 연구 경쟁을 시작하면 애플리케이션 기업이 구조적으로 불리하다. [01:06]
• Harvey 창업 초기에는 활용할 수 있는 관련 기업과 도구가 부족했기 때문에 필요한 요소를 직접 구축하거나, 연구보다 시장 진출 조직과 제품 개발에 역량을 집중해야 했다. [01:27]

2. 법률 업무를 측정하는 벤치마크와 대규모 데이터셋

• 좋은 벤치마크가 없으면 모델의 성능과 개선 방향을 제대로 측정할 수 없고, 학습할 모델이 없다면 자체 프로덕션 서빙도 필요하지 않으므로 평가 기준 구축이 연구의 출발점이 된다. [02:04]
• Legal Agent Bench는 대형 로펌의 어소시에이트가 수행하는 업무를 분류하며, 여러 법률 분야에 걸친 펀드 설립 문서 작성과 판례 조사 같은 복잡한 과제를 포함한다. [02:34]

3. 기밀 데이터 제약을 해결하는 전문가 주도 합성 데이터

• 대형 로펌과 기업의 법률 데이터는 민감하고 법적 특권이 적용되기 때문에 범용 모델은 물론 Harvey 자체 모델의 학습에도 직접 사용할 수 없다. [03:25]
• 법률 도메인 전문가가 코딩 모델을 활용하고 합성 데이터 생성 과정을 지휘하면, 고객 기밀을 포함하지 않으면서 실제 업무와 유사한 학습·평가 데이터를 만들 수 있다. [04:05]

4. 오픈소스 모델과 외부 연구소를 활용한 포스트트레이닝

• 과거에는 사전학습 모델의 성능 향상 속도가 너무 빨라 포스트트레이닝으로 얻은 개선이 곧 차세대 기반 모델에 흡수됐지만, 강력한 오픈소스 모델이 등장하면서 추가 학습의 효용이 커졌다. [06:12]
• 영상에서는 Kimi·GLM·NeMo-Megatron 등을 특정 업무 데이터로 포스트트레이닝하면, 범용 지능 전체가 아니라 법률처럼 범위가 명확한 과제에서 프런티어 모델과 경쟁할 수 있다고 보여준다. [06:29]

5. 다국가·다제품 환경의 모델 서빙 복잡성

• 포스트트레이닝을 마친 모델도 실제 서비스에 안정적으로 배치하려면 별도의 프로덕션 서빙 체계가 필요하며, 단일 모델 엔드포인트를 호출하는 구조만으로는 충분하지 않다. [09:07]
• 60개국의 운영 지역, 여러 제품 영역, 고객별 모델 선호가 결합되면서 각 지역과 제품에 적합한 모델 조합을 관리해야 하는 복잡한 서빙 행렬이 형성된다. [09:28]

6. 배포 전 평가와 운영 중 품질 관리

• 오픈소스·폐쇄형·자체 포스트트레이닝 모델을 가리지 않고 새 모델의 배포 여부와 배포 후 유지 여부를 판단할 수 있는 공통 평가 인프라가 포스트트레이닝보다 먼저 마련돼야 한다. [10:17]
• 배포 전에는 자동화된 법률 벤치마크로 프런티어 수준 도달 여부와 강점 분야를 빠르게 확인하고, 사람이 여러 모델의 응답을 병렬 비교해 전반적인 응답 품질을 검증한다. [10:41]

7. 오픈소스 모델을 제품에 도입하는 단계적 경로

• 인용 생성처럼 최대 규모 모델이 필요하지 않은 기능은 GLM 5.2 같은 오픈소스 모델로 교체해 비용 또는 성능상의 이점을 얻고, 폐쇄형·오픈소스 모델을 함께 서빙하는 역량을 축적할 수 있다. [12:22]
• 기능 전체의 모델을 단순 교체하기 어려운 경우에도 질의 특성에 따라 일부 요청만 오픈소스 모델로 전달하는 단계적 라우팅을 적용할 수 있다. [12:44]

8. 비공개 법률 업무를 합성 데이터셋으로 재구성하는 방법

• 대형 로펌의 M&A 업무에는 인수 대상 기업의 계약서뿐 아니라 협상 이메일과 회의 자료까지 필요하지만, 이러한 입력 데이터는 공개 저장소에서 확보할 수 없다. [15:19]
• 공개된 인수계약서처럼 최종 결과물은 찾을 수 있어도 그 결과를 만든 입력 자료는 없으며, 서로 연결된 계약서가 1만 건에 이를 수 있어 전문가에게 가상의 데이터룸 전체를 직접 만들도록 맡기는 것도 현실적으로 어렵다. [15:51]

9. 초고가 연구 인재 의존도를 낮추는 채용 전략

• Harvey는 창업 초기 프런티어 연구소의 인재를 영입하려 했지만, 영상에서 언급된 1억 달러 이상의 보상 패키지와 경쟁하는 방식은 당시 회사 규모에 적합하지 않았다. [17:37]
• 대형 연구소에서 일하기를 원하지 않는 박사급 인력이 늘어나면서, 직접적인 보상 경쟁을 벌이지 않고도 응용 연구에 필요한 인재를 확보할 가능성이 커졌다. [17:51]

10. 프런티어 모델을 가르는 현실적인 법률 벤치마크

• 루브릭의 우선 목표는 프런티어 모델을 인위적으로 구분하는 어려운 문제를 만드는 것이 아니라, 고객이 실제로 수행하는 법률 업무를 충실하게 재현하는 데 있다. [19:14]
• 최상위 로펌이 다루는 실제 수준의 의뢰와 데이터룸을 구성하는 것만으로도 현재 프런티어 모델이 완수하지 못하는 과제가 남아 있다고 보여준다. [19:27]

11. 제품 전체에서 실패 지점을 찾는 단계별 게이트

• 폐쇄형 모델로 먼저 제품·시장 적합성을 확보하고 수년간 실제 사용 데이터와 운영 모니터링 경험을 축적했기 때문에, 새 모델 자체의 문제와 제품 전체 시스템의 문제를 구분할 기준이 생겼다. [21:19]
• 새 모델을 제품에 교체 투입하는 역량과 하네스 엔지니어링·컨텍스트 관리 체계를 갖추면, 포스트트레이닝 모델도 전체 시스템에 들어가는 하나의 구성요소로 다룰 수 있다. [21:46]

12. 벤치마크 공개와 산업 신뢰 사이의 균형

• 벤치마크를 공개하면 외부 참여와 확산을 얻는 대신 연구소가 해당 평가에 맞춰 모델을 최적화할 수 있고, 비공개로 유지하면 평가 자체의 신뢰성을 의심받을 수 있다. [23:11]
• Harvey는 벤치마크 공개 전부터 연구소와 데이터를 공유했으며, 연구소의 모델 개선이 다시 Harvey 제품의 품질 향상으로 이어지는 협력 관계를 구축했다. [23:29]

13. 오픈소스 실험 생태계와 합성 데이터의 분포 격차

• 프런티어 모델을 둘러싼 생태계가 예상보다 커지면서 새로운 기법을 시험하려는 기업도 늘었지만, 기존 연구 인력만으로 모든 제안을 직접 검증하기는 어려워졌다. [24:04]
• 외부 기업이 오픈소스 데이터셋에서 새로운 기법을 먼저 시험하게 하면, 실제 성과를 근거로 유망한 기술과 투자 대상을 선별할 수 있다. [24:19]

14. 초대형 문맥 처리와 개인정보 보호형 지속 학습

• 최대 규모의 데이터룸은 문맥이 8천만 토큰에 이를 수 있으며, 현재 모델은 이처럼 방대한 정보를 안정적으로 관리하면서 복잡한 실사 업무를 수행하지 못한다고 보여준다. [25:51]
• 자체 사후학습은 진전되고 있지만 최종 과제는 일회성 모델 개선에 머무르지 않고, 실제 업무를 반복할수록 개인정보 보호 원칙 안에서 성능이 높아지는 지속 학습 체계를 만드는 것이다. [26:11]

15. 개인 생산성에서 조직 단위의 법률 업무 운영으로

• 기존 제품과 범용 업무 도구가 개인의 생산성 향상에 집중했다면, Harvey가 제시하는 새로운 제품 방향은 조직 전체의 생산성과 업무 운영을 높이는 데 초점을 둔다. [27:30]
• 대형 법률회사의 핵심 과제는 변호사 한 명의 효율을 높이는 데 그치지 않고, 약 1만 개의 고객 프로젝트를 성공적으로 수행하면서 조직 전체의 수익성까지 유지하는 것이다. [27:51]

🧾 결론

• 제한된 예산의 애플리케이션 기업이 구축해야 할 핵심 자산은 거대한 범용 모델 자체보다, 도메인 업무를 정확히 측정하는 벤치마크와 반복 가능한 평가·배포 체계다.
• 합성 데이터는 기밀 데이터 제약을 우회하고 초기 가능성을 입증하는 수단이지만, 실제 제품 사용 분포와의 차이 때문에 사람의 검증과 운영 데이터에 기반한 지속적인 보완이 필요하다.
• 오픈소스 모델과 외부 연구 생태계는 연구 비용을 낮추지만, 성과를 제품 가치로 전환하려면 포스트트레이닝뿐 아니라 모델 라우팅·장애 대응·지역별 서빙·배포 후 모니터링까지 갖춰야 한다.
• Harvey의 접근은 연구, 제품, 인프라를 분리하지 않고 벤치마크→포스트트레이닝→제품 적용→사용자 반응으로 이어지는 단계별 게이트를 구축했다는 데 의미가 있다.

📈 투자·시사 포인트

• 도메인 AI의 방어력은 모델 규모보다 독점적인 업무 분류 체계, 전문가가 설계한 평가 루브릭, 제품 운영에서 축적한 검증 절차에서 형성될 가능성이 크다.
• 오픈소스 모델 성능이 높아질수록 학습·추론 인프라, 합성 데이터 제작, 전문 평가, 모델 라우팅을 제공하는 기업은 애플리케이션 기업의 외부 연구 조직으로 기능할 수 있다.
• 단일 모델 의존보다 업무·지역·비용·고객 선호에 따라 여러 모델을 조합하는 운영 역량이 중요해지므로, 멀티모델 서빙과 품질 관측 인프라의 전략적 가치가 커질 수 있다.
• 법률 AI의 경쟁 축은 개인 문서 작성 보조에서 조직 단위의 프로젝트 관리, 인력 배분, 청구, 관계자 조율로 이동할 수 있으며, 법률 업무 구조를 깊게 반영한 초수직 제품에 기회가 있다.
• 주요 위험은 합성 데이터와 실제 사용 분포의 격차, 벤치마크 과적합, 초대형 문맥 처리 한계, 고객 데이터 보호와 지속 학습 사이의 충돌이다.
• 별도 검증 필요: 영상에서 언급된 약 8천만 토큰 규모 데이터룸, 60개국 운영, 1억 달러 이상 연구 인재 보상 사례, 개별 모델 버전과 파트너별 연구 성과는 공개 자료와 각 기업의 공식 발표를 통해 확인해야 한다.

⚠️ 불확실하거나 확인이 필요한 부분

• 최대 데이터룸이 약 8천만 토큰이라는 설명은 영상 속 발언에 근거한다. 데이터 구성, 중복 제거 여부, 사용한 토크나이저와 실제 처리 가능한 문맥 범위는 별도 확인이 필요하다. [02:59, 25:51]
• 실사 데이터셋에 LLM 심사 기반 단위 테스트가 1천 개 이상 있다는 주장은 평가 문서나 공개 저장소를 통해 정확한 테스트 수, 루브릭, 채점 신뢰도와 비용을 확인해야 한다. [04:46]
• GLM 5.2를 인용 생성 기능에 적용했다는 사례는 정확한 모델 버전, 프로덕션 적용 범위, 기존 모델 대비 품질·비용·지연 시간 개선 수치가 제시되지 않았다. [12:22]
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• Legal Agent Bench와 실사·계약 데이터셋의 공개 문서 또는 저장소를 찾아 라이선스, 데이터 구성, 평가 루브릭과 재현 가능한 기준선을 확인한다.
• 포스트트레이닝보다 먼저 자동 벤치마크, 사람의 모델 간 비교, 제품별 핵심 사용자 여정 테스트를 연결한 단계별 평가 게이트를 설계한다.
• 고객 기밀·특권 정보, 합성 데이터, 운영 중 사용자 신호를 명확히 분리하고 각각의 수집·보관·학습 허용 범위를 문서화한다.
• 인용 생성처럼 실패 위험이 비교적 제한적인 기능을 선정해 오픈소스 모델 라우팅을 시험하고 품질·비용·지연 시간·지역별 가용성을 함께 측정한다.

❓ 열린 질문

• 고객 데이터를 직접 학습에 사용하지 않으면서도 실제 업무를 거듭할수록 개선되는 지속 학습 체계를 어떤 기술적·운영적 구조로 구현할 수 있을까?
• 합성 데이터가 현재의 실제 업무 분포보다 미래형 업무에 치우치는 문제를 어떻게 측정하고 교정할 수 있을까?
• LLM 심사 기반 평가가 복잡한 법률 업무에서 사람 전문가의 판단과 어느 정도 일치하며, 채점 편향은 어떻게 관리할 수 있을까?