제미나이 만든 사람은 무슨 생각 할까 (제프 딘)

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

제미나이 만든 사람은 무슨 생각 할까 (제프 딘)를 중심으로, Discovery Loop의 핵심은 복잡한 과학·공학 문제를 하위 문제로 나누고, 구현·실험·평가·피드백의 반복 과정을 머신러닝과를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. Discovery Loop의 핵심은 복잡한 과학·공학 문제를 하위 문제로 나누고, 구현·실험·평가·피드백의 반복 과정을 머신러닝과 에이전트로 자동화하는 것이다.
2. Mixture of Experts는 토큰마다 필요한 전문가만 활성화함으로써 큰 모델 용량과 낮은 계산비용을 결합했고, 장기적으로 중요한 기술을 판별할 때 압도적인 연산 대비 품질 차이가 강한 신호가 될 수 있음을 보여준다.
3. TensorFlow는 모델의 수학적 표현과 하드웨어 실행을 분리하고 구현체를 공개함으로써 분산 시스템의 복잡성을 흡수했으며, 연구의 재현성과 접근성 및 확산 속도를 높였다.
4. Gemini는 분산된 조직과 자원을 결집해 처음부터 멀티모달 모델로 설계됐고, 코딩 능력 강화가 문제를 하위 단계로 분해하는 일반 추론 능력의 향상으로도 이어질 수 있음을 드러냈다.
5. 유망한 장기 과제는 모든 해법이 이미 보이는 문제가 아니라 일부 요소는 해결 가능하면서 나머지에는 새로운 돌파구가 필요한 문제이며, 일차 원리와 근사 계산으로 가능성·비용·위험을 빠르게 구분해야 한다.

🧩 배경과 문제 정의

• 과학·공학의 복잡한 문제는 하위 문제 분해, 해결책 구현, 실험 평가, 피드백 반영이 반복되는 구조를 가지며, AI는 이 순환을 자동화하고 가속할 잠재력이 있다.
• 대규모 분산 시스템부터 TensorFlow와 Gemini까지 이어진 기술적 선택은 모델의 성능뿐 아니라 확장성, 접근성, 멀티모달 능력까지 좌우했다.
• AI의 영향력이 커질수록 유망한 장기 과제를 판별하는 방법, 공격과 방어에 모두 쓰이는 기술을 관리하는 방법, AI가 AI를 개선하는 재귀적 발전의 범위를 함께 고민해야 한다.

🕒 시간순 섹션별 상세정리

1. 과학·공학의 반복 구조와 Discovery Loop

• 현대 과학·공학의 대형 문제는 여러 하위 문제로 분해한 뒤 해결책을 구현하고, 실험 결과를 평가해 다음 시도에 반영하는 공통 구조를 가진다. [00:46]
• Discovery Loop는 머신러닝 기반 과학·공학을 자동화해 여러 분야의 발견 속도를 높이며, 초기에는 좁은 분야에 집중하면서 재사용 가능한 공통 인프라를 구축하려 한다. [01:01]

2. 제프 딘의 기술적 여정과 AI의 새로운 질문

• 제프 딘은 1999년 Google에 합류한 뒤 MapReduce, Bigtable, TensorFlow, Google Brain 등 현대 컴퓨팅과 AI의 기반이 된 시스템 구축에 참여했다. [02:59]
• 대형 플랫폼으로 이동하는 연구자와 대형 플랫폼을 떠나 창업하는 연구자의 대비는 조직 규모보다 새롭게 탐색할 문제의 가치가 더 중요하다는 관점으로 계속된다. [05:02]

3. 초기 Mixture of Experts 연구의 출발

• 2017년 ICLR은 수백 명 규모였고 신경 프로그램 합성의 일반화 연구가 최우수 논문상을 받았으며, 당시 LLM 기반 코드 생성보다 앞선 문제를 다뤘다. [07:05]
• 같은 시기 등장한 희소 게이트 Mixture of Experts는 훗날 다수의 프런티어 AI 모델을 떠받치는 핵심 아키텍처로 확장됐다. [08:10]

4. 큰 용량과 낮은 계산비용을 결합한 MoE

• MoE는 많은 정보를 담는 대규모 모델을 유지하면서도 요청이나 토큰마다 가장 유용한 전문가 모듈만 활성화해 계산량과 에너지 사용을 줄인다. [08:48]
• 희소 전문가 구조는 당시 주류였던 밀집 모델보다 학습 연산 대비 품질이 약 10배 높았고, 이 차이가 기술의 장기적 중요성을 판단하는 강한 근거가 됐다. [09:40]

5. 규모 확장이 바꾼 딥러닝의 성능

• 2011~2012년 기존보다 약 50배 큰 신경망을 학습하자 이미지 분류 오류가 크게 감소했고, 음성 인식에서는 이전 20년간의 연구에 맞먹는 개선이 나타났다. [10:46]
• 원시 데이터에서 직접 학습하는 딥러닝은 컴퓨터 비전, 언어 처리, 음성 인식마다 분리돼 있던 기법을 하나의 일반적 학습 패러다임으로 통합했다. [11:38]

6. TensorFlow가 분리한 모델과 하드웨어

• Google 내부 시스템 DistBelief는 신경망 계산을 CPU와 GPU에 배치하고, 수백 대의 컴퓨터나 GPU에 걸친 분산 실행을 사용자 대신 처리했다. [13:48]
• TensorFlow는 연구자가 모델의 수학적 구조에 집중하고 실제 하드웨어 매핑과 고속 실행은 프레임워크에 맡길 수 있도록 추상화 계층을 제공했다. [14:22]

7. 계산 그래프와 오픈소스가 만든 접근성

• 행렬 곱셈과 벡터 연산을 계산 그래프로 조합하는 방식은 다양한 머신러닝 모델을 공통 표현으로 다루면서 실행 환경을 유연하게 바꿀 수 있게 했다. [14:43]
• 논문과 구현체가 함께 공개되면 생략된 세부 사항을 각 연구자가 다시 추측할 필요가 줄어들고, 연구 결과의 재현과 확산 속도가 빨라진다. [15:17]

8. 분산된 연구 조직을 Gemini로 결집

• Gemini는 기존 DeepMind, Google Brain, Google Research에서 병렬로 진행하던 모델 확장과 멀티모달 연구가 유사한 방향으로 수렴하면서 시작됐다. [16:53]
• 인력과 아이디어, 컴퓨팅 자원을 하나로 모아 처음부터 멀티모달인 단일 모델을 학습하자는 결정이 조직 간 중복을 줄이고 협업 기반을 만들었다. [17:23]

9. 처음부터 멀티모달로 설계한 Gemini

• 범용 모델은 텍스트·언어·코드뿐 아니라 이미지·영상·음성과 LiDAR 같은 추가 데이터까지 이해해야 하며, 초기 학습부터 여러 모달리티를 포함해야 후속 확장이 쉬워진다. [18:11]
• 초기 Gemini는 다양한 능력을 고르게 확보하는 과정에서 코딩 역량이 뒤처졌지만, 코딩을 강화하면 복잡한 문제를 하위 단계로 분해하는 일반 추론 능력도 함께 향상된다. [18:46]

10. 폭넓은 탐색으로 연결 가능한 아이디어 찾기

• 유망 기술을 찾으려면 여러 연구 주제와 추세를 지속적으로 추적하고, 서로 떨어져 있던 아이디어를 하나의 문제 해결 구조로 연결할 수 있어야 한다. [20:32]
• 논문 한 편을 정독하는 것보다 논문 10편이나 초록 100개를 훑는 방식이 가능성의 지도를 넓히고, 아직 연결되지 않은 연구 방향을 발견하는 데 유리할 수 있다. [20:49]

11. 장기 연구과제의 적절한 위험 수준

• 약 5년 규모의 과제는 일부 핵심 요소가 해결되기 시작했으면서도 나머지 요소에는 새로운 기법이 필요해, 실현 가능성과 혁신성을 함께 확보할 수 있다. [21:39]
• 해결 방법이 전혀 보이지 않는 20년짜리 문제는 위험이 지나치게 크고, 절차가 명확한 2년짜리 문제는 실용적 가치가 있어도 분야를 크게 바꿀 가능성은 낮다. [22:10]

12. 일차 원리와 근사 계산의 역할

• 데이터 처리 시간과 네트워크 전송량을 대략 계산하면 가능한 해결책과 불가능한 해결책을 빠르게 구분할 수 있으며, 10초와 100년의 차이는 설계 방향을 완전히 바꾼다. [22:40]
• 여러 접근법의 비용과 성능을 머릿속에서 비교하고 약 10배의 차이를 판별하는 능력은 반복 연습과 다른 사람의 문제 해결 사례를 통해 축적된다. [23:18]

13. AI의 사회적 효용과 보안의 양면성

• AI는 의료와 교육을 발전시키고 개인이 혼자 해결하기 어려웠던 문제를 다룰 수 있게 해 생산성과 역량을 넓히며, 전체 활용의 대다수는 긍정적일 가능성이 크다. [25:22]
• 같은 모델이 보안 취약점을 찾아 패치할 수도 있고 악의적으로 악용할 수도 있어, 공격자와 방어자 모두 이전보다 정교한 도구를 갖게 된다. [25:51]

14. 머신러닝이 머신러닝을 개선하는 순환

• 머신러닝으로 머신러닝을 개선하는 발상은 새로운 개념이 아니며, 신경망 아키텍처 탐색은 모델 생성 모델이 후보 구조를 만들고 성능을 평가하는 초기 사례다. [28:08]
• 후보 아키텍처는 학습 속도, 학습 연산비용, 최종 품질 같은 여러 지표로 평가되며, 이 결과가 다음 구조를 선택하는 피드백으로 돌아간다. [28:20]

15. 효율적인 Transformer와 재귀적 자동화의 범위

• 초기 탐색은 작은 모델로 아키텍처의 효과를 저렴하게 검증하고, 가능성이 높은 후보만 규모를 키워 성능이 유지되는지 확인하는 방식으로 계산비용을 통제했다. [29:11]
• Evolved Transformer는 기본 Transformer 구성요소를 진화 알고리즘으로 재조합하고 변형해, 표준 구조보다 약 30% 효율적인 아키텍처를 찾아냈다. [29:30]

16. 과학·공학을 자동화된 반복 과정으로 전환

• 데이터 구성, 평가 방식, 모델 아키텍처를 각각 자동으로 개선하고 그 결과를 결합하면 모델의 전반적인 품질까지 높일 수 있다. [30:02]
• 복잡한 문제를 하위 문제로 나눈 뒤 접근법을 구현·평가하고, 그 피드백으로 다음 실험을 결정하는 구조는 과학적 방법과 공학 설계의 공통 원리다. [30:36]

17. Discovery Loop의 목표와 다분야 전문성

• 공익법인 Discovery Loop는 머신러닝 기반 과학·공학 자동화로 여러 분야의 발견 속도를 높이되, 초기에는 좁은 분야에 집중하고 공통 인프라와 기법을 확장하려 한다. [31:20]
• 여러 과학·공학 분야를 이해하는 모델은 한 사람이 갖기 어려운 20개 분야 수준의 박사급 전문성을 결합할 수 있다. [31:51]

18. 실험 속도와 품질을 동시에 높이는 인프라

• 실험 구현과 평가 도구를 개선하면 하루나 일주일 걸리던 반복 주기를 1분이나 1시간으로 줄일 수 있다. [32:25]
• 수천 개의 실험을 병렬로 수행한 피드백이 다음 실험 선택에 반영되면 실행 속도뿐 아니라 실험 자체의 품질도 높아진다. [32:46]

19. 장기 협업팀과 공익법인의 배포 원칙

• 공동창업자들은 14~30년간 함께 일하며 MapReduce, Bigtable, Spanner, TensorFlow, 모델 증류와 아키텍처 등 다양한 기술을 공동 개발해 왔다. [33:29]
• 공익법인이라는 구조 아래 과학적 발견을 가능한 한 널리 배포하며, 회사의 재무적 이익보다 사회 전체의 이익을 우선하는 결정도 감수한다. [34:04]

20. 구글을 떠난 이유와 메타를 선택한 배경

• 구글의 자원과 인재로도 가능한 일을 왜 스타트업에서 하려는지, 제미나이가 경쟁 모델을 따라잡기 위해 무엇이 필요한지를 묻는 질문이 제기됐다. [35:03]
• 구글의 동료와 제미나이 계획에 대한 신뢰는 유지되지만, 모든 구성원이 하나의 임무에 집중하는 작은 회사가 과학·공학 자동화를 추진하기에 더 적합하다는 판단이다. [35:59]

21. 클라우드가 바꾼 스타트업의 경쟁 조건

• 데이터, 분산 시스템, 막대한 자본 지출 때문에 대기업이 AI 산업을 지배해야 한다는 통념과 달리 인재와 최전선 연구가 스타트업으로 이동하는 이유가 쟁점이 됐다. [38:16]
• 클라우드의 대규모 머신러닝 컴퓨팅 자원을 이용하면 소수 인원이 직접 인프라를 구축하지 않고도 자본을 조달해 새로운 비전과 기술 방향을 실험할 수 있다. [39:13]

🧾 결론

• AI의 실질적 가치는 모델 자체의 벤치마크보다 의료·과학·교육처럼 현실의 복잡한 문제에서 반복 실험과 발견을 얼마나 가속하는지로 평가해야 한다.
• 자동화된 과학·공학은 단일 모델만으로 완성되지 않으며, 데이터 구성·평가·아키텍처·실험 실행·자원 배분을 하나의 피드백 순환으로 연결하는 공통 인프라가 필요하다.
• 재귀적 자기개선의 핵심은 AI가 자신을 무제한으로 바꾸는 추상적 개념보다, 후보를 만들고 여러 지표로 평가한 뒤 더 나은 설계를 선택하는 검증 가능한 반복 과정에 있다.
• 장기 혁신은 폭넓은 연구 탐색, 약 10배 수준의 차이를 판별하는 기술적 판단력, 실패를 감수한 실험, 점진적 개선과 새로운 접근법의 균형에서 나온다.

📈 투자·시사 포인트

• 모델 규모뿐 아니라 실험 시간을 단축하고 수천 개의 후보를 병렬 평가할 수 있게 하는 클라우드 컴퓨팅, 분산 실행, 평가 도구와 과학 자동화 인프라의 전략적 가치가 커질 수 있다.
• MoE처럼 모델 용량을 유지하면서 활성 연산과 에너지 사용을 줄이는 구조는 AI 서비스의 품질뿐 아니라 비용 효율성과 확장성을 좌우하는 핵심 기술 축이 될 가능성이 있다.
• 소수의 전문 인력이 클라우드 자원과 공통 프레임워크를 이용해 대규모 실험을 수행할 수 있으므로, 대기업의 자본·배포력과 스타트업의 집중력·독립적 문제 선택이 서로 다른 경쟁 우위로 작동할 수 있다.
• 의료·교육·보안처럼 사회적 파급력이 큰 분야에서는 기술 성능만이 아니라 배포 범위, 공익성, 공격과 방어의 양면성을 관리하는 제도적 역량도 성과를 결정하는 요소가 된다.

⚠️ 불확실하거나 확인이 필요한 부분

• 희소 전문가 구조의 학습 연산 대비 품질이 약 10배 높았다는 수치는 당시 비교 대상과 실험 조건에 관한 설명이 제한적이므로, 현재 모델과 비용 구조에 그대로 적용하기 전에 원 논문과 평가 기준을 확인해야 한다.
• Evolved Transformer가 표준 구조보다 약 30% 효율적이었다는 결과 역시 사용된 모델 규모, 데이터셋, 효율성 지표와 후속 대규모 모델에서의 재현 여부를 별도로 검토해야 한다.
• Discovery Loop가 여러 분야에서 발견 속도와 실험 품질을 동시에 높일 것이라는 전망은 목표와 설계 원칙 중심으로 제시됐으며, 구체적인 분야별 성과와 외부 검증 결과는 이 자료만으로 판단하기 어렵다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 검토 중인 AI 프로젝트를 문제 분해, 후보 생성, 구현, 평가, 피드백, 다음 실험 선택의 순환으로 도식화하고 자동화할 수 있는 병목을 찾는다.
• 모델이나 인프라 후보를 비교할 때 최종 품질뿐 아니라 학습 속도, 연산비용, 에너지 사용, 실험 반복 시간과 확장성을 함께 기록한다.
• 장기 연구과제의 핵심 요소를 나열한 뒤 이미 해결 가능한 요소와 새로운 돌파구가 필요한 요소를 구분해 실현 가능성과 혁신성을 평가한다.
• 데이터 처리량, 네트워크 전송량, 예상 실행 시간과 비용을 근사 계산해 실행 불가능한 설계를 본격적인 개발 전에 제외한다.

❓ 열린 질문

• 자동화된 발견 시스템이 생성한 실험과 결론의 신뢰성을 독립적으로 검증하고, 잘못된 피드백이 반복 과정 전체를 오염시키는 것을 어떻게 막을 수 있을까?
• 후보 실험의 기대 가치와 컴퓨팅 비용을 함께 평가할 때 단기 성과가 불확실한 기초 연구를 과도하게 배제하지 않으려면 어떤 기준이 필요할까?
• 여러 분야의 전문성을 결합한 모델과 멀티에이전트 시스템에서 분야 간 충돌, 책임 소재와 최종 의사결정 권한은 어떻게 설계해야 할까?