Databricks CEO: Stop Scaring People About AI

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Databricks CEO 알리 고드시는 AI 멸종 공포를 부풀리기보다 실제 증거로 위험을 판단하고, 에이전트 보안과 기업 활용의 구체적인 문제를 해결해야 한다고 주장한다.

📌 핵심 요점

1. 실존적 위험과 사이버 위험을 구분한다. 고드시는 현재 AI의 실존적 위험을 거의 0으로 평가하지만, 이는 개인적 판단이다. 대규모 에이전트가 일으킬 수 있는 침입·장애·경제적 피해는 심각하게 다루며, 보안 감시와 방어 자동화가 필요하다고 본다.
2. 자기개선은 코드 생성량보다 학습 지표로 검증해야 한다. 고드시는 학습 자원의 초선형적 감소, 학습 시간 단축, 성능 향상, 이 개선들의 동시 반복을 확인해야 한다고 제안한다. AI가 개발을 돕거나 수학·코딩에서 높은 성과를 내는 것만으로 초지능을 입증할 수는 없다는 입장이다. 감독에는 다양한 관점을 가진 독립적인 평가자가 필요하다고 본다.
3. 기업 자동화의 병목은 조직 맥락이다. 회의·절차·암묵지를 디지털화하고 사람·프로젝트·자원의 관계를 온톨로지로 정리해야 에이전트가 실제 업무를 수행할 수 있다는 설명이다. Databricks는 공유된 맥락과 Genie를 통해 분석·추가 질문·정보 전달을 지원한다고 소개한다.
4. AI 도입 확대에는 비용 통제와 작업별 모델 선택이 따른다. Databricks는 사용 확대 이후 개인·그룹 예산, 경고, 스마트 라우팅과 하네스 전환을 도입했다. 고드시에 따르면 토큰 사용이 늘어도 비용은 대체로 일정하게 유지됐다. 반복 작업은 특화 모델의 경제성이 있을 수 있지만, 좋은 평가 체계를 만드는 부담이 남는다.
5. 편익과 에이전트용 인프라도 함께 평가해야 한다. 대화는 위기 감지, 인슐린 투여, 혈액 배송, 신약 개발과 임상 분석을 활용 사례로 제시한다. Neon·Lakebase의 빠른 데이터베이스 생성과 브랜칭은 에이전트의 실험을 지원하며, 고드시는 두 제품에서 생성되는 데이터베이스의 90% 이상을 에이전트가 만든다고 밝혔다.

🧩 배경과 문제 정의

• AI 개발 속도와 안전을 둘러싼 논쟁에서 인류 멸종 가능성에 대한 경고가 대중의 불안과 정치적 규제 요구로 확산하고 있다. 알리 고드시의 입장은 현재의 실존적 위험은 거의 없다고 보지만, 사이버보안 위험은 심각하게 다뤄야 한다는 것이다.
• 기업은 경쟁과 투자 회수 압력 때문에 자발적으로 개발 속도를 낮추기 어렵다. 공동 안전 기준이 필요하다는 주장과, 속도 조절보다 구체적인 보안 통제가 핵심이라는 주장이 맞선다.
• 재귀적 자기개선이 초지능으로 이어지는지 판단하려면 AI의 코드 작성 능력뿐 아니라 학습 자원·시간·성능의 변화를 확인해야 한다. 동시에 AI 에이전트의 확산은 보안 대응 자동화와 데이터 분석의 필요성을 높이고 있다.

🕒 시간순 섹션별 상세정리

1. 실존적 위험 경고가 대중에게 미치는 영향

• 고드시는 실제로 충분한 근거가 있다면 위험을 경고해야 하지만, 현재 AI의 실존적 위험은 거의 0에 가깝다고 판단한다. 이런 상황에서 인류 멸종을 강조하면 불필요한 불안과 정신건강상의 피해를 유발할 수 있다는 입장이다 [02:13]
• 기술적 논쟁의 맥락을 모르는 대중에게 ‘인류가 사라질 확률 10%’ 같은 표현을 방송이나 소셜미디어로 전달하는 방식은 해로울 수 있다. 진행자의 가족이 AI 종말에 대비해 물과 피신용 오두막을 준비하려 했다는 사례는 이러한 불안의 확산을 보여준다 [03:19]

2. 규제 요구와 투자 회수 양쪽에 작동하는 정치적 이해관계

• 진행자는 엘리자베스 워런의 AI 개발 중단 주장과 버니 샌더스·스티브 배넌의 움직임을 거론하며, 공포를 자극하는 메시지가 정치권의 개입으로 이어져 당초 의도와 반대되는 결과를 낳을 수 있다고 우려한다 [03:55]
• 고드시는 규제 주장뿐 아니라 기업과 투자자 쪽에도 정치적 이해관계가 있다고 지적한다. IPO와 투자 회수를 위해 논쟁을 억제하려는 압력과, 위험 경고를 정치적으로 활용하려는 움직임이 동시에 존재한다는 것이다 [05:04]

3. ‘속도 조절’이 안전을 보장하는가

• 진행자는 안전·보안과 업계의 자율 규제에는 동의하지만, 이를 ‘속도 조절’로 표현하는 것은 부적절하다고 본다. 무기를 천천히 만들어도 무기라는 비유처럼, 개발 속도와 안전성은 별개의 문제라는 주장이다 [05:39]
• 기업들이 실제로는 개발 경쟁을 지속하고 연산 자원까지 늘리는 상황에서 속도 조절을 내세우면 진정성을 의심받는다. 개발 중단과 차별화하려는 표현도 중단론에 대한 어정쩡한 양보처럼 받아들여질 수 있다 [06:02]

4. 경쟁의 딜레마와 보안 통제에 필요한 시간

• 고드시는 개발 감속을 ‘공유지의 비극’ 문제로 해석한다. 경쟁·IPO·기업 간 적대감이 얽혀 있어 한 기업만 먼저 멈추기 어렵기 때문에, 모두에게 적용되는 외부 제약을 요구할 유인이 생긴다는 것이다 [06:58]
• 허깅페이스·OpenAI 사건에 대해 고드시는 강화학습 실험의 출력을 실시간으로 감시하지 않고 사후에 확인한 점을 문제 삼는다. 진행자는 이를 감속의 필요성보다 기본적인 보안 통제의 부재로 해석한다 [07:47]

5. 안전 메시지의 혼선과 대규모 강화학습의 현실적 위험

• 진행자는 ‘프런티어의 속도를 조절하자’보다 ‘프런티어를 안전하게 만들자’는 메시지가 명확하다고 본다. 속도 조절이라는 표현은 중단론자에게는 부족하고 다른 사람들에게는 실현 의지가 없어 보여, 양쪽 모두를 설득하지 못한다는 비판이다 [10:31]
• 고드시는 가상의 사례로 에이전트 1만 개와 1억 달러를 투입해 한두 달 동안 대규모 강화학습을 수행하면, 수학 문제처럼 보안과 무관한 목표에서도 해킹 등 심각한 사이버 문제가 발생할 수 있다고 본다. 이런 구체적 위험과 인류 멸종 주장을 구분해야 한다는 입장이다 [11:28]

6. 재귀적 자기개선을 판단할 네 가지 조건

• 고드시는 초지능에 가까워지고 있다는 증거를 아직 보지 못했다고 드러낸다. 연구소 내부의 우려가 재귀적 자기개선에서 비롯됐다면, 외부에 알려지지 않은 어떤 결과를 확인했는지 공개할 필요가 있다고 본다 [12:20]
• 위험한 가속을 판단할 조건은 다음 모델의 학습 자원이 소폭이 아니라 초선형적으로 줄고, 학습 시간도 짧아지며, 정확도·지능은 높아지고, 이 세 가지 개선이 동시에 반복되는 것이다 [12:58]

7. 프런티어 학습의 비용과 물리적 제약

• AI가 스스로 코드를 작성해 인간의 역할이 줄어드는 데 대한 불안은, 그것이 곧 초지능으로 이어진다는 주장과 구분해야 한다. 대화에서는 프런티어 모델 학습 비용이 50억~100억 달러 수준이라는 추정과, 6개월 뒤 같은 수준을 재현하는 비용은 약 20분의 1이라는 설명이 함께 나온다 [14:54]
• 고드시에 따르면 각 연구소의 대규모 학습은 연간 한두 차례이고, 다음 모델에는 더 많은 자원·인력·데이터센터가 필요하다. GPU 규모가 커질수록 새로운 오류에 대응해야 하고 실패 비용도 커져, 더 빠르고 저렴한 자기개선이 반복된다는 그림과는 반대 방향이라는 주장이다 [15:50]

8. 자기개선의 증거를 회사 규모로 측정할 수 있는가

• 진행자는 기업이 성장하면서도 인력과 투입 비용이 줄어드는지를 외부에서 관찰할 수 있는 보조 지표로 제안한다. 현재 연구소들이 적극적으로 채용하는 모습은 그런 변화가 뚜렷하지 않다는 근거로 든다 [16:44]
• 고드시는 기업 전체에 비효율이나 부수 사업이 많을 수 있어 총인원만으로 판단하기 어렵다고 반박한다. 실제 사전학습·사후학습 담당 팀의 인력과 작업량, GPU 사용량이 줄고 AI가 그 일을 대신하는지 확인해야 한다는 것이다 [17:44]

9. 과거 컴퓨팅 위험 논쟁이 주는 비교와 한계

• 진행자는 컴퓨터 클러스터와 슈퍼컴퓨터의 발전 당시에도 핵무기 시뮬레이션을 우려한 규제 논쟁이 있었다고 회고한다. 플레이스테이션 수출 통제 사례를 들어, 컴퓨팅 능력의 급증을 위험과 연결하는 논리가 과거에도 반복됐다고 주장한다 [18:35]
• 그 경험만으로 현재 AI의 위험을 결론 내리지는 못한다. 진행자는 이번에도 같은 양상일지, 이번에는 다른지에 대해 답을 갖고 있지 않다고 인정한다 [18:42]

10. 연결된 인프라의 취약성과 아직 관측되지 않은 대규모 피해

• 고드시는 현재의 인프라가 과거보다 훨씬 긴밀하게 연결되고 상호 의존하기 때문에 사이버 위험의 규모가 다르다고 본다. 에이전트가 취약점을 찾아 침입하거나, 확보한 자원에서 자신을 실행하며 바이러스처럼 퍼질 가능성도 제시하되 이번 사건에서 그런 확산이 일어난 것은 아니라고 구분한다 [20:08]
• 진행자는 초기 인터넷 웜이 병원과 핵심 인프라를 마비시키고 수백억 달러의 경제적 피해를 냈던 것과 비교한다. AI에는 막대한 투자와 위험 탐색 노력이 집중됐는데도 그에 상응하는 피해를 아직 보지 못한 이유가 무엇인지 반문한다 [20:57]

11. 인간 중심 보안 운영을 자동화해야 하는 이유

• 고드시는 현재 실존적 위험을 걱정하지는 않지만, 보호해야 할 인프라가 많다고 본다. Databricks의 탐지 제품 Lakewatch를 언급하며, 인간이 공격 속도를 따라가기 어려워 보안 탐지가 에이전트를 활용한 자동화로 전환하고 있다고 보여준다 [21:45]
• 방어 자동화가 늦어지면 사이트 중단이나 시스템 장애, 경제적 손실과 인명 피해가 발생할 수 있다는 전망이다. 이를 인류 멸종과는 구분하면서도 신속한 대응이 필요한 위험으로 평가한다 [22:09]

12. 데이터·AI와 사이버보안 시장의 결합

• 고드시는 기업 내부 에이전트와 다른 에이전트 사이의 상호작용이 대량의 로그와 활동 흔적을 만들면서 데이터·AI와 사이버보안의 경계가 흐려진다고 본다. 분석해야 할 데이터 규모도 불과 한두 해 전보다 여러 자릿수 커졌다는 설명이다 [24:28]
• 고드시에 따르면 공개된 CVE 취약점이 실제 공격에 악용되기까지 걸리는 시간은 2018~2019년에는 2~3년, 2022년에는 8~9개월이었지만 현재는 시간 단위로 짧아졌다. 이런 변화 때문에 데이터·AI 플랫폼을 활용한 자동 대응이 필요하며, 두 시장이 통합될 것이라고 전망한다 [25:11]

13. 공학적 해결과 규제·감속 사이에 남은 질문

• 진행자는 AI 위험을 제품·엔지니어링·서비스로 해결할 수 있다는 입장과, 공학적 해결만으로는 부족해 개발 감속과 규제가 필요하다는 입장을 대비한다. 고드시가 사이버보안 자동화의 필요성을 넘어 AI 위험 전반도 공학적으로 해결할 수 있다고 보는지가 쟁점이다 [25:51]
• 진행자는 해결 가능한 공학 문제인지, 그 이상의 대응이 필요한지 다시 묻는다. 제공된 구간은 고드시가 답변을 시작하는 지점에서 끝나므로 이 질문에 대한 최종 입장은 확인되지 않는다 [26:19]

14. 초지능의 실존적 위험과 에이전트의 사이버 위험은 다르다

• 몇 초 만에 독창적인 박사논문을 쓰거나 수천 년 분량의 사고를 순식간에 수행하는 초지능이 실제로 등장한다면, 단순한 공학 문제를 넘어 실존적 위험이 될 수 있다. 현재 에이전트는 그런 수준과 거리가 멀다는 판단이다 [27:16]
• 현재의 변화는 상당한 능력을 갖춘 에이전트를 대규모로 동원할 수 있다는 데 있다. 보안 연구자나 수학자 역할의 에이전트 1만 개를 협업시키는 식의 작업이 가능해지면서, 문제 해결 능력과 사이버 위험이 함께 커진다 [27:36]

15. 초지능 감독은 실제 데이터와 다양한 평가자가 필요하다

• 연구소에 외부 검사자가 들어가 데이터를 확인하는 방안에는 찬성하지만, 검사자 구성을 특정 입장에 유리하게 짜면 평가의 신뢰성이 약해진다. 관찰 전에 이미 결론을 정한 사람의 판단은 설득력이 낮다 [28:53]
• 초지능 위험에 회의적인 전문가가 내부를 확인한 뒤 기존 판단을 유지하거나 우려하는 쪽으로 바뀌는 것 모두 유용한 신호가 될 수 있다. 서로 다른 관점을 가진 검사자를 선정해야 세밀한 판단을 얻을 수 있다 [29:40]

16. 경쟁 연구소의 상호 평가는 이해충돌을 피하기 어렵다

• 감독 방식으로 제3자 평가, 연구소 간 상호 검증, 개별 기업의 자체 감독이 구분된다. 연구소 간 검증은 과학의 동료평가와 유사한 대안으로 드러난다 [30:08]
• 경쟁사끼리 심판을 맡으면 상대가 좋은 모델을 출시할 때 위험을 과장할 유인이 생긴다. IPO 계획, 경쟁 관계, 기업 간 과거 갈등까지 얽혀 있어 독립적인 제3자가 필요하다는 판단이다 [30:35]

17. 위험 경고에는 진짜 우려와 마케팅 유인이 공존한다

• AI를 실제로 두려워하는 사람과 규제가 자사에 유리하다고 보는 사람이 함께 존재할 수 있다. 위험에 대한 신념과 경제적 이해관계가 당사자에게는 서로 모순 없이 정렬될 수 있다 [31:54]
• 새 모델이 무서울 정도로 강력하다는 표현은 대중의 관심을 끄는 마케팅으로도 작동한다. 동시에 취약점 공개에서 실제 공격용 익스플로잇까지 걸리는 시간이 최근 3~4년 사이 수년에서 수분 수준으로 줄었다는 주장처럼, 사이버 위협 자체도 현실이라는 입장이다 [32:15]

18. 규제의 방향은 열려 있지만 좁은 성과를 초지능으로 오인해서는 안 된다

• 업계 자율 감독과 정부 규제는 제도적으로 연결될 수 있다. 연구소들이 실존적 위험을 주장하면서 직접 규제를 요청한다면, 규제 당국이 계속 개입을 거절하기는 어려울 것이라는 전망이다 [33:51]
• 강한 연방 규제로 귀결될지가 확정된 것은 아니며, 제도를 올바르게 설계할 여지는 아직 있다는 판단이다. 검증 가능한 보상 함수를 가진 수학·프로그래밍 영역에 막대한 자금을 투입해 높은 성과를 얻더라도, 그것만으로 초지능에 도달했다고 볼 수는 없다 [35:01]

19. AI를 개발에 활용하는 것과 재귀적 자기개선은 구분해야 한다

• 시스템의 자기추진적 성질을 연구하는 일은 중요하지만, 복잡한 기술·경제 시스템에서 실제로 나타나지 않은 현상을 나타났다고 오인할 위험도 있다. 연구소의 재귀적 자기개선 집중이 곧 위험의 실현을 뜻하지는 않는다 [36:21]
• AI로 데이터 정제나 GPU 커널 개발을 돕는 것은 기존 기술이 다음 기술의 개발을 촉진하는 자기촉매 효과에 가깝다. 컴퓨터로 컴퓨터를 설계하거나 인터넷으로 원격 협업을 촉진하는 것과 같은 맥락이다 [37:15]

20. 기업 자동화의 병목은 모델 지능보다 조직 맥락이다

• AI가 주변 사람보다 똑똑하다는 평가와 달리, 수백·수천 개 에이전트가 협상하고 협업하며 업무를 자동화하는 기업은 접하기 어렵다는 관찰이다. 실제 활용은 주로 챗봇 검색과 코딩에 머물러 있다 [39:07]
• 모델은 회의 내용, 업무 절차, 직원들의 암묵지를 모르기 때문에 조직 전체의 일을 수행하지 못한다. 현재의 최첨단 모델에 이런 맥락을 제공하는 것만으로도 상당한 생산성 향상을 얻을 수 있다는 판단이다 [40:09]

21. 위기 대응과 의료·배송은 AI의 구체적인 편익을 보여준다

• AI의 실존적 위험과 사이버 비용뿐 아니라 대중이 실제로 얻는 편익도 평가해야 한다. Crisis Text Line은 대규모 언어모델로 청소년의 자해·자살 위험을 감지하는 사례다 [41:24]
• Omnipod는 당뇨 환자의 혈당과 인슐린 관련 패턴을 학습해 인슐린 투여를 자동화하는 사례다. 개인의 신체 상태에 맞춘 자동 조절이 핵심 효용이다 [42:31]

22. 신약 개발과 임상시험 분석은 비용과 시간을 줄일 가능성이 있다

• Merck와 개발한 TEDDY는 다음 언어 토큰 대신 유전자 조절 네트워크의 반응을 예측하는 트랜스포머 기반 모델이다. 원인에 해당하는 세포와 단순히 반응하는 세포를 구분해, 특정 질환을 겨냥한 신약 개발 비용을 줄이는 데 활용할 수 있다는 설명이다 [43:18]
• Novo Nordisk는 임상시험 분석에 Genie를 활용한다. 비만 연구 등에서 통찰을 얻는 시간을 수주에서 수분으로 단축할 수 있다는 사례를 근거로, 이런 AI 활용의 편익도 보존해야 한다는 입장이다 [44:04]

23. 조직 온톨로지는 직원들의 암묵지를 관계 구조로 만드는 작업이다

• 기업이 AI에 맥락을 제공하려면 회의와 업무 내용을 먼저 디지털화하고 수집해야 한다. 그러나 모든 통화를 기록하지 말라는 법무팀의 요구처럼, 정보 수집 단계부터 현실적인 제약이 존재한다 [44:47]
• 온톨로지는 조직의 목표·부서·사람·프로젝트·자원이 무엇을 의미하고 서로 어떻게 연결되는지를 표현한다. 능력이 같은 신입 직원과 5년 근속 직원의 차이는 이런 조직 지식의 축적에 있다는 비유다 [45:34]

24. 매번 자료를 탐색하는 에이전트보다 사전 계산한 맥락 인덱스가 필요하다

• 현재 에이전트는 질문을 받은 뒤 여러 자원과 MCP 서버를 차례로 확인하고 답을 합성한다. 이는 검색할 때마다 웹사이트를 돌아다니며 읽는 방식과 비슷해 비용이 높고 느리며, 전체 자료 중 일부만 확인한다는 한계가 있다 [47:09]
• 검색엔진이 인덱스를 미리 구축하듯, AI도 조직의 맥락을 지속적으로 사전 계산해야 한다. 질문마다 처음부터 탐색하는 부담을 줄이는 것이 온톨로지 구축의 핵심 논리다 [48:07]

25. 공유된 조직 맥락은 보고와 후속 회의의 부담을 줄인다

• Databricks는 수백만 단위의 노드를 가진 자체 온톨로지를 구축했다. 기존 조직에서 정보가 위로 올라가고 의사결정이 다시 아래로 전달되는 과정의 상당 부분을, 맥락을 갖춘 AI가 지원할 수 있다는 판단이다 [49:17]
• AI가 분석과 자료 제시를 수행하고 추가 질문에도 직접 답하면, 담당자가 분석 결과를 설명하고 후속 회의를 여는 부담이 줄어든다. 조직 맥락을 공유한 상태에서 질문과 검증을 반복하는 방식이다 [50:07]

26. Genie의 일상화에도 지식 수집과 생산성 검증은 남는다

• Fortune 500 기업 중 자사 고객 비중을 확인하려고 영업 운영 담당자에게 물었지만, 담당자도 Genie를 조회하려 했다. CFO 역시 Genie 화면을 보내왔다는 일화는 여러 직급이 같은 정보 기반에 직접 접근하는 변화를 보여준다 [51:09]
• 온톨로지는 버튼 하나로 완성되지 않는다. 암묵지를 문서화하는 작업이 선행돼야 하며, Databricks는 수집한 지식으로 그래프를 만들고 이를 에이전트에 제공해 분석·추가 질문·의사결정·조직 내 정보 전달을 지원한다는 설명이다 [52:01]

27. 전사 AI 사용 확대 이후 비용 통제가 핵심 과제로 바뀌었다

• 지난해 4분기 모델 성능과 생산성이 크게 좋아지자 CEO가 직접 AI를 사용해 Databricks의 프로덕션 코드에 기여하고 전사 사용을 독려했다. 사용량 리더보드를 도입한 뒤 1~2월에는 활용이 본격화됐지만, 2~3월에는 토큰 소비 확대가 과도해지는 문제가 나타났다 [54:25]
• 여러 모델의 사용 용량을 제공하던 게이트웨이에 개인·그룹별 예산 제한과 잔여 예산 경고를 추가하고, 분석 기능으로 비용 추이를 예측했다. 예산이 부족하거나 질문이 단순하면 더 저렴한 모델을 선택하는 스마트 라우터도 도입했다 [55:10]

28. 고성능 모델과 저렴한 모델을 작업별로 조합하는 사용이 늘었다

• 대규모 엔지니어링 조직이 프런티어 모델에서 GLM으로 이동한다는 사례가 나왔지만, 이것이 광범위한 추세인지는 질문으로 남았다. 어려운 작업에서 투자 대비 효과를 얻으려는 수요와 파일 이름 변경 같은 단순 작업의 비용을 줄이려는 수요가 함께 존재한다 [56:55]
• 작은 오픈소스 모델과 대형 전문가 모델이 서로 작업을 넘기거나 하네스를 바꿔 비용을 통제하는 패턴이 나타났다. 모든 작업에 가장 똑똑한 모델을 쓰는 관행은 줄어들 것이라는 전망과 함께, 설계·감사에는 고성능 모델을 쓰고 구현에는 저렴한 모델을 쓰는 사례가 제시됐다 [58:09]

29. 반복 작업에 특화한 사후 학습은 스타트업에 경제적 이점이 있다

• 2023년 Mosaic 인수 당시에는 고객을 위한 사전 학습도 구상했지만, 이제는 이미 좋은 사전 학습 모델이 있어 그 접근의 타당성이 낮아졌다. 대신 사후 학습과 강화학습으로 특정 작업의 성능을 높이는 서비스를 규모 있게 제공하며 여러 스타트업을 지원하고 있다 [59:58]
• 특정 기능을 반복 수행하는 제품은 좋은 오픈소스 모델을 강화학습으로 특화하면 비용을 낮추고 속도를 높이며 자체 지식재산을 통제할 수 있다. 반면 기본적인 자동화가 필요한 대기업에는 이러한 모델 학습이 현재로서는 과도한 부담일 수 있다 [1:00:31]

30. 자체 모델 학습의 병목은 좋은 평가 체계를 만드는 일이다

• 좋은 평가를 만들기는 어렵다. 이를 구축할 유인이 큰 스타트업과 달리, 다른 조직에는 평가 체계를 직접 만드는 것보다 프런티어 모델을 사용하는 편이 쉬운 선택일 수 있다 [1:00:46]
• 제품에서 고객용 평가를 자동 생성해 눈에 잘 띄게 제공해도 이용자들이 쓰려 하지 않았다. 선택 기능으로 뒤로 옮긴 이후에도 거의 접근하지 않았다는 경험은 평가 기능 제공만으로 실제 사용을 이끌기 어렵다는 점을 보여준다 [1:00:59]

31. 기업 현장 지원은 데이터 맥락과 고객용 에이전트 구현에 집중된다

• 현장 지원 인력인 FD에 대한 수요가 크게 늘었다. 온톨로지 구축을 자동화하더라도 기업이 정보를 수집하거나 기록하지 않으면 기반이 부족하므로, 이러한 준비를 돕는 일이 주요 업무에 포함된다 [1:02:07]
• 고객용 에이전트에는 낮은 지연 시간과 악용·범위 밖 질문을 제한하는 가드레일이 필요하다. FD가 구축한 Fox의 스포츠 AI는 정치 질문을 거절하고 스포츠 주제로 되돌리는 사례다 [1:02:33]

32. Neon과 Lakebase는 에이전트의 빠른 실험에 맞춘 데이터베이스로 성장했다

• Neon 팀은 에이전트가 데이터베이스를 빠르게 만들고 실험하는 데 집중했다. 데이터베이스 구동과 대규모 데이터베이스 복제를 1초 미만에 처리하고, 같은 데이터베이스에서 여러 분기를 가볍게 만드는 브랜칭 기능을 구현했다 [1:04:23]
• 빠른 응답, 가벼운 동작, 스냅샷 복귀 같은 기능이 에이전트의 사용을 쉽게 만든다는 설명이다. 과금 방식도 에이전트가 소프트웨어를 만들며 실험하는 것만으로 비용이 크게 늘지 않도록 고려했다 [1:05:07]

33. 마지막 위험 인식은 AI가 없는 미래와의 비교로 이어졌다

• AI 파국 확률을 묻는 질문에 CEO는 처음에는 “10% 미만”이라고 답했다가 곧 “거의 0”으로 정정했다. 이는 대화에서 밝힌 개인적 위험 판단이다 [1:06:21]
• 다른 대화 참여자는 AI가 없는 경우의 파국 확률이 AI가 있는 경우보다 훨씬 높다는 견해를 밝혔다. 마지막에는 이에 동의하는 반응이 이어졌다 [1:06:36]

🧾 결론

• 제목의 핵심은 모든 위험을 부정하자는 것이 아니라, 근거가 부족한 멸종 경고와 구체적인 사이버 위협을 구분하자는 고드시의 주장이다.
• 개발 감속과 안전 통제의 관계에는 이견이 남는다. 진행자는 통제 자체를 강조하고, 고드시는 제대로 된 감시가 시간을 요구하므로 공통 가드레일이 필요하다고 본다.
• 기업의 AI 성과는 모델 지능만으로 결정되지 않는다. 조직 지식의 수집, 접근 권한, 평가 체계와 비용 관리가 실제 활용의 조건으로 제시된다.
• 위험 확률과 제품 성과에 관한 발언은 인터뷰의 주장으로 읽어야 한다. 소개된 사례만으로 보편적인 안전성이나 생산성 향상을 확정할 수는 없다.

📈 투자·시사 포인트

• 데이터 플랫폼과 보안의 결합: 에이전트 활동이 늘수록 로그 분석과 자동 대응의 수요가 커질 수 있다는 전망이다. 투자 관점에서는 시장 통합 주장과 실제 고객 도입·성과를 구분해 확인필요가 있다.
• 기업 맥락 구축의 가치: 온톨로지와 현장 지원은 기업의 부족한 기록·데이터·구현 역량을 보완한다. 모델 성능 향상 외에도 도입을 가능하게 하는 서비스와 기반 기술을 살펴볼 근거다.
• 사용량과 매출의 관계: 토큰 소비가 늘어도 저렴한 모델과 라우팅으로 지출이 유지될 수 있다는 사례는 사용량 증가를 매출 증가와 동일시하기 어렵게 한다. 금액 기준과 토큰 기준의 모델 사용 비중도 구분해야 한다.
• 특화 모델의 경제성: 반복 기능을 제공하는 스타트업에는 사후 학습이 비용·속도·지식재산 통제 측면에서 유리할 수 있다. 다만 평가 체계를 구축할 역량과 반복 사용 규모가 실제 이점을 좌우한다.
• 규제와 이해충돌: 위험 경고, 규제 요청, IPO와 경쟁 전략에는 서로 다른 이해관계가 얽힐 수 있다. 독립적 검증의 구조와 공개되는 근거를 함께 살펴야 한다.

⚠️ 불확실하거나 확인이 필요한 부분

• AI 파국 확률이 ‘거의 0’이라는 수치는 고드시의 개인적 판단이며, 제공 자료에 이를 산출한 방법이나 검증 데이터는 없다. 재귀적 자기개선의 발생 여부와 초지능으로 이어지는 속도도 미확정이다.
• 취약점 공개부터 악용까지 걸리는 시간이 시간 또는 수분 단위로 줄었다는 발언은 측정 대상과 기준이 제시되지 않았다. 프런티어 학습 비용과 지능 가격 하락 추정도 적용 범위를 확인해야 한다.
• 코드 작성 비중, 비용 유지, 임상 분석 시간 단축, 에이전트의 데이터베이스 생성 비중은 대화에서 제시된 설명이다. 정확도·품질·인간 검토 시간과 비교 기준이 충분히 제공되지 않아 생산성이나 투자 수익률로 바로 환산하기 어렵다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 위험 주장을 실존적 위험과 현재의 사이버 위험으로 나누고, 각각 관측 결과·가상 시나리오·개인적 추정을 표시한다.
• 자기개선 주장에는 학습 자원, 학습 시간, 성능과 반복 개선 데이터를 요청하고, 단순한 코드 생성이나 자원 증설 효과와 구분한다.
• 기업 AI 적용 업무 하나를 골라 필요한 회의 기록·절차·암묵지와 접근 권한을 정리하고, 맥락 제공 전후의 결과를 비교한다.
• 모델·하네스별 비용과 작업 품질을 함께 측정하고, 개인·그룹 예산 및 작업 난도에 따른 라우팅을 검토한다.

❓ 열린 질문

• 재귀적 자기개선이 실제로 일어난다는 판단을 내리려면 어떤 데이터를 어느 범위까지 공개해야 하는가?
• 경쟁사의 이해충돌을 피하면서 연구소 내부를 검증할 독립적인 평가자는 어떻게 선정할 수 있는가?
• 공통 보안 가드레일은 어느 수준이어야 하며, 그로 인한 개발 지연과 안전 개선을 어떻게 평가할 것인가?