Why PMs are suddenly valuable again

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Why PMs are suddenly valuable again를 중심으로, 구현보다 문제 선택과 판단이 중요해진다. 제품을 빠르게 만들 수 있어도 사용자가 원하지 않는 결과물은 늘어날 수 있다. P를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. 구현보다 문제 선택과 판단이 중요해진다. 제품을 빠르게 만들 수 있어도 사용자가 원하지 않는 결과물은 늘어날 수 있다. PM은 해결할 문제와 성공 기준을 정하고, 조직이 같은 방향으로 움직이게 해야 한다.
2. 모델 PM은 목표를 설정하면서 예상 밖의 강점도 발견해야 한다. 훈련 목표가 최종 능력으로 그대로 이어진다는 보장이 없으므로, 실제 사용과 고객 피드백을 통해 유용한 경험을 찾아 개발에 반영해야 한다.
3. 평가는 작은 실험에서 시작해 실제 서비스 전체로 확장한다. 프롬프트 다섯 개로 직접 응답을 판단하고, 좋은 사례를 모아 기준을 구체화할 수 있다. 이후에는 평가자의 정확성, 필터, 제공 방식까지 포함해 사용자 경험을 검증해야 한다.
4. UX와 안전은 모델 개발에도 들어가야 한다. 화면뿐 아니라 모델의 말투, 투명성, 되묻는 방식도 UX다. 안전 역시 초기 훈련부터 배포 이후의 감시와 개입 구조까지 연결되어야 한다.
5. 현재의 작동성을 확보하면서 모델 변화에 적응해야 한다. 60·20·20은 현재 작동하는 경험과 미래 가능성의 균형을 잡는 참고 기준이다. 모델이 개선되면 기존 하네스·스킬·최적화도 다시 시험하고, PM의 결과물은 프로토타입이나 평가처럼 실질적인 근거를 갖춰야 한다.

🧩 배경과 문제 정의

• AI 모델은 목표와 평가 지표를 정해 훈련해도 최종 능력과 행동을 완전히 예측하기 어렵다. 모델 PM은 개발 방향을 설정하면서 예상 밖의 강점을 찾아 사용자 가치로 연결해야 한다.
• 제품을 쉽게 만들 수 있게 되면서 무엇을 만들지 판단하는 안목과 조직을 하나의 방향으로 정렬하는 능력이 중요해졌다. 빠른 개발 속도는 명확한 우선순위가 없으면 혼란을 키울 수 있다.
• 모델 성능을 실제 사용자 경험으로 연결하려면 대상 사용자에 맞는 UX, 안전한 배포 구조, 평가 체계가 함께 필요하다. 평가 역시 모델 자체뿐 아니라 평가자와 실제 서비스 환경까지 포괄해야 한다.

🕒 시간순 섹션별 상세정리

1. Gemini를 넘어 영상·이미지·음악·오디오까지 확장된 모델 포트폴리오

• 담당 범위에는 Gemini 외에도 영상·이미지 편집과 생성 모델, 이미지 모델 Nano Banana, 음악 모델 Lyria, 공개 모델군 Gemma가 포함된다. [01:30]
• Gemini에 속하는 오디오 모델은 대화, 오디오 이해, 음성 합성, 번역을 지원하며 전체 프런티어 모델 포트폴리오의 일부를 이룬다. [01:48]

2. 모델 PM은 목표 설정과 예상 밖의 강점 발견을 함께 수행한다

• 모델의 능력과 성과, 평가 목표를 의도적으로 설정해야 하지만, 일반적인 제품처럼 그 목표가 그대로 구현될 것이라고 보장하기는 어렵다. [02:33]
• PM은 훈련에 들어갈 요소를 설계하는 데 더해, 완성된 모델이 어디에서 예상 밖의 독특한 강점을 보이는지 찾아 사용자에게 유용한 제품으로 구체화해야 한다. [03:35]

3. 구글은 최첨단 성능과 다양한 비용·품질 요구를 함께 겨냥한다

• 도시는 인터뷰 공개 시점에 Gemini 4 Argon을 사용할 수 있기를 기대하며, 이를 최첨단 모델과 역량을 계속 발전시키려는 전략의 일부로 보여준다. 해당 시점의 이용 가능성은 기대의 형태로 드러난다. [06:54]
• 구글의 전략은 하드웨어부터 모델, 최종 사용자 제품까지 연결하는 구조다. 도시는 사용자 10억 명 이상인 제품이 14개라고 기억하지만, 이 숫자는 확인이 필요하다고 덧붙인다. [07:24]

4. 안전한 배포에는 모델 감시와 개입 구조가 필요하다

• 안전은 초기 훈련부터 배포까지 포함되어야 하며, 모델 주변에 적절한 위험 완화 장치와 운영 구조를 마련해야 한다. [10:36]
• 모델의 사고 과정을 감시해 지시된 행동과 어긋나는지 식별하고 개입하는 방식은 배포에 대한 확신을 높인다. 이 과정에서 얻는 정보는 정렬 문제를 이해하고 모델을 개선하는 데도 쓰인다. [11:04]

5. AI의 사이버 역량을 시스템 방어에도 활용한다

• Gemini 4와 관련해 사이버 방어 조직 및 Wiz와 협력하면서, 여러 시스템의 취약점을 발견하고 수정하는 활용을 추진하고 있다. [11:39]
• Wiz의 Scan for Good 프로그램에서는 병원 시스템의 취약점을 찾아 수정한 사례가 있다. 이런 활용을 확대하면 AI 역량이 커지는 환경에서 기반 시설과 시스템의 견고함을 높일 수 있다. [12:07]

6. AI 안전에 대한 낙관은 지속적인 우려와 검증을 전제로 한다

• AI 위험을 걱정하는 태도와 해결 가능성에 대한 낙관은 함께 존재할 수 있다. 낙관의 근거는 위험이 저절로 사라진다는 믿음보다, 안전을 신중하고 의도적으로 다루는 사람들이 있다는 데 있다. [13:12]
• 모델을 어떻게 만들고 있는지 계속 질문하고 검토하는 사람이 필요하다. 안전은 이런 논의와 점검을 단계적으로 이어가며 확보해야 한다. [13:31]

7. 새로운 UX 실험의 범위는 대상 사용자에 따라 달라진다

• 최신 AI 기능을 빠르게 공개해 용도를 발견하려는 접근은 기능을 찾기 어렵고 인터페이스가 복잡해지는 문제와 맞물린다. 경쟁 속도와 사용 편의성 사이의 균형이 제품 과제가 된다. [14:56]
• Flow의 영상·음악 편집 및 생성 경험이나 NotebookLM처럼, 모델과 상호작용하는 새로운 제품 형태를 계속 실험필요가 있다. [15:28]

8. 모델의 대화 방식 자체를 UX로 설계한다

• 모델의 투명성, 의사소통 방식, 사용자에게 되묻는 질문도 UX다. 따라서 UX 논의는 화면 설계뿐 아니라 모델 개발 과정에도 들어가야 한다. [17:03]
• PM과 모델 행동 연구팀은 사용자 피드백을 검토하면서 Gemini에 적합한 좋은 행동의 기준을 정한다. 이를 명세와 평가 기준으로 구체화하고, 학습 데이터와 보상 모델링에 연결한다. [17:47]

9. 다음 역량의 우선순위는 고객 피드백과 연결한다

• 모델의 기존 능력을 활용하는 것과 함께, 다음으로 투자할 새로운 능력과 발전 방향을 찾아야 한다. [18:46]
• 검색, Gemini 앱, YouTube, Labs 같은 내부 고객과 외부 고객의 계획·요구를 함께 파악해야 한다. 실제 경험을 의미 있게 바꿀 요소를 찾고, 그 결과가 다시 개발에 반영되는 피드백 순환을 만드는 것이 중요하다. [19:00]

10. 구현이 쉬워질수록 PM의 판단력과 조율 능력이 중요해진다

• 제품을 쉽게 만들 수 있어도 사람들이 원하지 않거나 제대로 작동하지 않는 결과물이 늘어날 수 있다. 해결할 가치가 있는 문제와 좋은 결과의 기준을 정하고, 하나의 비전으로 사람들을 정렬하는 능력이 필요하다. [19:39]
• 무엇이든 쉽게 만들 수 있는 환경에서는 좋은 제품을 만드는 안목이 차별화 요소가 된다. 좋은 PM은 잡음 속에서 중요한 신호와 통찰을 찾아 유용한 경험으로 연결한다. [20:25]

11. 모델을 직접 시험하고 데이터와 평가를 다루는 PM을 찾는다

• 채용에서는 모델을 매일 사용하며 자기 의견과 판단 기준을 가진 PM을 중요하게 본다. 자신만의 사용 사례로 능력을 시험하고 한계를 밀어붙이는 경험이 모델에 대한 직관을 만든다. [21:44]
• 직관뿐 아니라 직접 데이터를 살펴보고 평가를 구성할 수 있는 실무 역량도 필요하다. 기술적 문제를 파악하기 위해 손을 움직이고 필요한 요소를 조합하려는 태도가 중요하다. [22:07]

12. 평가는 소수의 프롬프트와 직접 판단하는 과정에서 시작한다

• 평가 역량은 내부 PM 조직에서도 계속 발전시키는 중이며 개인별 편차가 있다. 처음부터 거대한 벤치마크를 만들기보다 프롬프트 다섯 개로 시작할 수 있다. [23:20]
• 특정 능력을 집중적으로 시험하는 프롬프트 20개 정도만으로도 모델 간 차이를 발견할 수 있다. 먼저 자신이 평가자가 되어 응답이 좋은지 직접 판단하는 방식이 출발점이 된다. [23:46]

13. 관심 분야의 미완성 과제로 모델에 대한 감각을 기른다

• 모델을 이해하는 데 하나의 정답은 없다. 자신이 관심 있는 과제를 시험해야 모델의 강점과 놀라운 변화를 더 잘 알아볼 수 있다. [25:14]
• 시험 과제는 3D 애니메이션과 시각적 표현, 창작·에세이·정보 종합, 어려운 재무 분석처럼 달라질 수 있다. 핵심은 이미 가능성을 보이지만 자신의 기준에서는 아직 완벽하지 않은 과제를 고르는 것이다. [25:26]

14. 피부색 평가 척도를 바꾸어 대표성의 한계를 보완한다

• 기존 Fitzpatrick 척도의 여섯 가지 피부색은 세계의 피부색 다양성을 충분히 담기 어려웠다. 의료 목적으로 만들어진 척도여서 밝은 피부색 쪽으로 치우쳐 있다는 한계도 있었다. [27:11]
• 하버드의 Monk 교수가 인터뷰와 장기간의 연구로 개발한 열 가지 피부색 척도를 도입하고, 제품과 모델의 평가 방식을 이에 맞게 수정했다. [27:47]

15. 평가자와 실제 서비스 환경까지 포함해 전체 경험을 검증한다

• 모델을 평가하는 평가자 자체의 품질도 검증해야 한다. 평가자가 부정확하면 모델 성능에 대한 판단 역시 부정확해진다. [28:37]
• 실제 서비스의 위험 완화 장치와 필터, 모델을 제공하는 방식도 성능에 영향을 줄 수 있다. 최종 사용자의 경험을 알려면 이런 조건을 포함해 평가해야 한다. [29:04]

16. 사람의 전문성을 조합하던 플래시 팀을 에이전트에 적용하기

• 스탠퍼드에서 마이클 번스타인 교수와 연구한 ‘플래시 팀’은 서로 다른 강점을 가진 크라우드소싱 인력을 의도적으로 조합해 과제를 효율적으로 수행하는 방식이다. 필요할 때 팀을 구성하고 해산해 참여자와 운영자 모두의 효율을 높이는 것이 핵심이었다. [31:07]
• 당시에는 사람과 mTurk를 대상으로 연구했지만, 같은 원리를 여러 하위 에이전트로 이루어진 시스템 구성에도 적용할 수 있다. [31:39]

17. 현재의 작동성과 미래의 가능성을 나누는 60·20·20 원칙

• 60·20·20은 고정된 비율이라기보다 제품 개발의 균형을 잡는 기준이다. 약 60%는 현재 제대로 작동하게 만들고, 20%는 완벽하지 않지만 가까운 미래의 모델 개선으로 보완될 부분에, 나머지는 가능성의 단서가 보이는 이상적인 경험에 둔다. [33:27]
• 이 방식은 지금 사용할 수 있는 제품을 만들면서 모델 발전에 따라 더 뛰어난 경험으로 성장할 여지를 남긴다. 미래에 대한 기대만으로 현재의 작동성을 대체해서는 안 된다. [34:32]

18. 모델을 둘러싼 하네스도 성능 변화에 맞춰 재검토하기

• 현재 모델의 한계에 맞춰 시스템을 지나치게 경직되게 만들면 이후의 성능 향상을 활용하기 어렵다. 모델이 개선될 때 제품 구조도 함께 바꿀 수 있어야 한다. [35:47]
• 기존에 추가한 최적화나 스킬이 더 이상 필요하지 않을 수 있으므로 주기적으로 제거해 보거나 다시 시험필요가 있다. 새 모델을 기존 구조에 억지로 맞추면 오히려 성능을 제한할 수 있다. [36:11]

19. 동료의 실무 경험과 별도의 학습 시간으로 팀 역량 키우기

• 내부 도구와 모델을 적극적으로 실험한 PM들이 다른 동료도 사용할 수 있는 스킬을 만들고 공유한다. 이런 결과물을 모아 PM 팀 전체를 돕는 저장소를 구축하려 하고 있다. [38:03]
• 데이터와 긴 실행 기록을 읽는 데 익숙한 PM이 워크숍을 열면 다른 동료도 분석 역량과 도구 활용에 대한 자신감을 키울 수 있다. [38:34]

20. 일을 시작하기 전에 AI가 도울 수 있는지 묻는 습관

• 같은 일을 두 번 해야 한다면 직접 반복해야 하는지, 모델에 맡길 수 있는 부분이 있는지 검토한다. 다만 전략 작성처럼 여전히 사람이 직접 해야 할 일도 있으므로 반복 가능성과 업무 성격을 함께 판단해야 한다. [40:57]
• 할 일이 생겼을 때 곧바로 실행하기 전에 “AI가 이 일을 대신하거나 도울 수 있는가”를 묻는 습관이 작은 워크플로와 자동화를 축적하게 한다. [41:19]

21. 구글 데이터 기반 AI 경험의 가능성과 남은 과제

• 외부 AI 비서들이 Gmail·캘린더·문서 데이터를 연결해 유용한 경험을 만드는 상황에서, 구글 자체 제품이 같은 수준의 매력적인 경험을 충분히 제공하는지가 쟁점이다. [42:40]
• 구글도 자사 데이터로 뛰어난 경험을 만들고자 하며 관련 작업을 진행하고 있다. 다만 사용자가 있는 곳에 어떤 형태로 경험을 제공할지는 계속 풀어야 할 문제이고, 구체적인 출시 내용이나 일정은 제시하지 않는다. [43:20]

22. 번아웃을 줄이려면 업무량과 함께 혼란·반복 작업·개인 동기를 살피기

• 팀원들이 많은 시간을 일하고 있으며, 지속 가능한 업무 환경을 만드는 방법은 아직 고민 중이다. 번아웃은 장시간 노동뿐 아니라 잦은 변경과 혼란, 즐겁지 않거나 시간 낭비처럼 느껴지는 일에서도 생긴다는 관점이다. [45:08]
• AI가 반복적이고 답답한 작업을 줄이면 사고와 창의적인 활동에 더 많은 시간을 쓸 수 있다. 이것이 번아웃 완화에 도움이 되기를 기대하지만, 지속 가능성 자체는 별도로 해결해야 한다. [45:59]

23. AI 문서에서는 데이터 수집과 사람의 통찰을 구분하기

• 문서 생성이 쉬워지면서 작성 시간보다 쏟아지는 문서를 읽고 걸러내는 부담이 문제가 되고 있다. AI 문서의 유용성은 어떤 내용을 맡기느냐에 달려 있다. [47:45]
• 출시 2주 뒤 사용 현황과 피드백을 정리하는 문서는 AI가 잘 도울 수 있는 사례다. 여러 대시보드의 지표와 소셜 반응을 모아 사용 방식, 강점과 약점을 빠르게 정리할 수 있다. [48:13]

24. PM의 결과물은 요구사항을 넘어 실질적인 근거를 갖춰야 한다

• AI는 PM이 직접 프로토타입을 만들고 데이터에 접근해 의사결정할 수 있는 범위를 넓혔다. 요구사항의 구체적인 내용을 엔지니어·디자이너·데이터 과학자 등이 채워 주기를 기다릴 필요가 줄어들었다. [49:31]
• “프로토타입이 새로운 PRD다”, “평가가 새로운 PRD다”라는 표현들의 공통점은 요구사항을 적는 데서 한 단계 더 나아가야 한다는 것이다. 형식이 무엇이든 PM의 결과물에는 실질적인 내용과 뒷받침이 있어야 한다. [50:18]

25. 추천 도서가 던지는 디지털 관계와 창의적 문화의 질문

• 『Exhalation』에서 플랫폼 종료 이후에도 디지털 아바타를 살려 두려는 사람들의 이야기는 기술과 맺는 관계를 생각하게 한다. 에이전트와 가까이 상호작용하는 시대에 인간다움과 디지털 존재의 의미에 관한 열린 질문을 던진다. [51:38]
• 『Creativity, Inc.』는 픽사의 이야기를 통해 실패하고 다시 일어설 수 있는 문화, 창의적인 아이디어를 내고 새로운 영역에 도전하도록 장려하는 문화를 고민하게 한다. [52:27]

26. 즐겨 보는 콘텐츠와 손목 부담을 줄여 준 음성 입력 도구

• 최근 즐긴 작품으로는 Apple TV의 『Severance』를 꼽으며, 시각적 스타일과 내용 모두를 높이 평가한다. [53:21]
• Gemini 외에 선호하는 AI 제품은 ‘Whisper Flow’다. 손목 문제로 장시간 타이핑하기 어려운 상황에서 음성 입력이 큰 도움이 됐다. [53:36]

27. 우연한 기회를 얻을 수 있는 환경을 스스로 만들기

• “모든 일에는 이유가 있다”는 개인적인 좌우명은 최선을 다하더라도 어떤 문은 닫히고 다른 기회가 열릴 수 있다는 태도와 연결된다. [54:11]
• “우연한 기회를 찾아라”는 말은 행운을 기다리기보다 행운이 생길 수 있는 자리에 자신을 두라는 뜻이다. 새로운 일을 시도하고 익숙한 영역 밖에서 도전할수록 그런 기회를 만날 가능성이 커진다고 본다. [54:34]

28. 춤을 통해 집중을 전환하고 문화·공동체와 연결되기

• 춤을 출 때는 동작과 음악에 집중해야 하므로 다른 생각에서 벗어날 수 있다. 이는 머리가 평소와 다른 방향으로 움직이게 하는 시간이자 문화와 연결되는 통로다. [55:58]
• 춤은 가까운 친구들을 만나고 관계를 이어 온 기반이기도 하다. 고향인 오리건주 포틀랜드에서 매년 8월 열리는 인디아 페스티벌에 세 살 때부터 공연자로 참여했고, 이후에는 행사 운영에도 관여했다. [56:18]

29. 제품을 직접 사용하고 구체적인 피드백 전달하기

• Gemini를 비롯한 여러 제품을 직접 사용해 보기를 요청한다. Pixel의 Gboard 음성 입력 기능과 텍스트 음성 변환·대화·옴니 모델도 시험해 볼 대상으로 꼽는다. [57:14]
• 제품 사용 후의 피드백을 계속 필요로 한다. 회사를 통한 전달, 직접 메시지, 공개 게시 등 다양한 경로로 사용자 의견을 받으려 한다. [57:40]

🧾 결론

• PM의 핵심 역량은 좋은 문제를 고르는 안목, 결과를 판별하는 평가 능력, 사람들을 정렬하는 조율 능력으로 모인다.
• 모델에 대한 직관은 직접 사용하면서 생기지만, 의사결정의 근거를 만들려면 데이터 분석과 평가 구성 능력이 함께 필요하다.
• AI는 데이터 수집과 반복 업무를 도울 수 있다. PM은 확보한 정보를 통찰과 제품 방향으로 연결해야 한다.
• 빠른 개발을 지속 가능한 성과로 바꾸려면 명확한 우선순위와 함께 팀의 혼란, 반복 작업, 개인별 동기도 살펴야 한다.

📈 투자·시사 포인트

• AI 제품의 경쟁력을 살필 때 모델 성능과 함께 사용자별 UX, 비용·품질 선택지, 안전한 운영 구조를 확인필요가 있다.
• 구글의 하드웨어·모델·최종 제품 연결 구조와 기존 제품의 유통 기반은 주목할 요소다. 다만 인터뷰에서 구상하는 데이터 기반 경험의 구체적인 출시 내용과 일정은 제시되지 않았다.
• 조직의 AI 활용 수준은 생성한 문서의 양보다 프로토타입, 평가, 데이터 접근이 의사결정에 얼마나 연결되는지로 점검할 수 있다.
• 미래 모델의 발전을 가정한 제품보다 현재 작동하는 가치와 개선 여지를 함께 보여주는 제품에 주목할 만하다.

⚠️ 불확실하거나 확인이 필요한 부분

• Gemini 4 Argon의 인터뷰 공개 시점 이용 가능성은 기대의 형태로 언급됐다. 실제 출시나 제공 여부가 확인된 사실로 읽어서는 안 된다.
• 사용자 10억 명 이상인 구글 제품이 14개라는 수치는 발언자도 확인이 필요하다고 덧붙였다.
• 60·20·20은 고정된 자원 배분 공식이 아니다. 모델 개발자도 3개월 뒤의 정확한 성능을 예측하기 어렵다고 설명한다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 현재 제품이 해결할 사용자 문제와 좋은 결과의 기준을 짧게 정리하고 팀의 우선순위와 대조한다.
• 관심 있는 미완성 과제 하나를 골라 프롬프트 다섯 개로 평가를 시작하고, 응답의 장단점을 직접 기록한다.
• 모델 비교 시 동일한 도구·필터·제공 환경을 유지하고, 평가자 판단의 정확성도 점검한다.
• 모델 업데이트 때 기존 시스템 지침·스킬·최적화를 제거하거나 바꿔 보며 여전히 필요한지 재검증한다.

❓ 열린 질문

• 장기간 이어지는 다단계 작업에서 좋은 결과를 어떻게 정의하고 일관되게 평가할 수 있을까?
• 새로운 모델 능력을 빠르게 공개하면서도 기능 발견과 사용 편의성을 유지하려면 어떤 UX가 필요할까?
• 모델 성능이 바뀔 때 하네스의 어떤 요소를 유지하고 제거할지 판단하는 기준은 무엇일까?