YouTubeStanford Online·2026년 11월 17일·0

Vibe Coding, AI Risk & AI Evaluation

Quick Summary

Vibe Coding, AI Risk & AI Evaluation를 중심으로, 바이브 코딩에서 사람이 먼저 정할 것은 도구의 용도와 합격 기준이다. 연구 결과가 코드의 정확성에 달려 있다면, 요구사항과 단위를 핵심 판단 포인트로 압축 정리한다.

영상 보기

클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.

원본 열기

🖼️ 인포그래픽

Vibe Coding, AI Risk & AI Evaluation 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

Vibe Coding, AI Risk & AI Evaluation의 핵심 내용을 4단계로 요약한 인포그래픽
Vibe Coding, AI Risk & AI Evaluation 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 결론

Vibe Coding, AI Risk & AI Evaluation를 중심으로, 바이브 코딩에서 사람이 먼저 정할 것은 도구의 용도와 합격 기준이다. 연구 결과가 코드의 정확성에 달려 있다면, 요구사항과 단위를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

  1. 바이브 코딩에서 사람이 먼저 정할 것은 도구의 용도와 합격 기준이다. 연구 결과가 코드의 정확성에 달려 있다면, 요구사항과 단위 테스트 범위를 명세에 적고 구현에 참여하지 않은 에이전트가 전체 코드와 명세를 대조하게 한다.
  2. 배포 전 시험에는 미래 사용자의 행동이 담기지 않는다. 베일리의 C++ 과제 채점 도구는 과거 과제에서 사람의 채점과 잘 맞았다. 다만 학생들이 AI 채점을 의식해 제출 방식을 바꿀 가능성은 그 시험으로 확인할 수 없었다.
  3. AI의 결정은 평가에 쓸 데이터 자체를 바꾼다. 강의 속 가상 회사는 첫 90일 기록으로 직원을 해고한 뒤 남은 직원들의 성과가 좋았다고 판단했다. 해고된 직원이 계속 일했다면 어떤 성과를 냈을지는 관찰할 수 없으므로, 재직자 실적만으로 해고 예측의 정확도를 알 수 없다.
  4. 미국 국립표준기술연구소(NIST)의 AI 위험 관리 프레임워크는 설계 초기에 데이터 출처와 사용 환경을 살피고(Map), 실제 환경에서 위험을 측정하며(Measure), 그 결과에 따라 피해를 줄일 조치를 정하도록 한다(Manage). 서비스 종료 후 수집한 데이터를 어떻게 처리할지도 검토 대상이다.
  5. 모델을 평가하려면 먼저 응답 하나를 어떤 기준으로 판정할지 정해야 한다. 다른 언어 모델을 심사자로 쓸 수도 있지만, 정답 자료가 현실을 얼마나 담고 있는지는 별개의 문제다. 강의에서 예로 든 경찰 기록 기반 범죄 지도에는 실제 사건뿐 아니라 어디에서 단속이 이뤄졌는지도 반영된다.

🧩 배경과 문제 정의

  • 바이브 코딩은 자연어로 원하는 동작을 설명해 소프트웨어를 만드는 방식이다. 간단한 실험에서는 빠르게 결과를 볼 수 있지만, 연구나 실무에서는 사람이 요구사항을 정하고 결과의 품질을 검증해야 한다.
  • 반복 업무에서는 AI를 언제 쓸지도 설계 대상이다. AI로 전용 도구를 한 번 만들면 이후에는 더 적은 연산과 비용으로 같은 일을 처리할 수 있다.
  • 배포 전 시험에서 좋은 결과를 얻어도 실제 사용 환경과 사용자 행동은 달라질 수 있다. 특히 AI의 판단이 누구의 결과를 관찰할 수 있는지까지 바꾸면, 배포 후에 수집한 데이터로는 오류를 알아보기 어렵다.

🕒 시간순 섹션별 상세정리

1. 자연어 코딩의 확산과 초기 품질 문제

  • 바이브 코딩이라는 말은 영어를 프로그래밍 언어처럼 사용한다는 뜻으로 빠르게 퍼졌다. 체계적인 개발 절차를 생략한 초기 실험에서는 버그가 많았고, 실제 서비스에 쓰기 어려운 코드가 나왔다. [02:08]
  • 전문적인 개발 절차가 자리를 잡으면서 일부 엔지니어는 이를 ‘에이전틱 엔지니어링’이라고 부른다. 강의에서는 가벼운 실험부터 전문적인 소프트웨어 개발까지 바이브 코딩에 포함한다. [03:22]

2. 반복 업무를 전용 도구에 맡기는 방식

  • 지역구 의원이 어떤 법안을 발의하거나 공동 발의했는지 자주 확인한다면, AI로 해당 정보를 가져오는 대시보드를 한 번 만들 수 있다. 이후에는 조회할 때마다 대형 언어 모델을 호출할 필요가 없다. [05:17]
  • 경비 항목의 합계는 계산기로 구할 수 있다. 기존 도구로 처리하기 어려운 일도 맞춤형 도구를 만들 수 있다면, 반복 호출에 드는 연산과 토큰을 줄여 환경 부담과 금전적 비용을 함께 낮출 수 있다. [07:06]

3. 결과가 쓰일 곳에 따라 달라지는 개발 절차

  • 간단한 웹사이트를 만드는 실습에서는 짧은 설명만으로 어디까지 구현할 수 있는지 실험해 볼 만하다. 연구용 소프트웨어처럼 도구의 정확성이 연구 결과의 신뢰도를 좌우하는 경우에는 더 엄밀한 절차가 적합하다. [08:36]
  • 엄밀한 절차는 준비, 구현, 검토의 세 단계로 구성된다. 준비 단계에서는 ‘코끼리와 금붕어’ 방식으로 요구사항을 여러 차례 다듬어 상세한 작업 명세를 만든다. [09:41]

4. 새 구현 에이전트에게 명세를 넘기는 이유

  • Codex나 Claude Code에서 새로 시작한 에이전트는 소프트웨어 구현을 수행할 수 있지만, 명세를 작성하면서 어떤 대화를 나눴는지는 모른다. 따라서 상세 명세가 앞선 결정을 구현 단계로 전달하는 역할을 한다. [10:29]
  • 상세한 명세는 추가 질문을 줄여 준다. 그래도 데이터베이스 선택처럼 낯선 결정이 남으면, 사용자는 각 선택지를 이해하는 데 필요한 설명을 듣고 직접 판단할 수 있다. [11:48]

5. 구현과 분리한 코드 검토

  • 구현에 참여하지 않은 새 에이전트에게 작업 명세와 전체 코드를 함께 주면, 명세를 지켰는지와 코드 품질에 문제가 있는지를 별도로 검토할 수 있다. 코드 읽기에 익숙하지 않은 사용자도 이 검토에 참여할 수 있다. [13:46]

6. 처음부터 명세에 포함하는 테스트 계획

  • 작업 명세에는 무엇을 만들지와 완성도를 어떻게 평가할지가 함께 들어간다. 품질 평가 계획에는 코드 검토와 더불어 단위 테스트로 확인할 동작의 범위도 구체적으로 적는다. [14:53]
  • 구현 에이전트는 작업 도중 테스트를 반복해 오류를 찾아낸다. 최종 검토에서도 필요한 테스트를 추가하거나 기존 테스트를 다시 실행한다. [15:15]

7. 코드 일부만 보아서는 알기 어려운 제약

  • 한 파일만 보면 비효율적으로 보이는 설계도 전체 프로젝트의 제약을 고려하면 타당할 수 있다. 명세에는 구현에 영향을 주는 제약을 적고, 인터페이스를 그대로 유지해야 하는 이유를 보여 주는 코드 파일이나 API 문서를 연결한다. [16:26]

8. 배포 이후에도 평가가 필요한 이유

  • 도구 제작에 집중하다 보면 사람들이 실제로 사용하는 기간을 위한 계획을 놓치기 쉽다. 배포 전 설계와 코드 검토, 테스트를 충실히 했어도 조건이 달라지면 당시에는 존재하지 않던 오류가 생길 수 있다. [18:32]

9. 사용 환경의 변화와 분포 이동

  • 같은 인사말이라도 말하는 사람이 음료 쟁반을 들고 있을 때와 의자 앞에 서 있을 때는 자연스럽게 이어질 말이 달라진다. 이처럼 환경이 바뀌어 각 결과가 나타날 확률이 달라지는 현상이 ‘분포 이동’이다. 고정된 모델이 새 분포에 적응하지 못하면 이전과 다른 오류가 생길 수 있다. [19:37]

10. AI 채점 도입이 바꿀 수 있는 학생 행동

  • 강사의 C++ 수업에서는 예상보다 약 200명이 더 등록해 조교의 채점을 지원할 AI 도구를 만들었다. 과거 여러 해의 과제를 이용해 코드의 기능과 스타일에 매긴 점수를 사람의 채점 결과와 비교했을 때 도구는 좋은 성능을 보였다. [21:40]
  • 사람이 채점한 과제 수천 건이 있어도, 학생이 AI 채점을 의식해 제출 방식을 바꾸는 상황까지 검증하기는 어렵다. 강사는 도입 이후 이런 행동이 나타날 가능성을 제기했다. [22:46]

11. 배포 중에 달라지는 모델의 행동과 군사적 위험

  • 출시된 상용 기반 모델은 가중치가 고정돼 있어도 입력 맥락이 바뀌면 동작이 달라질 수 있다. 일부 공개 가중치 모델이나 소형 모델은 배포 중에도 가중치를 갱신하도록 구성할 수 있어, 사전 시험에서 관찰하지 못한 행동이 나타날 수 있다. [23:45]
  • 군사 분야에서는 현장에서 계속 학습하는 AI 무기 체계의 배치를 금지해야 한다는 제안이 있다. 학습이 계속되면 사람이 사전에 검토한 운용 범위를 벗어나거나 예상하지 못한 피해를 일으킬 위험을 허용 가능한 수준까지 낮추기 어렵다는 판단이다. [24:40]

12. 초기 90일 성과로 남은 근무 기간을 예측하는 가상 사례

  • 직원이 12개월씩 근무하는 가상의 회사에서 경영진은 첫 90일의 성과로 남은 9개월의 성과를 예측해 조기 해고 여부를 결정하려 한다. [25:36]
  • 회사는 과거 직원의 절반을 무작위로 뽑아 예측 패턴을 찾는 데 쓰고, 나머지 절반은 시스템이 학습하지 않은 사례로 시험할 수 있도록 따로 둔다. [26:32]

13. 사전 시험의 성공과 배포 후 경영진의 판단

  • 따로 둔 과거 직원에게는 12개월의 성과 기록이 있다. 가상 사례에서 AI는 이들의 첫 3개월 기록만 보고 남은 9개월의 성과를 모두 정확하게 예측했다. [27:00]
  • 회사는 도입 후 성과가 낮을 것으로 예측된 직원을 3개월 시점에 모두 해고했다. 12개월 뒤 남은 직원이 모두 좋은 성과를 내자 경영진은 시스템이 완벽하게 작동했다고 판단했다. [27:29]

14. 해고 결정이 만드는 생존자 편향

  • 배포 후에는 남은 직원의 성과만 관찰할 수 있다. 이들의 실적이 좋았다는 사실만으로는 해고된 직원도 계속 일했다면 실제로 성과가 낮았을지 확인할 수 없다. 이것이 생존자 편향이다. [28:53]
  • 평가에 필요한 ‘반사실’은 해고된 직원들이 같은 회사에서 계속 일했을 경우의 성과다. 회사가 예측에 따라 해고하는 순간, 그 예측이 맞았는지 대조할 결과를 관찰할 수 없게 된다. [29:09]

15. 무작위로 남긴 집단을 통한 배포 후 평가

  • 가상 사례의 실험 설계에서는 AI가 해고를 권고한 직원 중 75%만 무작위로 골라 해고하고 나머지 25%는 계속 근무하게 한다. 남겨 둔 직원들의 이후 성과를 관찰하면 해고된 집단도 계속 일했을 경우 어떤 성과를 냈을지 추정할 수 있다. [29:58]

16. AI의 결정이 바꾸는 사후 검증 데이터

  • AI가 누군가의 성과가 낮을 것이라고 예측하고 그 예측이 실제 결정에 반영되면, 다른 결정을 내렸을 때 그 사람이 어떤 성과를 냈을지는 관찰할 수 없다. 이처럼 결정 자체가 이후의 데이터를 바꾸면 예측이 들어맞았는지 확인하기 어렵다. [30:25]

17. NIST가 AI 위험 관리 지침을 만든 이유

  • 미국 국립표준기술연구소(NIST)는 위험을 완전히 없애기 어려운 상황을 전제로 삼는다. 어떤 위험이 남는지 파악하고, 사용 맥락에 맞게 가능한 만큼 줄이는 접근이다. [31:45]
  • 미국 의회는 2021년 NIST에 AI 위험을 평가할 지침을 마련하도록 했고, NIST는 2023년 AI 위험 관리 프레임워크(AI RMF)를 발표했다. [33:36]

18. ‘Map’으로 제품 설계 초기에 위험 파악하기

  • ‘Map’은 제품에 쓸 데이터의 출처, 배포 환경, 알고리즘 선택을 함께 살펴 어떤 위험이 생길 수 있는지 파악하는 일이다. 제품 생애주기의 가장 이른 시점부터 시작한다. [34:57]
  • “최악의 경우 어떤 일이 생길 수 있는가”라는 질문은 이 작업의 출발점이다. 수업의 최종 프로젝트에서도 학생들은 만들려는 제품에 어떤 윤리적 문제가 따를지 설계 단계에서 짚어야 한다. [35:36]

19. ‘Measure’와 ‘Manage’로 측정 결과를 완화 조치에 연결하기

  • ‘Measure’에서는 실제 배포 환경에 맞춰 위험과 성능을 측정할 방법을 설계한다. 기술이 새롭고 대규모 언어 모델(LLM)의 내부 작동을 들여다보기 어렵다는 점도 측정을 어렵게 한다. [36:34]
  • ‘Manage’에서는 파악하고 측정한 위험에 대응한다. 최악의 시나리오를 찾아낸 뒤 그 피해를 줄이기 위해 실제로 무엇을 할지 정하는 것이 한 예다. [37:46]

20. 안전을 일상 업무에 반영하는 조직 문화

  • 외부 자문을 받아 정책 문서를 만들어도 구성원이 읽거나 따르지 않으면 효력이 없다. AI RMF의 중심에는 구성원이 안전을 중요하게 여기고 실제 결정에 반영하도록 하는 장기적인 문화 변화가 있다. [39:17]
  • 베일리는 수업에서 AI를 어떻게 사용했는지 밝히고, 강의 자료 끝에 사진과 미술 작품의 출처를 적었다. AI 사용의 투명성과 사람의 창작 기여를 일상적인 관행에 반영한 사례다. [39:55]

21. 제품 기획부터 서비스 종료 후 데이터 처리까지

  • 제품의 사회적 영향을 검토할 시점은 처음 제품을 구상할 때다. 데이터가 어디서 왔고 어떻게 수집됐는지부터 살피며, 배포 후에도 영향을 계속 점검한다. [41:20]
  • 서비스가 끝나도 사용 중에 모은 데이터는 데이터베이스나 하드디스크에 남을 수 있다. 운영 종료 계획에는 그 데이터를 어떻게 처리할지도 포함해야 한다. [42:04]

22. 스탠퍼드의 데이터 등급별 AI 도구 승인

  • 조교, 연구실 참여자, 동아리 임원도 학내 구성원의 개인정보를 다룰 수 있다. 동아리 뉴스레터 발송을 자동화하는 작은 도구를 만들 때도 회원 정보를 어떻게 쓸 수 있는지 대학 규정을 확인해야 한다. [44:14]
  • 스탠퍼드는 데이터를 세 등급으로 분류하고 AI 도구와 커넥터별로 허용 등급을 정한다. 일부는 저위험 데이터에만 쓸 수 있고, 일부는 고위험 데이터 처리까지 승인받았다. [45:30]

23. 타인의 정보를 다룰 때 적용하는 황금률

  • 스탠퍼드 지침은 남이 내 정보를 생성형 AI에 입력한다면 꺼려질 내용을 나도 다른 사람에 대해 입력하지 말라고 권한다. 베일리는 이 원칙이 사용자의 판단에 여지를 남겨, 정보를 제공하기 전에 당사자의 입장을 생각하게 한다고 본다. [47:14]
  • 베일리는 이 원칙을 대학 지침의 원래 범위 밖으로 확장한다. 도시의 카메라 도입을 지지하는 사람도 자기 가족의 일상이 촬영된다면 어떻게 느낄지, AI 데이터센터가 자기 집 옆에 들어선다면 받아들일지 생각해 볼 수 있다. [48:15]

24. 가격·임금·홍보 사진에서 당사자가 감수하는 영향

  • 베일리는 실제로 일부 웹사이트가 현지 시각에 따라 가격을 달리한다고 드러낸다. 같은 상품도 하루 끝에 판단 피로가 쌓인 고객에게 더 비싸게 판다는 설명이다. [49:23]
  • 베일리는 기업이 데이터 중개업체에서 얻은 신용 기록으로 구직자의 부채 부담을 파악하고, 일감이 급하다는 이유로 같은 일에 더 낮은 보수를 제시하는 사례도 있다고 드러낸다. [49:52]

25. 사업 성과 지표와 모델 평가가 답하는 질문

  • 사용자 수의 증가, 만족도, 이용 시간은 제품의 사업 성과를 보여 준다. 모델 평가(evals)는 AI의 편향, 환각 빈도, 외부 도구 호출의 정확성과 효과를 살핀다. [52:26]
  • 모델은 배포 전부터 검사할 수 있고 배포 후에도 계속 검사해야 한다. 실제 이용 행태를 측정하는 제품 지표는 서비스를 배포해 사용자가 생긴 뒤에야 얻을 수 있다. [53:02]

26. 환각·친절함·편향을 응답별로 판정하는 어려움

  • 가령 응답 1,000개로 환각 빈도를 구하려면, 먼저 각 응답에 환각이 포함됐는지 판정해야 한다. 비율을 계산하기에 앞서 응답 하나를 평가할 기준이 필요하다. [53:40]
  • 응답이 친절한지, 보호 대상 집단에 편향을 드러내는지도 문맥을 읽어야 판단할 수 있다. 긴 글에서는 특정 단어 하나로 판정하기 어려워 대규모 측정에 부담이 커진다. [54:40]

27. 다른 LLM을 평가자로 활용하는 방식

  • ‘LLM을 심사자로 쓰기(LLM as judge)’는 한 모델이 만든 응답을 다른 모델이 읽고 각각의 환각 여부 등을 판정하는 방식이다. 수업에서 한 LLM이 다른 LLM이 생성한 코드를 평가한 사례도 같은 구조다. [55:31]

28. 제품별 맞춤 검사와 공통 벤치마크

  • 도구 고유의 기능을 검증하려면 개발자가 검사 항목을 고안하고 직접 구현해야 하는 경우가 많다. 여러 제품의 성능이나 편향을 같은 기준으로 비교하려는 목적에는 공통 벤치마크가 쓰인다. [56:15]
  • 베일리가 보기에 여러 정책 입안자는 분산된 AI 평가 활동을 공인회계사의 기업 감사처럼 정부가 자격을 인증할 수 있는 체계로 발전시키길 원한다. 이는 향후 제도화에 대한 구상이다. [57:23]

29. 공개 순위표를 활용한 모델 선택

  • 허깅페이스의 Open LLM Leaderboard 같은 공개 순위표는 후보 모델을 비교하거나 더 작은 모델로도 필요한 성능을 낼 수 있을지 판단하는 데 참고할 수 있다. 같은 벤치마크를 자신이 만든 도구에도 적용할 수 있다. [58:01]

30. 정답 데이터와 실제 세계의 차이

  • 환각 빈도를 평가하려면 무엇이 사실에 맞는 답인지 먼저 정해야 한다. 학습이나 평가에서 정답으로 쓰는 데이터셋에도 생존자 편향과 그 밖의 표본추출 편향이 있어 사실을 온전히 담지 못할 수 있다. [58:52]
  • ‘그라운드 트루스(ground truth)’는 실제 세계에서 참인 사실을 뜻한다. 현실적으로 구할 수 있는 가장 가까운 자료를 정답으로 써도, 그 자료와 실제 사실 사이에는 차이가 남을 수 있다. [59:17]

31. 범죄 지도에는 지역별 단속 차이가 나타난다

  • 시티즌(Citizen)은 공개 경찰 기록을 이용해 범죄 발생 위치를 표시한다. 경찰이 발견하지 못한 범죄는 기록에서 빠지므로, 지도에 표시된 사건만으로 실제 범죄 분포를 알기는 어렵다. [1:01:25]
  • 인종차별의 영향을 받은 경찰 배치 정책도 지역별 기록에 흔적을 남긴다. 예를 들어 한 동네에 음주운전 검문을 집중하면 그곳의 적발 건수가 두드러지고, 검문이 드문 지역의 음주운전은 지도에서 빠질 수 있다. [1:02:06]

32. 구하기 쉬운 데이터를 쓰는 선택에도 책임이 따른다

  • 기업의 수익성 압박은 의도적인 차별이 없어도 데이터 선택에 영향을 줄 수 있다. 모든 범죄를 담은 자료는 존재하지 않고 수집 방법도 불분명하지만, 화이트칼라 범죄를 지도에 포함할지는 제작자가 결정할 수 있었다. [1:03:39]
  • 필요한 자료를 수집하기 어렵거나 비용이 많이 들면 기업은 다른 목적으로 이미 만들어진 자료를 가져다 쓴다. 이런 ‘편의 데이터셋’의 사례가 도시에서 여러 목적으로 집계한 범죄 통계를 동네 위험 지도에 재사용한 시티즌이다. [1:04:44]

33. 트위터는 이미지 중앙 대신 가장 중요한 부분을 고르려 했다

  • 긴 사진의 중앙을 잘라 미리보기를 만들면 위쪽의 미치 매코널과 아래쪽의 버락 오바마가 모두 빠지고 가운데 빈 공간만 보일 수 있었다. [1:05:40]
  • 강의에 따르면 트위터는 2020년 여름, 이미지에서 가장 중요하거나 흥미로운 부분을 고르는 자동 자르기 기능을 도입했다. 두 인물이 담긴 첫 시험 이미지에서는 위쪽에 있던 매코널이 미리보기에 나타났다. [1:06:29]

34. 인물의 위치를 바꾼 실험이 다른 사용자들의 검증으로 이어졌다

  • 첫 결과만 보면 알고리즘이 위쪽 인물을 기본으로 골랐을 가능성이 있었다. 그러나 오바마를 위에, 매코널을 아래에 놓은 두 번째 이미지에서도 매코널이 나타났다. 두 결과를 단순한 위치 차이로 설명하기는 어려웠다. [1:07:13]
  • 게시물이 퍼지자 사용자들은 드라마 배우, 코미디 배우, 만화 캐릭터로 같은 비교를 반복했다. 강의에서 언급한 사례들에서는 만화에서도 비슷한 선택 경향이 나타났다. [1:07:57]

35. 사용 중 발견한 문제를 정량적 평가로 발전시킬 수 있다

  • 사용자들이 여러 이미지에서 반복되는 문제를 찾아낸 사례는 트위터가 배포 전에 더 폭넓게 시험할 필요가 있었음을 보여준다. 일반 사용자도 대기업이 배포한 알고리즘을 직접 평가할 수 있다. [1:08:37]
  • AI의 글쓰기 문체처럼 사용 중 불편했던 점은 정량적으로 검증할 질문의 출발점이 될 수 있다. 학생들에게 주어진 과제는 수업에서 사용한 모델 등을 떠올려 실험 아이디어를 정리하고 다음 주 튜토리얼에 가져가는 것이었다. [1:09:14]

🧾 결론

  • 작업 명세에 평가 기준을 함께 적어 두면, 구현자와 검토자는 같은 기준으로 결과를 확인하고 사용자는 중요한 설계 결정을 직접 판단할 수 있다.
  • 배포 후 평가에서는 오류율을 계산하기 전에 누구의 결과가 기록에서 빠졌는지 살펴야 한다. 특히 AI의 권고가 실제 결정으로 이어지면 그 권고가 틀렸음을 보여 줄 사례가 사라질 수 있다.
  • 사용자가 발견한 문제도 평가의 출발점이 된다. 트위터의 이미지 자동 자르기 사례처럼 반복해서 나타나는 현상을 찾으면, 어떤 조건에서 얼마나 자주 발생하는지 시험할 수 있다.

📈 투자·시사 포인트

  • 반복 업무의 비용을 따질 때는 AI를 언제 호출하는지 살펴볼 만하다. 법안 조회처럼 같은 정보를 자주 찾는 일은 AI로 전용 대시보드를 한 번 만들어 이후 조회에 드는 연산과 토큰 비용을 줄일 수 있다.
  • AI 제품을 검토할 때 사용자 증가율·만족도와 함께 환각 빈도·편향·도구 호출 정확도를 확인필요가 있다. 이용자는 늘어도 모델이 어떤 오류를 얼마나 자주 내는지는 이용 지표만으로 알기 어렵다.
  • 모델 선정에서는 공개 벤치마크로 더 작은 모델도 후보가 될지 살펴보고, 제품 고유 기능은 자체 검사로 확인할 수 있다. 조직이 민감한 정보를 다룬다면 도구뿐 아니라 연결 기능별로 허용된 데이터 등급과 계약 조건도 도입 판단에 영향을 준다.

⚠️ 불확실하거나 확인이 필요한 부분

  • AI 채점 도구가 과거 과제에서 사람과 비슷한 점수를 냈다는 것은 강의에서 보고된 결과다. 학생들이 도입 후 제출 방식을 실제로 바꿨는지, 그로 인해 채점 성능이 얼마나 달라졌는지는 제시되지 않았다.
  • 첫 90일 기록으로 이후 성과를 모두 맞힌 회사는 생존자 편향을 설명하기 위한 가상 사례다. 실제 기업의 인사 예측 정확도를 뒷받침하는 수치로 해석할 수 없다.
  • 스탠퍼드 사례에서 고위험 데이터에 대한 보호 조항은 일부 도구에 적용된다. 실제 사용 가능 여부는 해당 도구와 연결 기능의 승인 범위에 따라 달라진다.
  • 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
  • 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
  • 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

  • 다음 개발 명세에 도구의 용도, 유지해야 할 인터페이스, 단위 테스트로 확인할 동작을 적고 구현에 참여하지 않은 검토자가 확인할 수 있게 한다.
  • 배포 후 평가표에 AI 권고에 따라 어떤 결정이 내려지고 누구의 결과가 기록에서 빠지는지 적는다. 현재 데이터로 답할 수 없는 질문도 표시한다.
  • 사용 중 발견한 오류 하나를 골라 응답별 판정 기준을 정한다. 정답으로 삼을 자료의 수집 목적과 누락 가능성을 확인한 뒤 오류 빈도를 계산한다.
  • 개인정보를 처리하는 기능은 연결 도구의 허용 데이터 등급, 입력 자료의 학습 이용 여부, 서비스 종료 후 보관 자료의 처리 방식을 확인한다.

❓ 열린 질문

  • AI 채점 도입 뒤 제출 방식이 달라진다면, 어떤 과제를 다시 평가해야 사람의 채점과 AI 채점 사이의 차이를 알아낼 수 있을까?
  • AI의 권고 때문에 일부 결과를 관찰할 수 없을 때, 현재 데이터로 검증할 수 있는 예측과 판단을 유보해야 할 예측을 어떻게 구분할까?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.