[알라딘] 이게 되네? 클로드 MCP 커넥터 미친 활용법 31제 강의

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

클로드 MCP 커넥터 강의의 핵심은 크롤링을 “가능한 자동화”가 아니라 데이터 소유권·서버 부담·차단 신호를 고려해 안전하게 설계한 뒤, 수집 데이터를 한글 HWPX 문서 자동화까지 연결하는 실습 흐름이다.

📌 핵심 요점

1. 강의는 클로드 MCP 활용 크롤링, MCP 없이 처리하는 크롤링, Playwright 기반 실습, 한글 HWPX 스킬을 통한 문서 작성 자동화를 하나의 흐름으로 연결한다.
2. 크롤링은 공개 웹페이지의 데이터를 가져오는 기술이지만, 데이터 소유자 입장에서는 무단 수집·서버 과부하·상업적 재판매·경쟁 서비스 복제로 받아들여질 수 있어 학습용·개인용 범위에서도 주의가 필요하다.
3. 실습의 기본 원칙은 짧은 시간에 많은 요청을 보내지 않는 것, 코드 기반 접근 차단을 우회하지 않는 것, robots.txt의 Allow를 무제한 허가로 오해하지 않는 것이다.
4. AI가 크롤링 코드를 상당 부분 작성해 줄 수 있어도, 사용자가 원하는 데이터가 HTML 요소·태그·셀렉터·XPath 중 어디에 있는지 설명하고 지정하는 능력은 여전히 핵심이다.
5. books.toscrape.com 실습에서는 책 제목·가격·별점·재고 같은 데이터를 셀렉터로 지정해 CSV로 수집하고, 이후 HWPX 스킬을 통해 민원 신청서 같은 정해진 한글 양식에 자동 입력하는 예시로 확장된다.

🧩 배경과 문제 정의

• 클로드 MCP를 활용한 크롤링, MCP 없이 처리하는 크롤링, 한글 스킬 기반 문서 작성이 하나의 실습 흐름으로 이어진다.
• 크롤링은 기술적으로 가능하더라도 데이터 소유권, 서버 부담, 상업적 이용, 차단 우회 등 윤리·법적 쟁점을 함께 고려해야 한다.
• 학습용·개인용 데이터 수집이라도 사이트 운영자가 불편해할 수 있는 지점을 피해야 실제 문제 발생 가능성을 낮출 수 있다.
• 이번 강의는 크롤링 실습에 앞서 합법성, 서버 부담, 데이터 소유권에 대한 기본 원칙을 정리하고, 이를 실제 자동화 흐름으로 확장하는 데 초점을 둔다.

🕒 시간순 섹션별 상세정리

1. 강의 범위와 실습 목표 설정

• 주요 범위는 MCP를 활용한 크롤링, MCP 없이 처리하는 크롤링, 한글 문서 작성을 위한 한글 스킬 활용이다 [00:55]
• 개정 도서 강의의 성격을 띠며, 책을 보며 아쉬웠던 지점을 실습 흐름으로 보완하는 맥락에서 진행된다 [01:19]

2. 크롤링 윤리와 학습용 데이터 수집의 경계

• 전체 흐름은 크롤링 윤리, 크롤링의 이해와 실행, 한글 스킬을 활용한 문서 작성으로 구성된다 [02:30]
• 불법 소지가 있는 사이트는 제외하고, 학습 목적으로 데이터 수집이 가능한 곳을 활용하는 방향을 잡는다 [03:21]

3. 데이터 소유자의 불편함과 크롤링의 기본 태도

• 데이터 소유자가 아닌 사람이 “크롤링해도 된다”고 단정할 수는 없으며, 소유자 관점에서는 불편함이 생길 수 있다 [04:11]
• 학습용·개인용 목적이라도 사이트 운영자가 무엇을 불편해하는지 이해하면 불필요한 충돌을 줄일 수 있다 [04:46]

4. 서버 부담을 줄이는 요청 속도와 실습용 사이트

• Books to Scrape는 스크래핑 연습용 사이트이며, 링크 이동·복사·뒤로 가기를 반복하는 과정이 크롤링의 기본 형태다 [05:47]
• 사람이 직접 하면 느린 작업도 코드로 바꾸면 매우 빠르게 반복되므로, 서버에 큰 부담을 줄 수 있다 [06:21]

5. 수집 데이터의 판매와 경쟁 서비스 복제 리스크

• 크롤링한 데이터를 판매하는 것은 문제가 될 수 있으며, 사이트가 공개되어 있다고 해서 상업적 재판매가 허용되는 것은 아니다 [08:35]
• 숙박 사이트의 가격·할인율·상품 정보를 수집해 유사 서비스를 만들면 원 사이트의 손님과 수익을 빼앗는 구조가 된다 [08:52]

6. 차단 우회와 robots.txt의 제한 신호

• 사이트가 코드 기반 접근을 차단했다면 “오지 말라”는 신호로 봐야 하며, 우회 접근은 잠긴 곳을 넘어 들어가는 것과 비슷하다 [10:12]
• 우회 방법을 찾거나 요청하는 접근은 법적 위험을 키우며, 차단을 뚫으려는 시도 자체가 별도 문제가 될 수 있다 [10:49]

7. robots.txt 권고와 크롤링 윤리 리스크

• robots.txt에 Allow가 있다고 해서 모든 데이터를 자유롭게 가져가도 된다는 뜻은 아니며, 기본적으로 권고에 가까운 성격이다 [12:08]
• 권고상 허용되어 있어도 사이트 운영자나 플랫폼이 문제를 제기하면 분쟁으로 이어질 수 있다 [12:39]

8. 손으로 하던 복사·정리 작업의 자동화

• 도서 예제에서는 파이어크롤과 Playwright가 크롤링 도구로 다뤄졌고, 이번 실습은 Playwright를 중심으로 진행된다 [13:26]
• 웹브라우저에서 책 제목, 별점, 가격 같은 정보를 한 페이지에서 가져와 정리하는 상황이 기본 예시가 된다 [13:43]

9. AI 시대에도 남는 핵심 기본기

• 과거에는 크롤링을 위해 BeautifulSoup, Python, 코드 작성 능력이 필요했지만, 이제는 AI가 코드 작성의 상당 부분을 대신한다 [14:40]
• 코드 작성 부담은 줄었지만, 원하는 사이트 데이터가 어디에 있는지 설명하는 능력은 여전히 중요한 기본기다 [15:01]

10. 웹페이지 요소와 데이터 위치의 개념

• 웹페이지에 보이는 텍스트와 데이터는 각각 요소, 즉 엘리먼트로 구성된다 [16:37]
• 꾸밈 요소를 제외한 실제 텍스트 데이터도 요소로 볼 수 있으며, 크롤링은 이 요소들의 위치를 찾는 작업과 연결된다 [17:07]

11. 실습 사이트와 참여 속도 조정

• books.toscrape.com은 학습용 스크레이핑 연습 사이트로, 상품 이름·가격·별점·댓글 같은 데이터 수집 연습에 적합하다 [17:54]
• 참여자들의 접속 여부와 실습 인원에 맞춰 요소 찾기 과정을 더 천천히 진행할 필요가 있다 [18:31]

12. 개발자 도구로 화면 데이터와 HTML 태그 연결하기

• 수집하려는 데이터 위에서 우클릭한 뒤 검사를 누르면, 화면의 선택 영역과 개발자 도구의 코드가 연결된다 [21:33]
• 개발자 도구에서 강조된 코드는 화면에 보이는 데이터가 실제로 위치한 HTML 부분이다 [22:03]

13. HTML 태그와 요소의 기본 구조

• 여는 태그와 닫는 태그가 텍스트를 감싸며, 그 안의 텍스트가 실제 데이터 알맹이 역할을 한다 [24:13]
• A 태그처럼 같은 이름의 여는 태그와 닫는 태그가 하나의 덩어리를 이루며, 이 닫힌 단위를 요소로 볼 수 있다 [24:44]

14. 웹 문서의 상하위 구조와 주소 개념

• 웹 문서 구조는 폴더가 단계적으로 펼쳐지는 형태처럼 보이며, 요소들은 상위·하위 관계로 배치된다 [25:27]
• 아파트의 동·층·호수처럼 웹페이지 요소도 계층 구조 안에서 위치를 가지며, 이를 주소처럼 표현할 수 있다 [26:16]

15. 크롬 개발자 도구에서 셀렉터 복사하기

• 크롬 개발자 도구에서 원하는 요소를 우클릭하면 카피 셀렉터, 카피 XPath, 카피 풀 XPath 중 하나로 위치 정보를 복사할 수 있다 [27:24]
• 카피 셀렉터를 선택하면 요소 위치가 클립보드에 저장되고, 붙여 넣으면 CSS 셀렉터 문자열로 확인된다 [27:42]

16. 클로드 코워크에 작업 폴더와 실행 권한 설정하기

• 클로드 데스크톱의 코워크에서 프로젝트 폴더를 지정하면, 해당 폴더 안의 파일을 작업할 권한이 생긴다 [30:04]
• 코드도 파일이므로 폴더 변경 권한은 크롤링 코드를 작성하고 수정할 수 있는 작업 권한으로 계속된다 [30:55]

17. 셀렉터를 이용한 단일 데이터 수집 실습

• 사이트 주소와 특정 제목 요소의 셀렉터를 함께 제공하고 해당 위치의 데이터를 수집하라고 요청하면 크롤링이 시작된다 [31:29]
• 텍스트 하나를 가져오는 단위 작업을 완성하면, 같은 방식으로 여러 위치를 반복 지정해 데이터를 모을 수 있다 [32:15]

18. 여러 필드 선택과 복잡한 사이트에서의 필요성

• 책 하나에서 이미지, 별점, 제목, 가격, 재고 상태를 가져오려면 각 필드의 정확한 요소를 검사하고 셀렉터를 따로 복사해야 한다 [33:13]
• 별점은 별 하나가 아니라 전체 평점 영역을 잡아야 하며, 가격과 재고 상태도 정확한 요소를 찾아야 한다 [34:03]

19. 단위 데이터 패턴과 다음 위치 반복 수집

• 복잡한 사이트에서는 한 항목의 이미지, 제목, 가격, 재고 상태 같은 데이터 단위를 먼저 지정하면 동일 구조를 기준으로 반복 수집할 수 있다 [36:17]
• 첫 번째 항목의 구조를 상세히 짚어주면, 두 번째 항목부터는 같은 패턴으로 제목·별점·가격·재고·이미지를 가져올 수 있다 [37:26]

20. CSV 확인과 카테고리 단위 확장

• 작업 폴더 안에는 수집 데이터가 파일 형태로 저장되며, 크롤링 결과가 실제 로컬 폴더에 생성됐는지 확인할 수 있다 [38:56]
• 같은 카테고리 내부의 항목 반복 수집이 끝나면, 다음 카테고리로 이동하는 규칙이 필요해진다 [39:15]

21. 다섯 카테고리 수집 완료와 크롤링의 경계

• 카테고리 이동 규칙과 항목 반복 규칙을 결합하면 여러 카테고리에서 데이터를 순차적으로 모을 수 있다 [40:23]
• 크롤링의 핵심은 요소 위치를 이해하고, 발견한 규칙에 맞춰 지시를 내리는 데 있다 [40:47]

22. 한글 HWPX 스킬 도입과 설치 흐름

• 크롤링 다음 단계는 수집 데이터를 한글 문서로 작성하는 자동화이며, 이를 위해 별도의 한글 스킬을 활용한다 [42:35]
• 한글 스킬은 에이전트가 읽어 사용할 수 있는 형태의 스킬이며, HWPX 문서 생성 작업에 활용할 수 있다 [43:25]

23. 템플릿 문서와 수집 데이터 입력 방식

• 한글 스킬의 핵심은 기존 템플릿 문서를 그대로 활용해, 정해진 양식 안에 필요한 데이터를 입력하는 데 있다 [44:33]
• 보고서 양식이나 한글 기반 업무 문서가 있으면, 에이전트가 양식을 유지한 채 필요한 정보를 채워 넣을 수 있다 [44:42]

24. 수집 데이터로 민원 신청서 자동 작성 지시

• 민원 신청서 양식에는 표 형태의 신청 내용 영역이 있으며, 앞서 크롤링한 도서 데이터를 이 영역에 입력하는 실험을 진행할 수 있다 [46:24]
• 클로드 작업 폴더에 다운로드한 민원 신청서 HWPX 파일을 넣으면, 에이전트가 같은 작업 맥락 안에서 문서를 참조할 수 있다 [47:11]

25. 수집 데이터와 한글 스킬을 연결한 문서 자동 작성

• 스킬을 사용하면 코워크에서 수집한 폴더 데이터를 확인하고, 한글 문서의 본문 구조와 표 양식에 맞춰 내용을 채울 수 있다 [48:15]
• 한글 스킬에는 표 구조와 본문 양식을 확인하는 절차가 포함돼 있어, 문서 작성 흐름이 클로드 코워크 안에서 자연스럽게 계속된다 [48:30]

26. 자동화 속도와 반복 처리 효율

• 문서 한 개를 만드는 데 시간이 걸리더라도, 하루에 여러 파일을 처리해야 한다면 20~30분 안에 여러 문서를 끝내는 방식이 더 효율적이다 [50:03]
• 생성된 한글 문서는 서체나 자간 때문에 일부 입력 폭이 어색할 수 있지만, 여백과 구조를 유지한 채 데이터 입력은 완료된다 [50:39]

27. 실습 마무리와 민원서 예시 확인

• 크롤링 원리부터 한글 스킬 활용까지 하나의 흐름으로 연결되며, 이후 강의는 질문 응답과 마무리 단계로 넘어간다 [51:35]
• 정렬 작업도 자동 지시로 처리할 수 있고, 문서 내부 입력값과 서식 상태를 확인하며 추가 보정을 이어갈 수 있다 [52:07]

28. 인스타그램·쓰레드 크롤링의 리스크와 API 대안

• 인스타그램과 쓰레드 크롤링은 불법과 합법의 경계에 가까우며, 대량 트래픽을 유발하면 차단될 가능성이 크다 [53:21]
• 남의 정보성 텍스트를 긁어와 자기 글처럼 올리면 원문 작성자가 문제를 제기할 수 있고, 데이터 소유권은 글쓴 사람에게 남는다 [53:59]

29. 트래픽 차단 주의와 강의 종료

• 인공지능과 데이터 활용이 보편화되면서 단순 데이터 수집만으로 큰 법적 문제까지 이어질 가능성은 낮아 보이지만, 트래픽 유발로 차단되는 상황은 주의해야 한다 [56:15]
• 지식 전달에서는 단순 답변보다 전체 흐름과 쉬운 설명이 중요하며, 어려운 내용을 쉽게 풀어내는 방향이 유튜브 운영 이유와 맞닿아 있다 [56:51]

🧾 결론

• 이 강의는 “크롤링을 어떻게 시키는가”보다 “어디까지 해도 되는가”와 “AI에게 무엇을 정확히 알려줘야 하는가”를 함께 다룬다.
• 크롤링의 실무적 출발점은 개발자 도구로 화면의 데이터와 HTML 요소를 연결하고, 셀렉터나 XPath로 원하는 위치를 구체적으로 지정하는 것이다.
• Claude 코워크와 같은 에이전트 환경에서는 작업 폴더 권한, 실행 권한, 반복 지시를 통해 단일 데이터 수집에서 카테고리 단위 반복 수집까지 확장할 수 있다.
• 수집된 데이터는 CSV 같은 파일 결과물로 끝나는 것이 아니라, HWPX 스킬을 이용해 기존 한글 서식의 표와 본문에 자동 입력하는 업무 자동화로 이어질 수 있다.
• 다만 영상에서 다루는 법적·윤리적 설명은 일반 원칙 수준이므로, 실제 상업 서비스나 민감한 플랫폼 데이터를 다룰 때는 사이트 약관, robots.txt, 공식 API 제공 여부, 권리자 입장을 별도로 확인해야 한다.

📈 투자·시사 포인트

• 반복적인 웹 데이터 수집과 문서 작성 업무는 AI 에이전트와 브라우저 자동화, 문서 생성 스킬이 결합될 때 큰 시간 절감 효과를 낼 수 있다.
• 단순 코딩 능력보다 데이터 위치를 구조적으로 설명하는 능력, 즉 웹 요소·셀렉터·반복 패턴을 이해하는 역량의 가치가 커진다.
• 기업이나 개인이 크롤링 자동화를 도입할 때는 “빨리 많이 긁기”가 아니라 요청 속도 제한, 공식 API 우선 검토, 차단 신호 존중 같은 운영 원칙을 함께 설계해야 한다.
• 한글 문서, 신청서, 보고서처럼 정해진 양식에 반복적으로 데이터를 넣는 업무는 HWPX 템플릿 자동화의 직접적인 적용 대상이 될 수 있다.
• 검증이 필요한 부분은 실제 법적 책임, 플랫폼별 허용 범위, 상업적 재사용 가능성이다. 영상 내용만으로 특정 사이트 크롤링이 합법이라고 단정하기보다는, 각 사이트의 약관과 데이터 권리 관계를 별도로 확인해야 한다.

⚠️ 불확실하거나 확인이 필요한 부분

• 크롤링의 합법성은 영상에서 원칙과 리스크 중심으로 설명되지만, 실제 허용 여부는 각 사이트의 이용약관, robots.txt, 데이터 성격, 수집 목적, 관할 법령에 따라 달라질 수 있으므로 별도 확인이 필요하다.
• “이미 판례가 있는 유형”이라는 언급은 있으나, 구체적인 사건명·판결번호·적용 범위가 제시되지 않았으므로 상업적 재판매나 경쟁 서비스 복제 판단에 그대로 적용하려면 법적 근거 확인이 필요하다.
• robots.txt의 Allow/Disallow는 사이트 운영자의 접근 제한 신호로 설명되지만, 이것이 법적으로 어느 정도 효력을 갖는지는 상황별로 다를 수 있어 약관과 함께 검토해야 한다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 크롤링 대상 사이트를 정하기 전에 이용약관, robots.txt, 공식 API 제공 여부를 먼저 확인한다.
• 학습용 실습은 books.toscrape.com처럼 스크래핑 연습을 목적으로 제공된 사이트에서 시작한다.
• 요청 속도 제한을 설정해 짧은 시간에 대량 요청이 발생하지 않도록 한다.
• 수집한 데이터를 판매하거나 경쟁 서비스 복제에 사용하는 시나리오는 제외한다.

❓ 열린 질문

• 학습용·개인용 크롤링과 상업적 활용 사이의 경계는 실제 프로젝트에서 어떤 기준으로 판단해야 할까?
• robots.txt에서 Allow된 영역이라도 약관에서 자동 수집을 금지한다면 어떤 기준을 우선해야 할까?
• AI 에이전트에게 셀렉터를 전달하는 방식과 사람이 직접 크롤링 코드를 작성하는 방식 중 어느 쪽이 더 안정적인가?