🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

클로드 MCP 커넥터 강의의 핵심은 크롤링을 “가능한 자동화”가 아니라 데이터 소유권·서버 부담·차단 신호를 고려해 안전하게 설계한 뒤, 수집 데이터를 한글 HWPX 문서 자동화까지 연결하는 실습 흐름이다.

📌 핵심 요점

1. 강의는 클로드 MCP 활용 크롤링, MCP 없이 처리하는 크롤링, Playwright 기반 실습, 한글 HWPX 스킬을 통한 문서 작성 자동화를 하나의 흐름으로 연결한다.
2. 크롤링은 공개 웹페이지의 데이터를 가져오는 기술이지만, 데이터 소유자 입장에서는 무단 수집·서버 과부하·상업적 재판매·경쟁 서비스 복제로 받아들여질 수 있어 학습용·개인용 범위에서도 주의가 필요하다.
3. 실습의 기본 원칙은 짧은 시간에 많은 요청을 보내지 않는 것, 코드 기반 접근 차단을 우회하지 않는 것, robots.txt의 Allow를 무제한 허가로 오해하지 않는 것이다.
4. AI가 크롤링 코드를 상당 부분 작성해 줄 수 있어도, 사용자가 원하는 데이터가 HTML 요소·태그·셀렉터·XPath 중 어디에 있는지 설명하고 지정하는 능력은 여전히 핵심이다.
5. books.toscrape.com 실습에서는 책 제목·가격·별점·재고 같은 데이터를 셀렉터로 지정해 CSV로 수집하고, 이후 HWPX 스킬을 통해 민원 신청서 같은 정해진 한글 양식에 자동 입력하는 예시로 확장된다.

🧩 배경과 문제 정의

• 클로드 MCP를 활용한 크롤링, MCP 없이 처리하는 크롤링, 한글 스킬 기반 문서 작성이 하나의 실습 흐름으로 이어진다.
• 크롤링은 기술적으로 가능하더라도 데이터 소유권, 서버 부담, 상업적 이용, 차단 우회 등 윤리·법적 쟁점을 함께 고려해야 한다.
• 학습용·개인용 데이터 수집이라도 사이트 운영자가 불편해할 수 있는 지점을 피해야 실제 문제 발생 가능성을 낮출 수 있다.
• 이번 강의는 크롤링 실습에 앞서 합법성, 서버 부담, 데이터 소유권에 대한 기본 원칙을 정리하고, 이를 실제 자동화 흐름으로 확장하는 데 초점을 둔다.

🕒 시간순 섹션별 상세정리

1. 강의 범위와 실습 목표 설정

• 주요 범위는 MCP를 활용한 크롤링, MCP 없이 처리하는 크롤링, 한글 문서 작성을 위한 한글 스킬 활용이다 [00:55]
• 개정 도서 강의의 성격을 띠며, 책을 보며 아쉬웠던 지점을 실습 흐름으로 보완하는 맥락에서 진행된다 [01:19]

2. 크롤링 윤리와 학습용 데이터 수집의 경계

• 전체 흐름은 크롤링 윤리, 크롤링의 이해와 실행, 한글 스킬을 활용한 문서 작성으로 구성된다 [02:30]
• 불법 소지가 있는 사이트는 제외하고, 학습 목적으로 데이터 수집이 가능한 곳을 활용하는 방향을 잡는다 [03:21]

3. 데이터 소유자의 불편함과 크롤링의 기본 태도

• 데이터 소유자가 아닌 사람이 “크롤링해도 된다”고 단정할 수는 없으며, 소유자 관점에서는 불편함이 생길 수 있다 [04:11]
• 학습용·개인용 목적이라도 사이트 운영자가 무엇을 불편해하는지 이해하면 불필요한 충돌을 줄일 수 있다 [04:46]

4. 서버 부담을 줄이는 요청 속도와 실습용 사이트

• Books to Scrape는 스크래핑 연습용 사이트이며, 링크 이동·복사·뒤로 가기를 반복하는 과정이 크롤링의 기본 형태다 [05:47]
• 사람이 직접 하면 느린 작업도 코드로 바꾸면 매우 빠르게 반복되므로, 서버에 큰 부담을 줄 수 있다 [06:21]

5. 수집 데이터의 판매와 경쟁 서비스 복제 리스크

• 크롤링한 데이터를 판매하는 것은 문제가 될 수 있으며, 사이트가 공개되어 있다고 해서 상업적 재판매가 허용되는 것은 아니다 [08:35]
• 숙박 사이트의 가격·할인율·상품 정보를 수집해 유사 서비스를 만들면 원 사이트의 손님과 수익을 빼앗는 구조가 된다 [08:52]

6. 차단 우회와 robots.txt의 제한 신호

• 사이트가 코드 기반 접근을 차단했다면 “오지 말라”는 신호로 봐야 하며, 우회 접근은 잠긴 곳을 넘어 들어가는 것과 비슷하다 [10:12]
• 우회 방법을 찾거나 요청하는 접근은 법적 위험을 키우며, 차단을 뚫으려는 시도 자체가 별도 문제가 될 수 있다 [10:49]

7. robots.txt 권고와 크롤링 윤리 리스크

• robots.txt에 Allow가 있다고 해서 모든 데이터를 자유롭게 가져가도 된다는 뜻은 아니며, 기본적으로 권고에 가까운 성격이다 [12:08]
• 권고상 허용되어 있어도 사이트 운영자나 플랫폼이 문제를 제기하면 분쟁으로 이어질 수 있다 [12:39]

8. 손으로 하던 복사·정리 작업의 자동화

• 도서 예제에서는 파이어크롤과 Playwright가 크롤링 도구로 다뤄졌고, 이번 실습은 Playwright를 중심으로 진행된다 [13:26]
• 웹브라우저에서 책 제목, 별점, 가격 같은 정보를 한 페이지에서 가져와 정리하는 상황이 기본 예시가 된다 [13:43]

9. AI 시대에도 남는 핵심 기본기

• 과거에는 크롤링을 위해 BeautifulSoup, Python, 코드 작성 능력이 필요했지만, 이제는 AI가 코드 작성의 상당 부분을 대신한다 [14:40]
• 코드 작성 부담은 줄었지만, 원하는 사이트 데이터가 어디에 있는지 설명하는 능력은 여전히 중요한 기본기다 [15:01]

10. 웹페이지 요소와 데이터 위치의 개념

• 웹페이지에 보이는 텍스트와 데이터는 각각 요소, 즉 엘리먼트로 구성된다 [16:37]
• 꾸밈 요소를 제외한 실제 텍스트 데이터도 요소로 볼 수 있으며, 크롤링은 이 요소들의 위치를 찾는 작업과 연결된다 [17:07]

11. 실습 사이트와 참여 속도 조정

• books.toscrape.com은 학습용 스크레이핑 연습 사이트로, 상품 이름·가격·별점·댓글 같은 데이터 수집 연습에 적합하다 [17:54]
• 참여자들의 접속 여부와 실습 인원에 맞춰 요소 찾기 과정을 더 천천히 진행할 필요가 있다 [18:31]