웹크롤링_개요

1. 개요

  - 크롤링 : 웹페이지의 정보를 탐색하고 수집하는 작업

  - 절차 : 라이브러리 설치 → 라이브러리 불러오기 → 데이터 요청 → 데이터 추출 → 데이터 가공

 

 

2. 웹페이지 살펴보기

  - 크롤링 전 홈페이지 구조를 보고 끌어올 태그 먼저 확인

 

(1) 개발자도구 열기

(‘마우스 우클릭 → 검사’ 또는 ‘F12’)

 

(2) 태그 확인

  - 필요로 하는 데이터(콘텐츠 영역)가 어떠한 태그로 구성되어 있는지 확인

 

  - 반대로 개발자도구 창의 ‘Elements’ 탭안에 html 태그가 홈페이지의 어느 영역을 나타내는지 확인