개발/파이썬5 웹크롤링_네이버증권 배당 기업정보 1. 개요 - 배당주에 투자하기 위해 네이버증권에서 직전 3개년 배당금과 최근연도기준 배당수익률 등 기업정보 크롤링하기 2. 웹크로링 실행(1) 라이브러리 설치pip install requestspip install bs4 (2) 라이브러리 불러오기 import requestsfrom bs4 import BeautifulSoupimport csv (3) 데이터 요청 및 추출 url = "https://finance.naver.com/sise/sise_market_sum.naver?&page="for page in range(1, 5): res = requests.get(url + str(page)) res.raise_for_status() soup = BeautifulSoup(res... 2024. 6. 9. 웹크롤링_네이버증권 시가총액순 기업정보(심화) 1. 개요 - 네이버증권에서 시가총액순으로 기업정보 정렬시 기본 체크된 항목을 해제하고 다른 투자지표로 적용한 후 크롤링하기 2. 웹크로링 실행(1) 라이브러리 설치pip install pandas, selenium, lxml* pandas – 테이블 형태의 데이터 조작과 분석* selenium – 웹 브라우저에서 페이지 이동, 입력, 클릭 등 자동으로 실행* lxml – XML, HTML 문서에서 구조화된 데이터 가공 (2) 라이브러리 불러오기 import osimport pandas as pdfrom selenium import webdriverfrom selenium.webdriver.common.by import By (3) 데이터 요청 및 추출 browser = webdriver.Chrome.. 2024. 6. 9. 웹크롤링_네이버증권 시가총액순 기업정보 1. 개요 - 투자를 위한 기업의 기초정보 수집을 위해 네이버증권에서 코스피 시가총액순으로 정리된 기업정보 크롤링하기 2. 웹크로링 실행(1) 라이브러리 설치pip install requestspip install bs4* requests – 웹페이지에서 HTML 데이터 추출* beautifulsoup – requests 로 수집한 HTML 데이터를 분석하고 구조화된 형태로 변환 (2) 라이브러리 불러오기 import requestsfrom bs4 import BeautifulSoupimport csv (3) 데이터 요청 및 추출 url = "https://finance.naver.com/sise/sise_market_sum.naver?&page="for page in range(1, 5): r.. 2024. 6. 9. 웹크롤링_개요 1. 개요 - 크롤링 : 웹페이지의 정보를 탐색하고 수집하는 작업 - 절차 : 라이브러리 설치 → 라이브러리 불러오기 → 데이터 요청 → 데이터 추출 → 데이터 가공 2. 웹페이지 살펴보기 - 크롤링 전 홈페이지 구조를 보고 끌어올 태그 먼저 확인 (1) 개발자도구 열기 (2) 태그 확인 - 필요로 하는 데이터(콘텐츠 영역)가 어떠한 태그로 구성되어 있는지 확인 - 반대로 개발자도구 창의 ‘Elements’ 탭안에 html 태그가 홈페이지의 어느 영역을 나타내는지 확인 2024. 6. 9. 이전 1 2 다음
