개발8 웹크롤링_네이버증권 시가총액순 기업정보(심화) 1. 개요 - 네이버증권에서 시가총액순으로 기업정보 정렬시 기본 체크된 항목을 해제하고 다른 투자지표로 적용한 후 크롤링하기 2. 웹크로링 실행(1) 라이브러리 설치pip install pandas, selenium, lxml* pandas – 테이블 형태의 데이터 조작과 분석* selenium – 웹 브라우저에서 페이지 이동, 입력, 클릭 등 자동으로 실행* lxml – XML, HTML 문서에서 구조화된 데이터 가공 (2) 라이브러리 불러오기 import osimport pandas as pdfrom selenium import webdriverfrom selenium.webdriver.common.by import By (3) 데이터 요청 및 추출 browser = webdriver.Chrome.. 2024. 6. 9. 웹크롤링_네이버증권 시가총액순 기업정보 1. 개요 - 투자를 위한 기업의 기초정보 수집을 위해 네이버증권에서 코스피 시가총액순으로 정리된 기업정보 크롤링하기 2. 웹크로링 실행(1) 라이브러리 설치pip install requestspip install bs4* requests – 웹페이지에서 HTML 데이터 추출* beautifulsoup – requests 로 수집한 HTML 데이터를 분석하고 구조화된 형태로 변환 (2) 라이브러리 불러오기 import requestsfrom bs4 import BeautifulSoupimport csv (3) 데이터 요청 및 추출 url = "https://finance.naver.com/sise/sise_market_sum.naver?&page="for page in range(1, 5): r.. 2024. 6. 9. 웹크롤링_개요 1. 개요 - 크롤링 : 웹페이지의 정보를 탐색하고 수집하는 작업 - 절차 : 라이브러리 설치 → 라이브러리 불러오기 → 데이터 요청 → 데이터 추출 → 데이터 가공 2. 웹페이지 살펴보기 - 크롤링 전 홈페이지 구조를 보고 끌어올 태그 먼저 확인 (1) 개발자도구 열기 (2) 태그 확인 - 필요로 하는 데이터(콘텐츠 영역)가 어떠한 태그로 구성되어 있는지 확인 - 반대로 개발자도구 창의 ‘Elements’ 탭안에 html 태그가 홈페이지의 어느 영역을 나타내는지 확인 2024. 6. 9. 비주얼 스튜디오(Visual Studio) 설치 및 실행 1. 파이썬(Python) 설치(1) 다운로드(https://www.python.org/downloads/) (2) 설치 2. 비주얼 스튜디오(Visual Studio) 설치(1) 다운로드(https://code.visualstudio.com/) (2) 설치 3. 비주얼 스튜디오(Visual Studio) 실행(1) 확장프로그램 설치① 한국어 팩 설치 ② 파이썬 설치 (2) 폴더 생성① 프로젝트 폴더 생성 ② 폴더 만들기 ③ 파일 만들기 ④ 테스트 실행 2024. 6. 9. 이전 1 2 다음
