반응형

selenium 2

[Python] CRAWLING - Element Access

Ready ▶ BeautifulSoup을 설치한다. * 주피터 노트북 사용 예 !pip install bs4 ▶ Selenium을 설치한다. Selenium은 웹 브라우저를 컨트롤하여 UI를 Automation하는 도구다. !pip install selenium ▶ 각종 라이브러리를 불러온다. import bs4 from bs4 import BeautifulSoup from selenium import webdriver import time import sys Element Access HTML코드에 데이터 정보를 가져오기 위한 여러가지 방법이 있다. ▶ id 유니크한 값이다. # id로 가져온다. # driver.find_element_by_id("btnMenu").click() ▶ name 중복한 값..

Python 2022.09.16

[python] WEB CRAWLING

WEB CRAWLING ▶ 웹 크롤링의 원리 ▶ 웹 크롤링의 주의사항 실제 운영되고 있는 사이트에서 크롤링한 데이터를 업무상 목적으로 임의로 사용할 경우 법적인 문제가 발생할 수 있다. 이럴 경우 모든 법적 책임이 사용자에게 있으니 데이터를 수집할 수 있는 능력을 배웠다고 해서 수집된 데이터를 함부로 사용하면 절대로 안된다. 과도한 크롤링 작업으로 해당 사이트에 여러가지 문제나 손해가 발생할 경우 영업 방해로 법적인 책임을 질 수 있다. 이 부분도 아주 주의 해야합니다. ▷ bs4를 설치한다. !pip install bs4 ▷ selenium을 설치한다. 4.2.1 이상 버전부터 실행 문장들이 대폭 수정되었다. !pip install selenium==4.2.0 ▷ 필요한 모듈과 라이브러리를 로딩하고 검..

Python 2022.09.08
반응형