꾸준함이 말미암아

Anaconda 가상환경 생성 사용하고 있는 버전이 다를 때 가상환경에서 새로운 버전을 가져온뒤 작업을 진행합니다 터미널에서 실행합니다. ▶ 가상환경 생성 conda create -n 생성이름 ▶ 가상환경 실행 conda activate 생성이름 ▶ 가상환경에 numpy 설치 버전을 입력하지 않은면 최신 버전이 설치됩니다. conda install numpy (버전)

Ready ▶ BeautifulSoup을 설치한다. * 주피터 노트북 사용 예 !pip install bs4 ▶ Selenium을 설치한다. Selenium은 웹 브라우저를 컨트롤하여 UI를 Automation하는 도구다. !pip install selenium ▶ 각종 라이브러리를 불러온다. import bs4 from bs4 import BeautifulSoup from selenium import webdriver import time import sys Element Access HTML코드에 데이터 정보를 가져오기 위한 여러가지 방법이 있다. ▶ id 유니크한 값이다. # id로 가져온다. # driver.find_element_by_id("btnMenu").click() ▶ name 중복한 값..

CRAWLING 웹 페이지에서 필요한 데이터를 추출해내는 작업. CRAWLING을 하는 프로그램을 Crawler라고 한다. BeautifulSoup HTML파일을 BeautifulSoup객체로 만들 수 있다 변수 이름은 관습적으로 soup이라고 한다. html.parser는 BeautifulSoup객체에게 HTML을 분석하라고 지시하는 의미를 가지고 있다. html.parser는 파이썬 내장 클래스로 별도로 작성하지 않으면 자동으로 작동된다. # 현재 페이지의 html 코드를 full_html에 저장한다. full_html = driver.page_source soup = BeautifulSoup(full_html, "html.parser") index.html이라는 html파일로 BeautifulSou..

WEB CRAWLING ▶ 웹 크롤링의 원리 ▶ 웹 크롤링의 주의사항 실제 운영되고 있는 사이트에서 크롤링한 데이터를 업무상 목적으로 임의로 사용할 경우 법적인 문제가 발생할 수 있다. 이럴 경우 모든 법적 책임이 사용자에게 있으니 데이터를 수집할 수 있는 능력을 배웠다고 해서 수집된 데이터를 함부로 사용하면 절대로 안된다. 과도한 크롤링 작업으로 해당 사이트에 여러가지 문제나 손해가 발생할 경우 영업 방해로 법적인 책임을 질 수 있다. 이 부분도 아주 주의 해야합니다. ▷ bs4를 설치한다. !pip install bs4 ▷ selenium을 설치한다. 4.2.1 이상 버전부터 실행 문장들이 대폭 수정되었다. !pip install selenium==4.2.0 ▷ 필요한 모듈과 라이브러리를 로딩하고 검..

Module 클래스, 함수, 변수와 같은 여러가지 코드를 하나로 모아놓은 파일 한번 제작후 여러번 사용이 가능하다. 다른 개발자가 만들어 놓은 파일을 가져와서 사용할 수 있다. ▶ Module내 함수 호출 import 모듈명 모듈명.함수명() ▶ Module내 특정 함수 사용 from 모듈명 import 함수명 함수명() ▶ Module의 단축명 지정 import 모듈명 as 단축명 단축명.함수명() 내장함수 print(), del(), type()과 같이 아무런 설정 없이 바로 사용할 수 있는 파이썬 자체에 내장되어 있는 함수. 모듈 불러오기 ▷ great1을 호출하여 사용한다. #great1.py from great1 import hello3 from math import sqrt #great4.p..

Package 서로 관련된 모듈을을 한 폴더로 모아 놓은 것 도트를 사용하여 파이선 모듈을 계층적으로 관리할 수 있게 해준다. 예를 들어 모듈 이름이 A.B인 경우에 A는 패키지 이름이고 B는 A패키지의 B모듈이 된다. ※ 파이썬 모듈은 하나의 .py 파일이다. ▶ 구성 module file __init__.py (3.3Ver 부터는 생략 가능) ▶ __init__ 패키지 로딩 조건 등을 설정하며 import문이 실행 될 때 자동으로 실행된다. __all__ = ["파일명1", "파일명2", ...] 라이브러리 자주 사용하는 변수나 함수 등을 모듈, 패키지로 미리 만들어 놓은 것 ▶ 표준 라이브러리 파이썬 설치 시 기본으로 설치되는 라이브러리 별도의 import없이도 사용 가능 ▶ 외부 라이브러리 imp..

예외처리 예외란 실행 중에 발생하는 에러 특정 시점에서 예외가 발생하면 그 예외와 관련된 클래스의 인스턴스가 생성된다. 이 인스턴스는 자동으로 생성될 수도 있고 개발자가 생성할 수도 있다. Error ▶ Syntax Error(구문 오류) 프로그램 실행 전에 발생하는 오류 ▶ Runtime Error / Exception(예외) 프로그램 실행 중에 발생하는 오류 예외처리 형식 try : 예외가 발생할수 있는 문장 except (예외 클래스명) (as 예외 변수) : 예외 발생시 실행할 문장 else : 예외 미발생시 실행할 문장 finally : 예외 발생 여부에 상관없이 무조건 실행되는 문장 try : num = int(input("정수를 입력하세요 : ")) except : print("정수를 입력하..

class 객체에서 사용되는 속성과 메서드를 정의한 틀 객체 : 클래스로부터 생성되어 클래스의 속성과 메서드를 가진다. 속성 : 클래스와 객체에서 사용되는 변수 메서드 : 클래스와 객체에서 사용되는 함수 ▶ 기본 문법 class 클래스명 : 클래스 변수 = 값 def 메소드명(self, 매개변수..) : self.인스턴스변수 = 매개변수 ▶ 클래스명을 선언할 때 앞글자는 대문자를 사용한다. 클래스 내에 함수를 선언 할 때는 파라미터 앞에 첫번째 인자값에 self를 넣어야한다. * self가 꼭 아니더라도 상관없다. 파이썬 자체에서 첫번째 인자값을 자동으로 넘겨주기 때문이다. class MyClass : number = 100 def inc_10(self) : MyClass.number += 10 # 클래..

CSV FILE Comma-Separated Values의 약자 각 라인의 컬럼들이 콤마로 분리된 텍스트 파일 포맷이다. CSV FILE 읽기 ▶ os.listdir() 해당 주소의 파일들을 확인한다. ▶ os.path.isfile() 해당 주소의 파일이 있는지 참 거짓의 여부를 확인한다. ▶ encoding error시 대처 encoding 값을 utf8, utf16, utf32, cp949로 변경한다. import csv import os import os.path a = os.listdir("./encore_python/엔코아 파이썬 csv 실습 예제들/") print(a) file = "./encore_python/엔코아 파이썬 csv 실습 예ᄌ..

파일 읽기, 쓰기 ▶ 기본 문법 객체 = open(파일명, 모드, encoding="utf8") 객체.close() ▶ 파일 생성 file = open("smple.txt", "w") file.close() ▶ 경로 설정 ./ + tab : 하위 경로 ../ + tab : 상위 경로 ▶ 모드 파일 열기 모드 설명 "r" 읽기 모드. Default "w" 쓰기 모드. 기존 내용 삭제 "a" 쓰기 모드. 기존 내용 보존 "b" 이진 모드 "t" 텍스트 모드. Default 파일에 써보기 import os print(os.getcwd()) # 현재의 작업 폴더를 확인한다. f.write(문자열) # 데이터를 입력한다. import os print(os.getcwd()) # /Users/werther f = o..