꾸준함이 말미암아

Regression(회귀) 통계학에서 사용하는 자료 분석 방법 중 하나로, 간략히 표현해 여러 자료들 간의 관계성을 수학적으로 추정, 설명한다. 흔히들 통계학의 꽃이라고 한다. 인과관계를 증명하는 방법이 아니라, 인과관계가 상정된 모델을 구현할 수 있는 방법이다. ▶ y = wx x = input data. y = ouput data. w(weight) = 회귀분석이 찾는 최적의 값. 절대값, 제곱중 제곱으로 계산한다. 둘 중 제곱의 값이 에러값을 더 크게 제공한다. 에러 제곱의 합(SE) : square Error 에러 제곱의 합의 평균(MSE) : mean square error(Cost function, RSS(w)) Cost fuction, RSS(w)의 최소값을 찾는것 w를 찾는것을 머신러닝, ..

Deep Learning 딥 러닝(Deep Learning)은 머신 러닝(Machine Learning)의 특정한 한 분야로서 인공 신경망(Artificial Neural Network)의 층을 연속적으로 깊게 쌓아올려 데이터를 학습하는 방식을 말한다. 딥 러닝이 화두가 되기 시작한 것은 2010년대의 비교적 최근의 일이지만, 딥 러닝의 기본 구조인 인공 신경망의 역사는 생각보다 오래되었다. ▶ 퍼셉트론(Perceptron) 프랑크 로젠블라트(Frank Rosenblatt)가 1957년에 제안한 초기 형태의 인공 신경망으로 다수의 입력으로부터 하나의 결과를 내보내는 알고리즘 퍼셉트론은 실제 뇌를 구성하는 신경 세포 뉴런의 동작과 유사한데, 뉴런은 가지돌기에서 신호를 받아들이고, 이 신호가 일정치 이상의 ..

초기화 함수 ▶ Keras.initailizers Keras가 기본으로 제공하는 초기화 함수. Keras layer의 초기값을 어떤 방식으로 생성할 것인지를 결정합니다. Dense(2, activation='relu', kernel_initializer=initializer1)(ip) initializer1 = keras.initializers.RandomNormal(mean=0, stddev=1.) initializer2 = keras.initializers.RandomUniform(minval=0, maxval=1.) initializer3 = keras.initializers.TruncatedNormal(mean=0., stddev=1.) initializer4 = keras.initializers..

Functional API Sequential API는 여러층을 공유하거나 다양한 종류의 입력과 출력을 사용하는 등의 복잡한 모델을 만드는 일에는 한계가 있어더욱 복잡한 모델을 생성할 수 있는 방식인 Functional API(함수형 API)를 사용. 각 레이어를 함수로서 정의. 반드시 입력층을 정의. ▶ 기본 활용문 from tensorflow.keras.layers import Input, Dense, concatenate from tensorflow.keras.models import Model, load_model inputs = Input(shape=(10,)) # 입력층 hidden1 = Dense(64, activation='relu')(inputs) # 히든레이어1을 입력층과 연결 hidd..

빅데이터 분석 절차 데이터 수집 → EDA, 전처리 → Decision Tree 선정 → 학습 → 결과 확인 → (정성적 분석) → (위험성 분석) → 시스템 적용 → 모델 활용 예측 ▶ TAINGING, VALIDATION, AND TESTING Training Set : A data set of examples used during the learning process and is used to fit the parameters of a model. Validation Set : A data set of examples used to tune the hyperparameter of a model. Testing set : A data set that is independent of the traini..

문제 0보다 크거나 같은 정수 N이 주어진다. 이때, N!을 출력하는 프로그램을 작성하시오. 예제 입력 1 10 예제 출력 1 3628800 예제 입력 2 0 예제 출력 2 1 factorial(팩토리얼) 계승이라는 뜻 1부터 지정된 수 까지 모든 수의 곱을 의미한다. 수학 기호로는 '!'를 숫자뒤에 붙여 표시한다. ▶ 재귀함수 미사용. def solution(num) : a = 1 for i in range(2, num+1): a = a * i return a N = int(input()) print(solution(N)) ▶ 재귀함수 사용. def solution(num, a) : if num == 1 or num == 0: return a else : a = a*num num = num-1 retu..

이진수 변환 문제 자연수 N이 주어진다. N을 이진수로 바꿔서 출력하는 프로그램을 작성하시오. 입력 첫째 줄에 자연수 N이 주어진다. (1 ≤ N ≤ 100,000,000,000,000) 출력 N을 이진수로 바꿔서 출력한다. 이진수는 0으로 시작하면 안 된다. 예제 입력 1 복사 53 예제 출력 1 복사 110101 ▶ 10진수를 2진수로 10진수 11을 x, 변환한 이진수를 y라 가정할 때 x를 2로 나눈 나머지를 이진수 y의 첫째 자리에 오게한다. 1에서 나눈 몫을 다시 2로 나눠 y의 둘째 자리에 오게한다. 이를 x를 2로 나누 몫이 0이 될 때 까지 진행한다. def solution(num) : if num == 0 : return else : solution(num//2) print(num%2,..

빅데이터 분석 절차 데이터 수집 → EDA, 전처리 → Decision Tree 선정 → 학습 → 결과 확인 → (정성적 분석) → (위험성 분석) → 시스템 적용 → 모델 활용 예측 3. 모델 선택 Maschine Learning. 컴퓨터 프로그램이 알고리즘을 사용하여 데이터에서 패턴을 찾는 인공 지능 애플리케이션. ▶ 머신러닝을 사용하는 이유 전통적 프로그래밍 기법은 규칙이 점점 길고 복잡해지므로 유지보수가 매우 힘듬. 머신러닝 기법에 기반을 둔 스팸 필터는 일반 메일에 비해 스팸에 자주 나타나는 패턴을 감지하여 어떤 단어와 구절이 스팸 메일을 판단하는데 좋은 기준인지 자동으로 학습함. 전통적인 방식으로는 너무 복잡하거나 알려진 알고리즘이 없는 분야 (예 : 음성인식) ▶ 머신러닝의 장점 기존 솔루션..

빅데이터 분석 절차 2. 데이터 전처리 (EDA : 탐색적 데이터 분석) 컬럼명 해석. 변수명. 정의. ▷ 상위, 하위 5개의 컬럼 확인. df_t.head(5) df_t.tail(5) ▷ 데이터의 정보 확인. df_t.dtypes df_t.shape df_t.info() # # RangeIndex: 891 entries, 0 to 890 # Data columns (total 15 columns): # # Column Non-Null Count Dtype # --- ------ -------------- ----- # 0 survived 891 non-null int64 # 1 pclass 891 non-null int64 # 2 sex 891 non-null object # 3 age 714 non-..

빅데이터 분석 절차 1. 데이터 수집 프로젝트 기간이 1년이라면 9개월 정도가 소요된다. 전문성이 없는 작업자들이 진행하는 데이터는 편향성을 가질 수 도 있다. (알바 고용시) ▷ 데이터를 불러옵니다. (예시) df_t = sns.load_dataset('titanic')