회귀계수 추정에는 세 가지 방법이 있다. 1. 최소제곱법 2. 최대우도법 3. 오차항 가정 직접법 그 중에서도 가장 간단하고 많이 쓰이는 최소제곱법은 실제 y값과 모델에서 얻은 추정값 ax + b 사이의 차이인 오차항 e 를 이용한다. e = y - (ax + b) 이 오차항의 제곱의 합이 최소가 되도록 회귀 계수를 구한다. 이 과정에서 편미분이 사용된다. 실제 참값은 우리가 알 수 없고, 우리가 갖고 있는 데이터(표본)으로부터 얻어낸 회귀 계수 추정량이 B1_hat 이다. 따라서 B1_hat 은 다음과 같은 선형식으로 다시 나타낼 수 있다. B1_hat = ∑wiyi (i = 1, ..., n) = B1 + ∑wiei (i = 1, ..., n) - B1: 모수 - wi: 일종의 상수 - ei: 오차 ..
def mean_centering(X, Y): X = X - X.mean() Y = Y - Y.mean() return X, Y def z_transform(X, Y): X = (X - X.mean()) / X.std() Y = (Y - Y.mean()) / Y.std() return X, Y # 이상치에 덜 민감한 scaling 방법 찾기 from sklearn.preprocessing import StandardScaler, MinMaxScaler, RobustScaler def standard_scaling(X, Y): # StandardScaler standard_scaler = StandardScaler() X = standard_scaler.fit_transform(X) Y = standard..
알고리즘 이해 https://www.youtube.com/watch?v=OCprdWfgBkc 코드 구현 https://github.com/rohitner/adaptive-filters/blob/master/filters/PLS.py https://zephyrus1111.tistory.com/452 38. 부분 최소 제곱 회귀(Partial Least Square Regression : PLSR)에 대해서 알아보자 with Python 이번 포스팅에서는 부분 최소 제곱 회귀(Partial Least Square Regression : PLSR)에 대한 개념과 파이썬 구현 방법을 알아보고자 한다. - 목차 - 1. 부분 최소 제곱 회귀(Partial Least Square Regression : PLSR)란..
정규성 검정 from scipy.stats import shapiro, anderson 등분산성 검정 from scipy.stats import bartlett, fligner, levene 단순표본 T검정 from scipy.stats import ttest_1samp : 하나의 표본 집단의 평균이 주어진 기준값과 유의미한 차이가 있는지 검정 - 정규성 검정 - 단일표본 t검정이 학생들이 시험성적이 5개있을때 그 평균이 80과 같냐 라는 문제이잖아요. 근데 등분산성검정은 두 표본의 분산이 같냐 아니냐의 확인인거고, 그에 따라 방법론을 다르게하기위한 체크단계라, 1표본에서는 안해도됩니다 윌콕슨 검정 독립표본 T검정 from scipy.stats import ttest_ind : 두개의 독립된 표본 집단의..
Fine-tuning은 미리 학습된 모델을 가져와서 새로운 데이터셋에 맞게 세부 조정하는 과정을 의미합니다. 주로 전이 학습(transfer learning)에서 사용되며, 이미 잘 학습된 모델의 일부를 가져와서 기존 모델에 새로운 데이터를 학습시키는 방식입니다. Fine-tuning의 주요 단계는 다음과 같습니다: 1. Pretrained Model 선택: Fine-tuning을 위해 미리 학습된 모델을 선택합니다. 이는 대규모 데이터셋(예: ImageNet)에서 사전 학습된 모델일 수 있습니다. 2. 모델 아키텍처 변경: 선택한 미리 학습된 모델의 일부 계층을 가져와서 기존 모델의 아키텍처에 통합합니다. 이는 기존 모델의 일부 계층을 고정하고, 새로운 데이터에 대해 효과적인 특징을 추출하는 데 도움이..