티스토리 뷰
회귀계수 추정에는 세 가지 방법이 있다.
1. 최소제곱법
2. 최대우도법
3. 오차항 가정 직접법
그 중에서도 가장 간단하고 많이 쓰이는 최소제곱법은 실제 y값과 모델에서 얻은 추정값 ax + b 사이의 차이인 오차항 e 를 이용한다.
e = y - (ax + b)
이 오차항의 제곱의 합이 최소가 되도록 회귀 계수를 구한다.
이 과정에서 편미분이 사용된다.
실제 참값은 우리가 알 수 없고, 우리가 갖고 있는 데이터(표본)으로부터 얻어낸 회귀 계수 추정량이 B1_hat 이다.
따라서 B1_hat 은 다음과 같은 선형식으로 다시 나타낼 수 있다.
B1_hat = ∑wiyi (i = 1, ..., n) = B1 + ∑wiei (i = 1, ..., n)
- B1: 모수
- wi: 일종의 상수
- ei: 오차
이 식을 바탕으로 회귀 계수 추정량의 기댓값, 분산을 얻어낼 수 있다.
회귀계수의 기댓값
회귀계수의 분산
※ 가우스-마르코프 정리
: B1의 최소제곱추정량이 가장 작은 분산을 갖는다.
참고 자료
https://hsm-edu.tistory.com/1222
[회귀분석] 4. 회귀 계수의 추정의 세가지 방법
단순 선형회귀분석은 두 변수 X,Y의 관계를 잘 나타낼 수 있는 선형 모델을 찾는 것입니다. 이 모델을 찾는다는 것은 아래 수식에서 $\beta_{0}$와 $\beta_{1}$라는 계수를 추정하는 것입니다. $y=\beta_{0}
hsm-edu.tistory.com
https://laoonlee.tistory.com/14
최소 제곱법 (Least Square Method = OLS)
최소제곱법이란, "Least Square Method" or "Ordinary Least Square"으로 불리며 오차를 최소화 시키는 방법으로 회귀 계수($\beta_0, \beta_1$)를 추정하는 기법입니다. 단순 선형 회귀(이하 회귀)란 설명변수와 반
laoonlee.tistory.com
https://hsm-edu.tistory.com/1224
[회귀분석] 6. 최소제곱법을 이용한 회귀계수 추정 일반화
회귀계수를 추정하는 방법은 아래 그림과 같이 세가지가 있습니다. 지난 강의에서 최소제곱법의 예시를 공부했습니다. 오늘은 최소제곱법을 이용한 회귀계수 계산 방법을 일반화해보겠습니다.
hsm-edu.tistory.com
https://datalabbit.tistory.com/58
[회귀분석] 최소제곱추정량 β1의 기댓값, 분산 유도
Review 참고 포스팅 : 2020/10/10 - [Statistics/Regression Analysis] - [회귀분석] 최소제곱추정량 β1를 선형 추정량으로 유도하기 [회귀분석] 최소제곱추정량 β1를 선형 추정량으로 유도하기 Review 참고 포스
datalabbit.tistory.com