[통계 이론] 선형 회귀 : 단일 회귀 분석

 정보

• 업무명     : 선형 회귀 :  단 회귀 분석

• 작성자     : 박진만

• 작성일     : 2020-04-19

• 설   명      :

• 수정이력 :

 

 내용

[개요]

 

[특징]

• 통계이론 설명

 

[활용 자료]

• 없음

 

[자료 처리 방안 및 활용 분석 기법]

• 없음

 

[사용법]

• 내용 참조

 

 

 상세 내용

[단일 회귀 분석]

• 단일 회귀 분석은 하나의 요인이 하나의 결과를 준다는 단순한 인과 관계를 설명하는 데 사용되는 분석 방법이다.

• 예를 들면, 이산화탄소의 농도가 상승하면 평균 기온도 상승한다는 현상을 설명 할 때 회귀 분석이 사용될 수 있다.

• 회귀 분석은 다음과 같이 1 차 함수로 수식화 할 수 있다.

• 확률 변수 X와 Y는 각각 원인과 결과라고 볼 수있다. 원인 x가 변화함에 따라 결과 y도 변화한다.

 

 

• 확률 변수 X는 Y를 설명하는 변수이기 때문에 설명 변수라고 한다. 

• 또한 확률 변수 X의 값은 다른 변수의 변화에 ​​영향을받지 않고 독립적 인 하나의 변수이기 때문에 독립 변수라고도 한다.

• 또한 확률 변수 Y는 확률 변수 X에 의존하고 있기 때문에 종속 변수라고도 한다.

• 회귀 방정식 Y ~ β0 + β1X는 종종 Y = β0 + β1X로 쓰여질 수 있다.

• 회귀 방정식 Y = β0 + β1X가 쓰여지더라도 Y는 랜덤 변수라는 것에 주의해야 한다.

• 즉, Y는 특정 확률 분포에서 얻는 값이고, 따라서 설명 변수 X = x 인 경우 Y = β0 + β0x를 의미하지는 않는다.

• 즉, Y는 단일 값 β0 + β0x로 나타내지 않는다.

• 즉 이 공식의 의미는 Y가 X = x 일 때 평균 β0 + β0x 및 분산 σ를 갖는 정규 분포에서 샘플링 된 단일 값이라는 것이다.

• 선형 함수 y ~ β0 + β1x로 수학적으로 표현할 수 있는 회귀를 단순 회귀라고도 한다.

• 이러한 단순 회귀를 수행하려면 하나의 원인과 결과 집합이있는 데이터가 필요하다.

• 예를 들어, "이산화탄소 농도 (X)"및 "평균 온도 (Y)"의 조합, "비료 적용량 (X)"및 "수확량 (Y)"의 조합, 및 원인 및 결과가 짝을 이루는 데이터가 필요하다.

• 이러한 쌍의 데이터가 수집 될 때, 일반적으로 (x1, y1), (x2, y2), ..., (xn, yn)과 같은 문장으로 설명된다.

• 또는 종종 x와 y와 같은 벡터로 작성되는 경우도 있다.

• 단순 회귀는 y ~ β0 + β1x로 표시되며 두 매개 변수는 β0과 β1이다.

•  따라서 n ≥ 2이면 매개 변수를 계산할 수 있다. 이 파라미터를 계산하는 방법으로는 최소 제곱 법이 사용된다.

 

[최소제곱법]

• 최소제곱법에서 회귀선이 모든 측정 지점 (관측 값)을 통과하지는 않는다.

• 따라서 회귀선과 측정 지점 사이에 오류가 포함된다. 회귀 분석에서 이 오류를 잔차라고 부른다.

• 예를 들어, 아래 그림에 표시된 것처럼 측정 값 yi 와 회귀선에서 계산 된 추정값 사이에는 잔차 ei가 존재한다.

 

 

 

• 이상적인 회귀선은 모든 측정 지점을 통과할 것이다.

• 그러나 현실에서는 측정 오차나 예상치 못한 요인 등에 영향을 받기 때문에 회귀는 모든 측정 지점을 통과 할 수 없다. 

• 따라서 이상적인 회귀 직선에 접근하기 위해서 회귀선과 계측점의 오차를 최소화하는 방법이 취해지고 있다. 

• 이러한 회귀선을 구하기 위해 모든 측정 지점에 잔차 e i (i = 1, 2, ..., n)을 구하고, 그 합이 가장 작아지는 β 0 와 β 1 을 계산하면 된다.

• 잔차는 측정 값과 추정치의 차이로 계산되는데, 이것이 플러스 또는 마이너스 값을 가질 수 있기 때문에 합을 계산하기에 불편하다. 따라서 이러한 잔차에 제곱하여 계산하게 되는 것이다.

 

 

• 여기에서

 

 

• 따라서 잔차의 합은 다음과 같이 계산할 수 있다.

 

 

• 제곱 잔차 Se의 합이 최소 일 때 β0 및 β1을 계산하면, β0 및 β는 변수들처럼 이동 될 수 있고 Se를 최소화하는 β0 및 β1을 얻을 수 있다.

• 이는 Se 방정식을 β0 및 β1을 각각 편미분 하여, 증가 및 감소를 검사하여 수행 할 수 있다.

• 실제 편미분의 결과는 다음과 같다.

 

 

• Se 는 아래로 볼록한 이차 함수이기 때문에 극단이 최소가 된다. 

• 따라서 두 식을 이용하여 β 0 와 β 1 에 대해 풀면 다음과 같다.

 

 

• 따라서

 

 

[회귀 계수 - 잔차의 분산]

• 회귀 모형으로 설명 할 수없는 차이를 잔차라고 한다.

• 잔차 i 는 측정 된 값 yi 와 회귀 모델 \(\hat{y}_{i} \hat{y}\)에 의해 계산 된 값이다.

 

 

• 여기서 분자 부분은 잔차의 제곱의 합이며, 잔차 제곱합라고 불리기도 한다.

 

 

[회귀 계수의 기대 값과 분산]

• 단일 회귀 분석에서 y = β0 + β1x의 회귀 계수 인 β0 및 β1을 추정할 수 있다.

• 일련의 데이터 (xi, yi)를 회귀 모델로 대체하면 아래의 결과를 얻을 수 있다.

 

 

• 또한 n 개의 데이터 집합의 평균 \(\bar{x}, \bar{y} \bar{e}=\frac{\sum e_{i}}{n}\) 은

 

 

• 여기서 두 식의 차이를 계산하면 다음 식을 얻을 수 있다.

 

 

• 이제 위의 방정식을 사용하여 회귀 계수 \(\hat{\beta}_{1}\) 을 구하면

 

 

• 따라서

 

 

• 그리고 \(\hat{\beta}_{0}\)는

 

 

[회귀 계수의 검정]

• 우리는 회귀 계수 \(\hat{\beta}_{0}\) 및 \(\hat{\beta}_{1}\)의 예상 값과 분산을 계산하고, 다음으로, 이들 회귀 계수는 계수가 0인지 아닌지에 대해 테스트 할 수 있다.

• 예를 들어, t 테스트에 의해 \(\hat{\beta}_{1}\) 가 0인지를 확인할 때, t 값은 다음과 같이 계산될 수 있다.

 

 

• 이렇게 계산 된 t 값은 n - 2의 분포를 이용하여 가설 검정을 실시할 수 있다.

 

 

 참고 문헌

[논문]

• 없음

[보고서]

• 없음

[URL]

• 없음

 

 문의사항

[기상학/프로그래밍 언어]

• sangho.lee.1990@gmail.com

[해양학/천문학/빅데이터]

• saimang0804@gmail.com

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

본 블로그는 파트너스 활동을 통해 일정액의 수수료를 제공받을 수 있음