[통계 이론] 선형 회귀 : 우도비검정

 정보

• 업무명     : 선형 회귀 :  우도비검정

• 작성자     : 박진만

• 작성일     : 2020-04-19

• 설   명      :

• 수정이력 :

 

 내용

[개요]

 

[특징]

• 통계이론 설명

 

[활용 자료]

• 없음

 

[자료 처리 방안 및 활용 분석 기법]

• 없음

 

[사용법]

• 내용 참조

 

 

 상세 내용

[귀무 가설과 대립 가설]

• 우도 비 검정은 두 모델의 우도 비를 이용한 검정이다. 이 때 매개 변수를 더 가진 모델을 full model 이라 하며, 매개 변수를 더 적은 쪽을 reduced model이라 한다.

• 모델을 구축하기 위해 생각할 수 있는 모든 매개 변수의 집합을 $\mathrm{\Theta }$라 하자. 

• 그중 full model에 포함 된 매개 변수의 집합을 ${\mathrm{\Theta }}^0$으로하고, reduced model에 포함 된 매개 변수의 집합을 ${\mathrm{\Theta }}^1$이라 하면 각 세트는 다음의 관계를 갖는다.

 

 

• 이때 full model 매개 변수 벡터를 ${\beta }^0$ 으로 하고, reduced model의 매개 변수 벡터를 ${\beta }^1$로 놓는다면, 귀무 가설과 대립 가설은 다음과 같이 나타낼 수 있다.

 

 

[우도비와 편차]

• full model 및 reduce model 의 우도 함수는 L0 및 L1이며 최대 우도 추정량은 각각 ${\hat{\beta }}^0,{\hat{\beta }}^1$ 이라 하자.

• 우도 함수 L0은 모든 가능한 모수를 포함하기 때문에 어느 경우에서라도 다른 우도 함수 (예 : L1)보다 크다.

• 따라서, L1을 최대화하는 ${\hat{\beta }}^1$에서,이 둘의 비율은 다음과 같이 계산 될 수 있다.

 

 

• 만약 λ = 1이면 두 모델은 동일한 것으로 볼 수 있으며, reduced model에 포함 된 일부 매개 변수는 모델 구축시 유의하지 않게 된다.

• 테스트를 수행 할 때 일반적으로 우도 비율은 로그 변환 된 후 2를 곱하게 된다. 이를 편차도라 하며, D라고 부른다.

 

 

[로그 우도의 차이의 기대 값과 분산 공분산 행렬]

• $l\left({\hat{\beta }}^1\right)-l\left({\hat{\beta }}^0\right)$ 의 기대 값과 분산 공분산 행렬을 구한다.

• 우선,  $l(\beta )$ 를 $\beta =\hat{\beta }$로 테일러 전개를 실시한다. 처음 3 항은 다음과 같이 구해진다.

 

• 여기서, $\beta ={\hat{\beta }}^0\hat{\beta }={\hat{\beta }}^1$ 이면

 

 

• 귀무 가설이 맞다면,

 

 

• 따라서 피셔 정보 행렬이 정규성을 갖는다면,

 

 

[통계 분포]

• 일반적으로 연속적인 값 t가 존재할 때, t는 정규 분포를 따른다. 또한 t를 표준화하면 t는 표준 정규화에 따른다. 즉

 

 

• 이것은 다음의 식과 같다.

 

 

• t가 p 개의 요소를 가진 벡터 t 인 경우와 같은 것을 표현할 수 있지만 V를 공분산 행렬로 하면.

 

 

[편차도]

• t를 통계량 $l_0\left({\hat{\beta }}^1\right)$으로 변환하고 귀무 가설을 채택한다면, E [l0 (β1 ^)] = l0 (β0 ^)$E\left[l_0\left({\hat{\beta }}^1\right)\right]=l_0\left({\hat{\beta }}^0\right)$가 된다.

• 또한 이 모델에 포함 된 매개 변수의 개수를 p로 한다면. 이 때,

 

 

• 동일한 방법으로 t를 통계량 $l_1\left({\hat{\beta }}^1\right)$로 대체하여 귀무 가설을 채택한다면, $E\left[l_1\left({\hat{\beta }}^1\right)\right]=l_1\left({\hat{\beta }}^0\right)$이다.

• 또한 이 모델에 포함 된 매개 변수의 개수를 q로 한다면. 이 때,

 

 

• 이 식을 이용하여 편차도 D에 대해 정리하면 다음과 같다.

 

 

• 따라서 $v=2(l_0\left({\hat{\beta }}^0\right)-l_1\left({\hat{\beta }}^1\right))$ 이다.

• 이렇듯 편차도는 자유도 p - m의 카이제곱 분포에 따른다.

 

 

 참고 문헌

[논문]

• 없음

[보고서]

• 없음

[URL]

• 없음

 

 문의사항

[기상학/프로그래밍 언어]

• sangho.lee.1990@gmail.com

[해양학/천문학/빅데이터]

• saimang0804@gmail.com

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

본 블로그는 파트너스 활동을 통해 일정액의 수수료를 제공받을 수 있음