[통계 이론] 선형 회귀 : 우도비검정

 정보

• 업무명     : 선형 회귀 :  우도비검정

• 작성자     : 박진만

• 작성일     : 2020-04-19

• 설   명      :

• 수정이력 :

 

 내용

[개요]

 

[특징]

• 통계이론 설명

 

[활용 자료]

• 없음

 

[자료 처리 방안 및 활용 분석 기법]

• 없음

 

[사용법]

• 내용 참조

 

 

 상세 내용

[귀무 가설과 대립 가설]

• 우도 비 검정은 두 모델의 우도 비를 이용한 검정이다. 이 때 매개 변수를 더 가진 모델을 full model 이라 하며, 매개 변수를 더 적은 쪽을 reduced model이라 한다.

• 모델을 구축하기 위해 생각할 수 있는 모든 매개 변수의 집합을 \(\Theta\)라 하자. 

• 그중 full model에 포함 된 매개 변수의 집합을 \(\Theta^{0}\)으로하고, reduced model에 포함 된 매개 변수의 집합을 \(\Theta^{1}\)이라 하면 각 세트는 다음의 관계를 갖는다.

 

 

• 이때 full model 매개 변수 벡터를 \(\beta^{0}\) 으로 하고, reduced model의 매개 변수 벡터를 \(\beta^{1}\)로 놓는다면, 귀무 가설과 대립 가설은 다음과 같이 나타낼 수 있다.

 

 

[우도비와 편차]

• full model 및 reduce model 의 우도 함수는 L0 및 L1이며 최대 우도 추정량은 각각 \(\hat{\beta}^{0}, \hat{\beta}^{1}\) 이라 하자.

• 우도 함수 L0은 모든 가능한 모수를 포함하기 때문에 어느 경우에서라도 다른 우도 함수 (예 : L1)보다 크다.

• 따라서, L1을 최대화하는 \(\hat{\beta}^{1}\)에서,이 둘의 비율은 다음과 같이 계산 될 수 있다.

 

 

• 만약 λ = 1이면 두 모델은 동일한 것으로 볼 수 있으며, reduced model에 포함 된 일부 매개 변수는 모델 구축시 유의하지 않게 된다.

• 테스트를 수행 할 때 일반적으로 우도 비율은 로그 변환 된 후 2를 곱하게 된다. 이를 편차도라 하며, D라고 부른다.

 

 

[로그 우도의 차이의 기대 값과 분산 공분산 행렬]

• \(l\left(\hat{\beta}^{1}\right)-l\left(\hat{\beta}^{0}\right)\) 의 기대 값과 분산 공분산 행렬을 구한다.

• 우선,  \(l(\beta)\) 를 \(\beta=\hat{\beta}\)로 테일러 전개를 실시한다. 처음 3 항은 다음과 같이 구해진다.

 

• 여기서, \(\beta=\hat{\beta}^{0} \hat{\beta}=\hat{\beta}^{1}\) 이면

 

 

• 귀무 가설이 맞다면,

 

 

• 따라서 피셔 정보 행렬이 정규성을 갖는다면,

 

 

[통계 분포]

• 일반적으로 연속적인 값 t가 존재할 때, t는 정규 분포를 따른다. 또한 t를 표준화하면 t는 표준 정규화에 따른다. 즉

 

 

• 이것은 다음의 식과 같다.

 

 

• t가 p 개의 요소를 가진 벡터 t 인 경우와 같은 것을 표현할 수 있지만 V를 공분산 행렬로 하면.

 

 

[편차도]

• t를 통계량 \(l_{0}\left(\hat{\beta}^{1}\right)\)으로 변환하고 귀무 가설을 채택한다면, E [l0 (β1 ^)] = l0 (β0 ^)\(E\left[l_{0}\left(\hat{\beta}^{1}\right)\right]=l_{0}\left(\hat{\beta}^{0}\right)\)가 된다.

• 또한 이 모델에 포함 된 매개 변수의 개수를 p로 한다면. 이 때,

 

 

• 동일한 방법으로 t를 통계량 \(l_{1}\left(\hat{\beta}^{1}\right)\)로 대체하여 귀무 가설을 채택한다면, \(E\left[l_{1}\left(\hat{\beta}^{1}\right)\right]=l_{1}\left(\hat{\beta}^{0}\right)\)이다.

• 또한 이 모델에 포함 된 매개 변수의 개수를 q로 한다면. 이 때,

 

 

• 이 식을 이용하여 편차도 D에 대해 정리하면 다음과 같다.

 

 

• 따라서 \(v=2\left(l_{0}\left(\hat{\beta}^{0}\right)-l_{1}\left(\hat{\beta}^{1}\right)\right)\) 이다.

• 이렇듯 편차도는 자유도 p - m의 카이제곱 분포에 따른다.

 

 

 참고 문헌

[논문]

• 없음

[보고서]

• 없음

[URL]

• 없음

 

 문의사항

[기상학/프로그래밍 언어]

• sangho.lee.1990@gmail.com

[해양학/천문학/빅데이터]

• saimang0804@gmail.com

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

본 블로그는 파트너스 활동을 통해 일정액의 수수료를 제공받을 수 있음