[통계이론] 선형회귀 : Wald 검정

 정보

• 업무명     : 선형 회귀 :  Wald 검정

• 작성자     : 박진만

• 작성일     : 2020-05-30

• 설   명      :

• 수정이력 :

 

 내용

[개요]

 

[특징]

• 통계이론 설명

 

[활용 자료]

• 없음

 

[자료 처리 방안 및 활용 분석 기법]

• 없음

 

[사용법]

• 내용 참조

 

 

 상세 내용

[귀무 가설과 대립 가설]

• Wald 검정은 두 모델 각각의 최대 가능도 방법 량의 차이를 이용한 검정이다. 

• 여기서 두 모델은 매개 변수를 많이 가진 full model과 더 적은 수의 매개 변수를 가진 reduced model이 된다.

• full model 매개 변수의 최대 가능성 추정량은 \(\hat{\beta}^{0}\)이며 reduced model 매개 변수의 최대 가능성 추정량을  \(\hat{\beta}^{1}\) 이라 하면 그 차이는 \(\hat{\beta}^{1}-\hat{\beta}^{0}\)로 쓸 수있다.

• 이 때 그 차이가 0이되면 full model와 reduced model은 같은 모델이라고 판정하고 reduced model에 포함 된 몇몇 매개 변수는 중요한 매개 변수가 아님을 의미하게 된다.

• 이때 full model의 매개 변수 벡터를 \(\beta^{0}\) 으로하고, reduced model 매개 변수 \(\beta^{1}\)이라 하면 귀무 가설과 대립 가설은 다음과 같이 나타낼 수 있다.

 

[Wald 통계]

[기대 값과 분산 공분산 행렬]

• full model 및 reduced model의 최대 가능성 추정치를 각각 \(\hat{\beta}^{1}, \hat{\beta}^{0}\)라고 하자. 이 때 양자의 차이\(\hat{\beta}^{1}-\hat{\beta}^{0}\) 를살펴보자.

• 로그 가능도의 1 차 도함수, 즉 점수 함수 \(\mathbf{U}(\boldsymbol{\beta})\) 를\(\beta=\hat{\beta}\) 에 테일러 급수를 취해 처음 두 항만을 꺼낸다.

• 여기에서 \(\beta=\hat{\beta}^{0}, \quad \hat{\beta}=\hat{\beta}^{1}\) 를 위 식에 대입한다.

• 귀무 가설이 맞다면,\(\hat{\beta}^{1}\)  를 \(\hat{\beta}^{0}\)의 최대 가능성 추정 금액으로 간주 될 수있다. 즉\(\hat{\beta}^{1}\) 점수 함수 (로그 가능도의 1 차 도함수)를 0으로 한다. 이 때, 위의 식은 다음과 같이 다시 쓸 수있다.

• 따라서 피셔 정보 행렬이 정규성을 갖는다면,

• 왼쪽의 기대 값을 구하면,

• 또한 좌변의 분산 및 공분산 행렬을 구하면 아래와 같이 된다.

• 결과적으로 기댓값과 공분산 행렬이 구해졌다.

 

[통계 분포]

• 일반적으로 연속적인 값 t가 존재할 때, t는 정규 분포에 근사한다. 이는 t를 표준화하면 t는 표준 정규화에 근사적으놀 따르게 됨을 의미한다. 즉

• 이것은 다음의 식과 같다.

• t가 요소 수 p를 갖는 벡터 t 때, 식을 아래와 같이 표현할 수 있다.여기서, V를 분산 공분산 행렬로 한다.

 

[Wald 통계]

• 여기서 통계량 t를 통계량 \(\hat{\beta}^{1}\)로 대체하여 귀무가설이 성립된다면 \(E\left[\hat{\beta}^{1}\right]=\hat{\beta}^{0}\)이다. 따라서,

• 이 식의 좌변을 Wald 통계량이라 한다. Wald 검정은 Wald 통계량이 자유도 p를 가진 카이 제곱 분포에 따르는 것으로서 검정을 실시한다.

 

 참고 문헌

[논문]

• 없음

[보고서]

• 없음

[URL]

• 없음

 

 문의사항

[기상학/프로그래밍 언어]

• sangho.lee.1990@gmail.com

[해양학/천문학/빅데이터]

• saimang0804@gmail.com

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

본 블로그는 파트너스 활동을 통해 일정액의 수수료를 제공받을 수 있음