Binary logistic regression - 이원 로지스틱 회귀 (4) 예제 Wald Test, Likelihood Ratio Test

http://statnmath.blogspot.ca/2015/08/case-study-binary-logistic-regression.html 자세한 내용은 여기 참고하세요.

이 전 포스팅(http://statnmath.tistory.com/88)에 이어 이번 포스팅은 case study를 가지고 Wald Test와 Likelihood Ratio Test에 대해 정리해보려고 합니다.

 

Case Study: The Donner Party

Donner와 Reed 가족 87명이 웨건(마차같은거요~)을 타고 이동하는 도중 눈태풍에 갇히게 됩니다. 다음 해 봄, 40명만 구조되었는데요. 나이와 성별, 그리고 생사여부로 데이타가 이뤄집니다.  

Reference: Gayson, D.K., 1990, "Donner Party deaths: A demographic assessment," Journal of Anthropological Research, 46, 223-42, and Ramsey, F.L. and Schafer, D.W., 2002, The Statistical Sleuth, 2nd Ed, Duxbury Press, p. 580.

 

 

2.1 Default Code

 

성별은 categorical variable이어서 class 명령어를 입력하면 여성은 1로, 남성은 -1값으로 설정됩니다. 만약 indicator variable로 만들고 싶다면, 즉 여성은 1, 남성은 0 이렇게요. 그러면 코드를 바꿔주면 되는데 그 전 포스팅에 자세히 적어놓았습니다. 참고하세요~  

 

 

2.2 Default  Result

2.3 SAS Result Intepretation 

* Model Equation

$\log(\frac{\hat{\pi}}{1-\hat{\pi}})=-2.43+0.078 \cdot AGE_{i}-0.80\cdot SEX_{i}$

 

* Wald Procedures(월드검정)

Hypothesis : $H_{0}: \beta_j=0$ vs $H_{1}: \beta_j\neq 0$

Test Statistics: $Z_{obs}=\frac{\hat{\beta_j}}{se(\hat{\beta_j})}$ ~ approx. Normal(0,1) distribution

95% Confidence Interval : $\hat{\beta_j}\pm1.96 \cdot se(\hat{\beta_j})$

 

월드검정을 통해 나이라는 predictor variable, 그러니까 X 변수가 log-odds 에 영향을 주는지 알아볼 수 있습니다!

Hypothesis: $H_{0}: \beta_{AGE}=0$ vs $H_{1}: \beta_{AGE}\neq 0$

Test Statistics :  $(\frac{-0.078}{0.0373})^2=4.3988$ ~ $\chi_{1}$   

참고로 test statistics이 카이스퀘어 분포를 가집니다. 왜냐하면 Z_obs값이 정규분포 Normal(01,) 에 가깝지만 Z를 제곱한 값은 카이스퀘어 분포를 띄죠.

P-value : 0.036 즉, AGE 변수가 생사여부에 영향을 주네요.

 

* Likelihood Ratio Test (우도비율검정)

Hypothesis : $H_{0}: \beta_1= \beta_2=0$ vs \H_1$= The Fitted model is better.

Test Statistics: $G^2=-2 \log \frac{L_R}{L_F}=2 \log L_F-2 \log L_R=61.827 - 51.256=10.57$

그러니까 나이와 성별 변수의 coefficient가 0이라면 이 변수가 필요없나는 뜻이겠지요. 그래서 null hypothesis(귀무가설)는 오직 intercept만 필요하다는겁니다. 즉, 나이와 성별 상관 없다는 식이 데이타에 잘 맞는다는 얘기예요. 하지만 alternative hypothesis(대립가설)는 나이와 성별이란 변수가 필요하다!!라는걸 말해요.  

 

Interpretation : P-value가 0.0051이라서 null hypothesis를 reject 하게 됩니다. 대립가설을 받아드려야하기때문에 fitted model이 더 데이타에 적합합니다.