[여러 그룹을 비교할때] The Bonferroni correction

만약 두 개 이상의 그룹을 비교하려고 한다면 two-sample t-test를 이용하게 됩니다. 예를들어 A, B, C의 그룹을 비교해보려고 한다면, (A,B), (B,C), (A,C) 이렇게 비교를 해야하겠죠. 만약 G개의 그룹을 비교하려고 하면, 몇번의 테스트가 있을까요? 바로 $k=\binom{G}{2}= \frac{G \cdot (G-1)}{2}$ 개의 pairwise 테스트가 있게됩니다.

 

문제는 이렇게 한 데이타안에서 여러가설을 검정할때 Type I error rate이 증가하게 되는데요. 이는 The Bonferroni Inequality로 설명할 수 있습니다. The Bonferroni Inequality란, $P(A\cup B)\leq P(A)+P(B)$ 을 말합니다.  그래서 k개의 테스트가 있다면, P(T1 incurs Type I error) + ... + P(Tk incurs Type I error) = $P(\cup_{i=1}^k A_{i})\leq \sum_{i=1}^k P(A_{i})$ 이렇게 되겠죠.

 

예를들어, 알파 즉 Type I error rate 확률을 0.05라고 하고 7개의 그룹을 비교해보려고 합니다. 그렇다면 (7*6)/2=21, 즉 21개의 two-sample t-tests가 필요한데요. 21개의 검증을 마치면, P(at least 1 Type I error) = $1-(1-0.05)^{21}=0.6594$, 0.6794의 확률로 의미가 없는데 유의미하다고 오류날 수 있는거죠. 그래서 Bonferroni Correction을 이용해서 이 높아진 error rate을 0.05수준으로 낮추려고 합니다.

 

방법은 간단합니다. $\frac{\alpha}{k}$ 알파를 k개의 테스트 개수로 나눠주는거죠. 그래서 조정된 알파값은 0.05/21 = 0.0024가 되겠지요. 즉 각각의 테스트를 할때마다 error rate이 0.0024로 낮아야만 21개의 테스트를 할때 0.05 error rate이 된다고 봅니다. 0.0024가 정말 0.05수준으로 맞춰졌을까요? P(at least one Type I error)=1-(1-0.0024)^21= 0.0492 가 나옵니다. 0.05와 비슷하게 맞춰졌네요. 그래서 The Bonferroni Correction이 conservative하다고 합니다. 그러니까 0.05가 아닌 0.0024를 요구하기때문에 conservative하다고 말합니다.

 

다음포스팅에는 예제를 들어 설명해보도록 할게요 :D

http://statnmath.blogspot.ca/2015/08/multiple-comparisons-bonferroni-method.html 자세한 내용 및 예제는 여기로 참고하세요~