블로그

지난 글에서는 가설검정 중에서 1표본 Z검정에 대해서 정리하였다.

즉, 하나의 모집단과 표본에 대한 가설검정만 다루었다.

이번에는 두 모집단과 표본에 대해서 가설검정 하는 내용을 다루려고 한다(2표본 Z검정).

이 글은 훌륭한 유튜브 강의 영상인 손으로만 푸는 통계 내용을 많이 참조하였음을 밝힌다.

이번에는 어떤 두 모집단 A, B가 있다고 하자. 이때 각 모집단의 모분산 $\sigma_{A}^2$와 $\sigma_{B}^2$는 알려져있다고 가정한다.

그런데 누군가가 모집단 A의 평균 $\mu_{A}$와 모집단 B의 평균 $\mu_{B}$가 같다고 하는 의심스러운 주장을 하고 있다. 이런 의심스러운 주장(가설)을 통계적으로 검정해보려고 한다. 다르게 말하면 우리는 $\mu_{A} = \mu_{B}$임을 주장하고 싶다. 그럼 여기서 귀무가설과 대립가설은 어떻게 될까? 아래와 같이 된다.

귀무가설 $\mathcal{H_{0}}$: $\mu_{A} = \mu_{B}$

대립가설 $\mathcal{H_{1}}$: $\mu_{B} \ne \mu_{B}$  

가설 검정의 기본적인 원리는 1표본 Z검정 때와 같다. 모집단 전체를 조사하기 어려우니까 각각 표본을 뽑아 조사하도록 하고, 아래와 같이 표본을 뽑는다. 이번에도 모집단 A와 B의 모분산이 알려져 있고, 표본의 크기 $n_A$와 $n_B$는 30보다 크다고 가정한다.

표본의 크기가 30보다 크므로, 중심극한 정리에 의해, 다음이 성립한다.

$$\bar{X_{A}}\sim\mathcal{N}(\mu_{A}, \frac{\sigma_{A}^2}{n_{A}}),$$ $$\bar{X_{B}}\sim\mathcal{N}(\mu_{B}, \frac{\sigma_{B}^2}{n_{B}})$$

이전에 1표본 Z검정에서는 모집단의 평균이 특정 값인지 아닌지를 따지는 것이어서 $E(\bar{X})$를 특정 값 $\mu'$인 정규분포로 놓고 표준정규분포를 이용해 p-value를 구하고 유의수준 $\alpha$와 비교했다. 근데 여기서는 귀무가설 자체가 어떤 특정 값과 비교하는 것이 아니고, 값을 모르는 두 모집단의 평균이 같다라는 것이기 때문에 이전과 같이 할 수가 없다. 그래서 약간의 기술을 사용하는데, 다음과 같이 변수를 새로 정의한다. $$Y = \bar{X}_{A} - \bar{X}_{B}$$

이렇게 해주는 이유는 어차피 $\mu_{A}$와 $\mu_{B}$를 알 수 없으니, 둘의 차이를 새로운 관점으로 해서 접근해보겠다는 것이다.

그러면 귀무가설은 $$\mu_{A} = \mu_{B}$$ $$\Leftrightarrow E(Y) = \mu_{A} - \mu_{B} = 0$$

이 된다. 그런데 $\bar{X}_{A}$와 $\bar{X}_{B}$가 각각 정규분포를 따르므로, $Y$는 다음과 같은 정규분포를 따른다. $Y$가 아래와 같은 정규분포를 따른다는 것은 수학적 증명이 필요한데, 자세한 증명은 손으로만 푸는 통계 채널을 참고하도록 하고 여기서는 생략한다. $$Y\sim\mathcal{N}(0, \frac{\sigma_{A}^2}{n_{A}} + \frac{\sigma_{B}^2}{n_{B}})$$

모집단 A, B에서 각각 뽑은 표본의 평균을 $\bar{X_{A, 1}}, \bar{X_{B, 1}}$이라고 하면 $Y_{1} = \bar{X}_{A, 1} - \bar{X}_{B, 1}$이다. 즉, 모집단 A, B에서 표본을 하나씩 뽑으면 위 정규분포에서도 $Y$에 대한 표본을 하나 뽑은 것과 같다. 유의수준 $\alpha$를 0.05로 정했다고 하고, 어쨌든 이 상태에서 $Y$의 분포에 대한 평균과 분산을 알고 있으니 표준정규분포를 이용해서 $Y_{1}$에 대한 p-value를 구할 수가 있다. 만약 구한 p-value가 $\alpha$보다 작으면, 즉 표본이 기각역 안에 있으면 귀무가설을 기각하고 대립가설을 채택할 수가 있게 된다.

다시 말해서, 두 모집단 A, B의 평균의 차이가 0이다 라는 귀무가설이 참이라고 했을 때, 표본을 추출해봤더니 뽑힐 확률이 5%미만인 표본이 나왔다면, 귀무가설이 잘못되었다고 볼 수 있는 것이다. 

이번엔 가설 검정에 대해 정리하려고 한다.

정리하려고 여러 자료를 찾아보던 중 엄청나게 설명을 잘 해놓은 유튜브 영상이 있어, 이 영상에 나온 내용 위주로 정리하려고 한다. 정말이지 너무 설명을 깔끔하게 잘 해놔서 존경스럽다. 나도 이렇게 명확하고 깔끔하게 잘 설명할 수 있으면 좋으련만. 영상 주소는 여기. 나처럼 통계를 공부해보려는 사람에게 아주 유용한 강의가 채널에 잔뜩 올라와있다. 강추!!

그럼 가설 검정에 대한 이야기를 시작해보자.

가설 검정이란, 말그대로 어떤 '가설'이 있을 때, 그 가설이 맞는지 틀린지 통계적인 관점에서 '검정'해보는 것이다.

먼저 어떤 상황에서 가설 검정을 하게 되는지를 보면 좀 더 순조롭게 이해가 된다.

상황 X)

어떤 분포를 알 수 없는 모집단이 있을 때, 어떤 사람 A가 와서 이 모집단의 평균값이 $\mu'$라고 밑도 끝도 없는 주장을 해대고 있다. 나는 대충 어림잡아 봐도 $\mu'$은 아닐 것 같아 상당의 의심이 드는데, 이 사람이 사기꾼인지 아닌지 알아보기 위해 통계적인 방법으로 A의 '가설'을 검증해보려고 한다.

여기서 A의 주장을 즉 가설을 '귀무가설(Null hypothesis)'이라고 한다.

그 이름도 어려운 귀무가설은 돌아갈 귀, 없을 무를 써서 무無로 돌아갈 가설을 의미한다. 즉, 터무니 없는 가설이므로 기각될 가설이라는 뜻이다. 기호로는 보통 $\mathcal{H_{0}}$로 표현한다.

아무리 터무니없어 보여도 귀무가설이 참이 확률이 있다. 따라서 귀무가설은 기각될 수도 있고 채택될 수도 있다. 쉽게 말해 통계적으로 검정을 해보았을 때 기각된다 함은 '옳지 않은 가능성이 높다고 판단'한다는 것이고 채택된다는 것은 '옳을 가능성이 높은 것으로 판단'한다는 것이다.

귀무가설이 기각될 때 채택하는 가설로 '대립가설(Alternative hypothesis)'이라는 것이 있다. 이름 alternative에서 알 수 있듯이 단순히 귀무가설이 기각되면 채택하는 가설이다. 기호로는 보통 $\mathcal{H_{1}}$로 표현한다.

예를 들어 귀무가설이 '이 모집단의 평균이 100입니다!'라고 했을 때 대립가설은 '이 모집단의 평균은 100이 아니다.' 또는 '이 모집단의 평균은 100보다 크다.' 따위가 될 수 있다.

그렇다면 위의 상황 X에서 귀무가설과 대립가설을 정의해보면 어떻게 될까? 아래처럼 될 것이다.

귀무가설 $\mathcal{H_{0}}$: 모집단의 평균값이 $\mu'$이다.

대립가설 $\mathcal{H_{1}}$: 모집단의 평균값이 $\mu'$가 아니다.

자 그러면 어떤 방식으로 통계적 가설 검정을 하는 것일까?

먼저 이전 글에서 다룬 중심극한정리와 통계적 추정에 대한 내용이 숙지되어 있어야 한다.

A라는 사람이 모집단의 평균이 $\mu'$라고 주장하고 있다. 가장 좋은 방법은 이 모집단을 전수조사해서 평균을 내보는 것이지만 모집단이 너무 커서 시간적으로나 비용적으로나 불가능하다. 이런 상황에서는 통계적 추정에서 그랬던 것처럼 표본을 뽑아서 추론해보는 수밖에 없다.

그러니까 이사람 말대로라면 모집단의 평균이 $\mu'$라는 거니까, 중심극한정리에 의하면 표본평균의 평균 역시도 $\mu'$이어야 한다. 즉, 수학적으로 이 상황의 귀무가설과 대립가설을 수학적으로 표현해보면 아래와 같다.

귀무가설 $\mathcal{H_{0}}: E(\bar{X}) = \mu'$

대립가설 $\mathcal{H_{1}}: E(\bar{X}) \ne\mu'$

그럼 이제 표본을 뽑아보자.

아래 그림처럼 모집단에서 랜덤 샘플링한 표본의 평균을 $\bar{X_{1}}$, 분산을 $s^2$이라고 하자. 여기서는 모집단의 분산 $\sigma^2$이 알려져 있다고 가정하겠다.

중심극한정리에 의하면, 표본의 크기가 충분히 클 때(30 이상일 때) 표본평균의 분포는 다음과 같은 정규분포를 따른다고 했다. $$\bar{X}\sim\mathcal{N}(\mu, \frac{\sigma^2}{\sqrt{n}})$$

그러니까 지금처럼 표본을 하나 뽑는 행위는 아래 그림처럼 정규분포에서 표본평균을 하나 뽑는 것과 같다고 지난 글에서도 이야기했었다. 

다시 말해, 만약 A의 가설이 옳아 모집단의 평균이 $\mu'$가 맞다면 $\mu'$를 평균으로 하는 정규분포에서 샘플링을 하는 것이기 때문에, 높은 확률로 $\mu'$근처의 표본 평균이 샘플링될 것이고, 낮은 확률로 양 끝에 있는 표본평균이 샘플링될 것이다.

따라서 만약 추출한 표본의 평균 $\bar{X_{1}}$가 위 그림처럼 오른쪽 끝에 있는 놈이라면, 그 상황은 다음 두 가지로 생각해볼 수 있다.

1) A의 가설이 옳고, 낮은 확률로 $\bar{X_{1}}$가 뽑힌 것이다.

2) $\bar{X_{1}}$가 뽑힐 확률이 너무 낮으니까, A의 가설이 틀렸다고 봐야 한다. 즉, 저런 정규분포가 아닐 것이다.

'낮은 확률'의 기준을 정하는 것은 사용자의 몫이다. A의 가설이 옳다고 했을 때 $\bar{X_{1}}$가 뽑힐 확률이 1% 미만이면 A의 가설이 틀렸다고 할 수도 있고 1%가 아니라 5%, 10% 정하기 나름이다. 보통은 5%를 많이 쓰는 것 같다. 이 때의 '낮은 확률'을 '유의 수준 $\alpha$(Significant level)'라고 하며 이것을 5%로 정했다고 했을 때 $\alpha = 0.05$가 된다. 5% 미만의 확률로 뽑히는 영역 즉 $\alpha = 0.05$인 부분이 아래 그림과 같다고 했을 때, 저 영역을 $\alpha=0.05$에 해당하는 '기각역'이라고 한다. 저기서 표본평균이 뽑힌다면 귀무가설이 틀렸다고 기각할거니깐.

우리가 뽑은 표본의 평균 $\bar{X}$가 기각역 안에 있다고 해보자. 즉 사용자가 기각하기로 한 유의수준보다 낮은 확률로 뽑히는 곳에 있다(보라색 영역). 이 영역의 확률을 '유의 확률(Significant probability)' 또는 'p-value'라고 한다. 만약 보라색 영역의 확률이 2%라면 p-value=0.02가 된다.

p-value를 이용해서 귀무가설이 기각될 조건을 다시 한 번 써보면 p-value < $\frac{\alpha}{2}$라고 할 수 있다(2로 나눠주는 이유는 기각역이 양쪽 끝에 있으므로).

위 정규분포에서 p-value 즉 $\bar{X_{1}}$가 뽑힐 확률을 계산하는 것은 간단하다. 표준화를 해서 표준정규분포표를 이용하면 된다. 참고로 이런 식으로 표본 하나와 표준정규분포를 이용해 검정하는 방법을 '1표본 Z검정'이라고 한다고 한다.