[Inferential Statistics] p-값(p-value)

---

p-값 (p-value)

 

유의 확률(significance probability, asymptotic significance)이라고도 한다.

귀무가설 $ H_0 $ 가 참이라는 가정 아래 관측된 표본에서 그 결과 또는 그보다 극단적인 결과가 나타날 확률을 말한다. 즉 지금의 결과가 귀무가설이 참이라는 전제 아래 얼마나 우연히 일어난 결과인지를 보여준다.

실제로 사용되는 의미에서 표현하면 p-값은 관측된 자료가 귀무가설이 기각되어야 한다는 것을 나타내는 유의수준인 $\alpha$ 의 최소수준이다. 즉 $ p-값 $ 이 유의수준 $ \alpha $ 이하이면 귀무가설을 기각한다.

따라서 p-값이 높다는 것은 이 결과가 우연히 일어난 결과임을 말하기에 귀무가설을 기각할 근거가 약하다는 것을 의미하며, 반대로 p-값이 낮다는 것은 이 결과가 우연히 일어난 결과가 아니라는 것을 말하기에 귀무가설을 기각할 근거가 강하다는 것을 의미한다.

관례적으로 사용하는 p-값, 정확히는 유의수준은 $0.01$ 혹은 $0.05$ 이다. 그러나 $ 0.005 $ 로 사용해야 한다는 의견도 있다.

 

---

주의

 

미국통계학회(ASA)에서 p-값을 사용할 때 주의해야할 다음 지침(링크)을 발표했는데 참고하면 좋을 듯 하다.

 

1. P-values can indicate how incompatible the data are with a specified statistical model.
   (p-값은 데이터가 특정 통계 모델과 얼마나 부합하지 않는지를 나타낼 수 있다.)
2. P-values do not measure the probability that the studied hypothesis is true, or the probability that the data were produced by random chance alone.
   (p-값은 연구된 가설이 참일 확률이나 데이터가 단지 무작위 확률에 의해 생성되었을 확률을 측정하지 않는다.)
3. Scientific conclusions and business or policy decisions should not be based only on whether a p-value passes a specific threshold.
   (과학적 결론 및 비즈니스나 정책 결정은 특정 임계값을 p-값이 통과했는지 여부에만 근거해서는 안된다.)
4. Proper inference requires full reporting and transparency.
   (올바른 추론을 위해서는 전체 보고 및 투명성이 필요하다.)
5. A p-value, or statistical significance, does not measure the size of an effect or the importance of a result.
   (p-값 또는 통계적 유의성은 효과의 크기나 결과의 중요성을 측정하지 않는다.)
6. By itself, a p-value does not provide a good measure of evidence regarding a model or hypothesis.
   (p-값만으로는 모델이나 가설에 대한 증거를 잘 측정할 수 없다.)