다변량분산분석 (MANOVA)
일원분산분석(one-way ANOVA)에서 반응변수가 두 개 이상으로 확대된 경우에는 다변량분산분석(MANOVA)을 수행한다. 이는 두 개 이상의 반응변수에 대해 그룹 간 평균 벡터가 동일한지를 검정하는 방법이다. 이 경우 전체 변동의 분해는 스칼라(scalar) 값이 아니라 행렬(matrix)로 표현되며, 각 변동 요소는 공분산 행렬 형태로 나타난다.
다변량분산분석은 단순히 일변량분산분석을 종속변수별로 반복하는 것과는 다르다. 일변량분산분석을 여러 번 수행하면 종속변수 간의 상관관계를 반영하지 못하고, 특히 상관이 높은 경우 각 변수의 평균 차이를 독립적으로 해석하는 데 오류가 생길 수 있다. 반면, 다변량분산분석은 이러한 상관 구조를 고려하여 보다 정확하고 정보 손실이 적은 분석을 가능하게 한다. 또한 일변량 분석을 반복할 경우 1종 오류가 누적되어 커질 수 있으므로, 종속변수가 여러 개인 경우에는 다변량분산분석을 사용하는 것이 더 적합하다.
예를 들어, 학교에 따라 국어, 수학, 영어 등 수능 과목별 성적에 차이가 있는지를 조사하고자 할 때, 각 교과목 성적을 대상으로 국어, 수학, 영어 순으로 각각 따로 분산분석을 수행하는 것은 비효율적일 뿐만 아니라, 각 교과목 성적 간에 상관관계가 존재할 경우 분석 결과의 해석에 문제가 생길 수 있다. 이러한 경우에는 학교에 따른 다과목 수능 성적의 차이를 다변량분산분석을 통해 동시에 분석하는 것이 보다 적절하고 정확한 방법이다.
가정 및 조건
일변량 분산분석과 마찬가지로, 다변량 분산분석(MANOVA)도 몇 가지 가정을 필요로 한다. 그 중 하나는 다변량 정규성(multivariate normality) 가정이다.
다변량 정규성이란, 모든 종속변수가 각각 정규분포를 따르며, 이들의 선형 결합 또한 정규분포를 따라야 한다는 의미이다. 나아가, 종속변수들의 모든 부분 집합 역시 다변량 정규성을 만족해야 한다. 정규성 여부는 히스토그램(histogram), Q-Q 플롯, 또는 샤피로-윌크 검정(Shapiro-Wilk test) 등을 통해 확인할 수 있다. 그러나 현실적으로는 모든 조합에 대해 정규성을 철저히 검정하는 것이 어렵기 때문에, 일반적으로는 대표적인 몇 가지 변수 조합만을 확인하여 정규성이 대략적으로 만족된다고 판단되면 분석을 진행한다.
다행히도, 다변량분산분석은 정규성 위배에 대해 비교적 강건(robust) 하기 때문에, 표본 수가 충분히 크다면 정규성의 일부 위반은 큰 문제가 되지 않는다. 단, 정규분포보다 훨씬 더 퍼져 있는 평탄한 첨도(flat kurtosis) 를 가진 분포의 경우에는 통계 분석의 검정력(statistical power) 이 감소하여, 실제로 집단 간 차이가 있더라도 이를 검정에서 놓칠 가능성이 있다는 점에 유의해야 한다.
또 하나의 가정은 공분산 행렬의 균질성(homogeneity of covariance matrices)이다. 이는 일변량분산분석에서 독립변수의 각 수준마다 종속변수의 분산이 동일해야 한다는 등분산성 가정(homoscedasticity)에 대응되는 개념으로, 단변량 분산의 동일성뿐 아니라 이를 공분산 행렬 전체의 동일성으로 확장한 형태이다.
다변량 분산분석은 계산 과정에서 행렬 대수(matrix algebra)를 기반으로 하며, 각 관측치는 여러 종속변수로 구성된 벡터 형태의 점수로 간주된다. 이때 공분산 행렬은 종속변수 간의 공동 변동 정도, 즉 서로 얼마나 함께 변하는지를 나타내며, 이 행렬이 분석에 포함된 모든 집단에서 동일해야 한다는 것이 바로 공분산 행렬의 균질성 가정이다. 다시 말해, 모든 집단에서 종속변수 간의 관계 구조가 동일하게 유지되어야 다변량 분석 결과의 해석과 신뢰성이 확보될 수 있다.
마지막으로 관측치의 독립성(independence of observations) 가정이다. 이는 각 관측치가 다른 관측치에 의해 영향을 받아서는 안 된다는 의미이며, 실험 조건이나 집단 수준에서 참가자 간의 상호작용이나 의존 관계가 없어야 함을 전제로 한다. 예를 들어, 한 학급의 학생들이 서로 의논하거나 영향을 주고받은 상태에서 측정된 점수는 독립성을 위배한 것으로 간주될 수 있다.
만약 관측치의 독립성이 의심되는 경우에는 동일 클래스 상관 계수(intraclass correlation coefficient, ICC)를 활용하여 참가자 간 점수의 유사성 또는 종속성을 확인할 수 있다. 당연히도 이 가정이 위배될 경우, 분석 결과의 신뢰성과 유의성 해석이 왜곡될 수 있다.
검정통계량
사용되는 검정통계량은 크게 네 가지가 있는데 모두 공분산 행렬의 고유값(참고링크)을 활용한다. 여기서 고유값은 $ \lambda_i $ 로 나타내겠다.
먼저 윌크의 람다(Wilk's lambda)는 다음과 같다.
$$ \Lambda = \prod_{i=1}^k \frac{1}{1 + \lambda_i} $$
윌크 람다는 전통적이고 널리 사용되지만 비교적 정규성 위배에 민감하다는 단점이 있다. $ \Lambda $ 가 작을수록 집단 간 차이가 크다는 뜻이고, 근사 F-분포로 변환하여 정확한 $ p $-값을 구할 수 있다.
필라이의 트레이스(Pillai's trace)는 다음과 같다.
$$ V = \sum_{i=1}^k \frac{\lambda_i}{1+\lambda_i} $$
고유값을 정규화해서 더한 값으로 보수적이고 강건한 검정 방식이다. 정규성이나 공분산 균질성이 조금 깨지더라도 잘 작동한다는 장점이 있다. $ V $ 가 클수록 집단 간 차이가 크다는 뜻이고, 직접 F-분포로 변환하여 정확한 $p$-값을 구할 수 있다.
호텔링-롤리의 트레이스(Hotelling-Lawley's trace)는 다음과 같다.
$$ T = \sum_{i=1}^k \lambda_i $$
고유값들의 단순 합으로 필라이의 트레이스보다 덜 보수적이며 집단 간 차이는 민감하게 포착하지만 정규성 가정에 대해 필라이의 트레이스만큼 강건하지 못하다. $ T $ 가 클수록 집단 간 차이가 크다는 뜻이고, 근사 F-분포로 변환하여 정확한 $ p$-값을 구할 수 있다.
로이의 최대근(Roy's greatest root)은 다음과 같다.
$$ \Theta = \underset{i}{\max} \lambda_i $$
가장 큰 고유값 하나만 사용한다. 그룹간 차이가 특정 한 방향에서만 클 때 효과적인데 나머지 고유값을 무시하므로 민감하지만 편향 위험이 크다. $ \Theta $ 가 클수록 집단 간 차이가 크다는 뜻이고, 근사 F-분포로 변환하여 정확한 $ p$-값을 구할 수 있다.
