multiple testing problem은 fMRI 분석에서 왜 생기는가?

항상 논문을 읽다 보면 부딪히게 되는 문제들입니다.

이에 대해서 solution을 한번 써 보도록 하겠습니다.

전통적인 통계 기법들은 false positive risk(즉, type I error입니다)들의 level을 control할 직접적인 수단들로 alpha를 설정하는 방법을 씁니다. 이 것은 개별적인 test 즉, test-by-test basis에서 이루어지는 기준입니다.

그래서 사회과학에서 사용하는기준인 1번 비교시에 P<0.05라는 기준을 단순히 사용한다면, 10만개의 voxel (2d에서는 pixel, 3d에서는 voxel이라는 말을 씁니다)에서는 각각의 voxel들에 대해서 통계적인 비교가 이루어지게 되는 셈이니, 유의하다고 나오더라도 평균적으로 5천개의 voxel이 false positive가 될 수 있다는 말이 되어져 버립니다. (너무 관대해져 버립니다.) 다시 말하면, the greater number of statistical tests conducted, the greater the chance of a false-positive result입니다.

그래서 neuroimaging과 같이 많은 voxel들을 다루는 경우에는 각각의 voxel에 대해서 testing이 이루어지기 때문에 multiple testing이 되고 이러한 multiple testing problem은 fMRI analysis에서는 critical issue입니다.

다시 말하면, 다음과 같이 이야기할 수 있습니다.

"Standard hypothesis tests are designed only to control the 'per comparison rate' and are not meant to be used repetitively for a set of related tests."

다시 말하면 표준적인 가설 검정기법들은 단지 한회의 비교 검정을 위한 것이지, 서로 관련된 검사들을 반복적으로 사용하기 위한 경우를 위한 것은 아니라는 것입니다. 즉 너무 높은 false positive risk를 낮추기 위해서 사용하는 방법들이 별도로 있어야 하는 것입니다.


그래서 entire image에 대한 false positive risk를 측정하기 위한 수치들이 나오게 되는데 이 수치로 두 가지가 있습니다 - familywise error rate (FWER)과 false discovery rate (FDR) 입니다.

이 multiple testing correction 방법은 여러가지가 있는데, 이에 대해서 한번 알아보도록 하겠습니다.