multiple testing problem에 대한 solution (1/4) - FWE(R) - parametric

multiple tests들에 대해서 type I error(즉 false positive error)를 측정하는 방법들로  두 가지 계열이 있습니다. 첫번째가 'familywise error rate'(FWE)이고 두번째가 false discovery rate입니다. 이전의 포스트에서 여기까지 설명이 있었습니다.

그러면 각각에 대해서 다시 한번 설명을 하여 보겠습니다.

familywise error rate (FWER, FWE): probability of making at least one Type I error, given the total number of statistical tests

false discovery rate (FDR): probability of having at least one false positive results, given the set of reported positive results

(정의를 보시면 각각의 수치의 개념이 다르다는 것이 일단 이해가 되실 것입니다. 헷갈리기 쉬운데, 보시면 FDR과 FWER은 각기 분모가 다릅니다. FDR에서는 분모로 보고된 양성의 결과들이 나온 횟수가 사용되고 , FWER은 분모로 전체 통계돌린 횟수가 다 포함되기 때문에 FWER이 FDR보다 훨씬 더 보수적이고 엄격한 통계방법이라는 뜻입니다. 그럼 이번 포스트에서는 FWER 중 parametric approach에 대한 설명을 드리겠습니다.)

가장 흔한 유형의 false positive error correction 방법입니다. 
aFWE=0.05라는 말은 any false positive chances anywhere in the map이 5%라는 말입니다. 따라서 이 때에 특정 voxel에서의 p값을 corrected FWE p value 또는 corrected p value라고 합니다. fMRI data에서 이 corrected P value를 구하기 위한 방법으로 몇가지가 있습니다.

첫 번째는 Bonferroni correction입니다. 여기서는 threshold of a=aFWE/v (number of tests)입니다. 그런데 각 test들 사이에 strong correlation이 있을 수록, Bonferroni procedure는 더더욱 conservative해 집니다. (왜죠? 잘 모르겠습니다.) 따라서 fMRI data들은 smoothing을 한다는 점을 고려하면 각 자료간에는 강한 correlation이 있게 마련이고 따라서 이 Bonferroni correction은 너무 conservative합니다. 이렇게 하면 type I error는 줄일 수 있지만 대신에 probability of type II error를 또한 dramatic하게 높이게 됩니다.

그래서 다른 기법들을 사용합니다.

두 번째가 (Gaussian) random field theory (RFT)입니다. 수학적으로 복잡하지만, RFT의 중요한 특성은 어떻게 이 것이 자료에서의 smoothness를 설명하는가 입니다. smoothness는 FWHM으로 설명됩니다. 그런데 우리가 fMRI에서 smoothing을 실시하기 이전에 이미 모든 imaging data에는 그 자체적으로 intrinsic smoothness가 있고, 따라서 some spatial correlation이 존재합니다. 여기에다가 우리가 fMRI 분석 시에 적용하는 Gaussian smoothing kernel의 크기로 평가하는 smoothing이 있습니다. 따라서 최종적으로 우리가 얻게되는 RFT의 smoothness parameter는 자료 자체에 내재하는 intrinsic smoothness + applied smoothing의 조합을 통해서 얻어지는 것입니다.

여기에서 기억할 필요가 있는 것은 수식을 통해서 FWHM의 결과값이 증가하면 결과적으로 corrected P-value는 감소합니다. 따라서 greater smoothness --> less severe multiple testing problem --> less stringent correction needed/ greater search volume --> more severe multiple testing problem --> more stringent correction needed.

RFT가 fMRI inference에서 핵심적인 역할을 하지만, 많은 단점들도 갖고 있습니다. (특히 중요한 것은 RFT는 sample size가 less than about 20일 경우에는 과도하게 conservative해서 결과를 내기가 힘들다는 점입니다.)

세 번째로 FWE를 통제하기 위한 threshold of a를 제공하는 방법으로 Monte Carlo simulation이 있습니다. 이 방법은 RFT보다는 훨씬 더 computationally intensive하다고 합니다. 이 방법이 AFNI의 alphasim 프로그램에 채용되어서 논문을 보다보면 이 단어들을 많이 볼 수 있습니다.