multiple tests들에 대해서 type I error(즉 false positive error)를 측정하는 방법들로 두가지가 계열이 있습니다. 첫번째가 'familywise error rate'(FWE)이고 두번째가 false discovery rate입니다.
그러면 각각에 대해서 다시 한번 설명을 하여 보겠습니다.
familywise error rate (FWER, FWE): probability of making at least one Type I error, given the total number of statistical tests
false discovery rate (FDR): probability of having at least one false positive results, given the set of reported positive results
(정의를 보시면 각각의 수치의 개념이 다르다는 것이 일단 이해가 되실 것입니다. 그럼 이번 포스트에서는 FWER 중 이전의 포스트에 이어서 이번에는 non-parametric approach에 대한 설명을 드리겠습니다.)
이처럼 P-value를 추정하기 위하여 매개변수적 통계가정(parametric assumption)들을 사용하는 것 대신에 대신에 비매개변수적 접근법(non-parametric approach)를 사용할 수도 있습니다. 여기에 대표적인 two m/widely used resampling methods들이 permutation test와 bootstrap입니다.
P값을 추정하기 위하여 데이터에 관한 매개변수적 가정(즉 데이터는 이미 정규분포를 한다고 간주하는)을 하늗 대신에, 관심의 대상이 되는 test statistic에 대해서 empirical하게 null distribution들을 얻기 위하여
데이터 자체를 사용하는 것이 이 non-parametric approach라고 하겠습니다.
실제로는 이 중에서는 boostrap이 가장 많이 알려져 있을 것이라고 합니다(그러나 본인은 똑같이 생소함 - 이 것이 함정). 하지만 bootstrap의 문제는 asymptotic method(번역을 하여보면 점근적 기법이라고 번역되는 데 뭔말인지 잘 모르겠지만 일단 중요한 것은 샘플 사이즈가 커야만 하는 기법이라고 합니다.)라는 점입니다. 따라서 large-sample에서만 probably correct하다고 말할 수 있다는 제한점이 있습니다.
대조적으로 permutation test는 small sample들에 대해서도 bootstrap 기법에 비하여도 FWE-corrected p-value들을 추정하는데 유용하다고 합니다.
permute가 동사로 바꾸다는 뜻이 있습니다. 그래서 permutation test라면 바꾸어서 섞다라고 이해하시면 됩니다. 이해하기 쉽게 두 그룹을 들어서 설명을 하여 보겠습니다. 단지 하나의 voxel에 대해서 각기 10명으로 된 두 그룹(H, L)들을 비교한다고 합시다. 귀무 가설(null hypothesis) 하에서는 두 그룹간의 차이가 없다고 할 수 있습니다. 그렇다면 그룹의 라벨을 임의로 해서, 임의로 10명을 뽑아서 H라고 하고 다시 그 자료를 분석한다면, 역시 새롭게 형성된 두 그룹간에서도 차이가 없게 나와야 할 것입니다. 이 것이 permutation test의 기본 원리입니다. - repeatedly shuffling the assignment of experimental lables to the data, and analyzing the data for each shuffle
따라서 label들의 각기 다른 different permutation들을 계속해서 반복해 가면서 자료들을 재분석하는 과정을 permutation test에서는 거치게 되고, 따라서 일차적인 이 test의 단점은 intensive computation이라고 합니다. 하지만, RFT 계산에 비해서 복잡하기는 해도, 결과의 정확성을 위해서는 감내할 만한 가치가 있다고 합니다.
중요한 것은 , FWE-corrected result가 필요할 때는 일반적으로 group fMRI data의 모든 추론에 대해서는 permutation test를 사용할 것을 권장한다고 합니다.
실제로는 이 중에서는 boostrap이 가장 많이 알려져 있을 것이라고 합니다(그러나 본인은 똑같이 생소함 - 이 것이 함정). 하지만 bootstrap의 문제는 asymptotic method(번역을 하여보면 점근적 기법이라고 번역되는 데 뭔말인지 잘 모르겠지만 일단 중요한 것은 샘플 사이즈가 커야만 하는 기법이라고 합니다.)라는 점입니다. 따라서 large-sample에서만 probably correct하다고 말할 수 있다는 제한점이 있습니다.
대조적으로 permutation test는 small sample들에 대해서도 bootstrap 기법에 비하여도 FWE-corrected p-value들을 추정하는데 유용하다고 합니다.
permute가 동사로 바꾸다는 뜻이 있습니다. 그래서 permutation test라면 바꾸어서 섞다라고 이해하시면 됩니다. 이해하기 쉽게 두 그룹을 들어서 설명을 하여 보겠습니다. 단지 하나의 voxel에 대해서 각기 10명으로 된 두 그룹(H, L)들을 비교한다고 합시다. 귀무 가설(null hypothesis) 하에서는 두 그룹간의 차이가 없다고 할 수 있습니다. 그렇다면 그룹의 라벨을 임의로 해서, 임의로 10명을 뽑아서 H라고 하고 다시 그 자료를 분석한다면, 역시 새롭게 형성된 두 그룹간에서도 차이가 없게 나와야 할 것입니다. 이 것이 permutation test의 기본 원리입니다. - repeatedly shuffling the assignment of experimental lables to the data, and analyzing the data for each shuffle
따라서 label들의 각기 다른 different permutation들을 계속해서 반복해 가면서 자료들을 재분석하는 과정을 permutation test에서는 거치게 되고, 따라서 일차적인 이 test의 단점은 intensive computation이라고 합니다. 하지만, RFT 계산에 비해서 복잡하기는 해도, 결과의 정확성을 위해서는 감내할 만한 가치가 있다고 합니다.
중요한 것은 , FWE-corrected result가 필요할 때는 일반적으로 group fMRI data의 모든 추론에 대해서는 permutation test를 사용할 것을 권장한다고 합니다.
댓글 없음:
댓글 쓰기