이전 글에서 fixed와 mixed model analysis에 대해서 설명한 것에 이어집니다.
보통은 first level (within-subjects; modeling data for each subject separately)와 second-level (inter-subject; modeling a mean for each group)와 나눕니다.
이 때에 first level의 analysis에서 나온 subject-specific parameter estimate들을 사용해서 second level의 modeling을 진행하는 경우가 있겠고 (보통 동시에 추정을 하게 되는데, 보통 변량이 크기가 큰 bad subject보다 변량의 크기가 작은 good subject에 더 많은 가중치를 부여하는 weight linear regression을 하게 되며, generalized least squares (GLS) 기법이라고 합니다), 좀 더 연산을 가볍게 하기 위해서 within-subject의 변량이 각 subject마다 동일하다고 간주하여서 연산부담을 줄이는 ordinary least squares (OLS) 기법이 있을 수 있습니다.
single group 비교에서는 second level에서 OLS, GLS를 하는가에 따른 차이가 크지 않으나 둘 이상의 그룹이 비교가 되거나, covariate를 사용하여서 second-level regression을 통한 modeling을 할 때에는 GLS가 더 선호된다고 합니다.
2013년 11월 25일 월요일
group analysis - fixed versus mixed effects model
우선 group analysis를 할 때에는 중요한 것이 within-subject variance와 between subject variance에 대한 이해를 해야 합니다.
예를 들어서 설명을 하여 보도록 하겠습니다.
4명의 남자와 4명의 여자들에게서 각기 머리카락을 뽑아서 남자와 여자들에서의 머리카락의 길이를 비교하려는 실험을 한다고 합니다.
이 때에 변량에는 한 개인의 머리카락들 중에서의 길이의 차이 (within-subject variance)와 각기 다른 사람들 사이에서의 다른 헤어스타일에 따르는 길이의 차이 (between subject variance)가 있게 됩니다.
이 때에 각 4명씩의 남자와 여자들에서 각기 남자와 여자들을 대표하려면, 남자 4명은 남자들에서, 여자 4명도 각기 여자들 중에서 무작위로 뽑혔다고 할 수 있어야 할 것입니다.
그런데, 각기 남자와 여자들을 대표하는 데에는 관심이 없고 바로 이 총 특정 8명의 남녀에서만 남자와 여자 사이에서 머리 길이의 차이가 있는지만 보려고 한다고 하면 이 때에는 between subject variation - 대표성을 갖게 하기 위해서 모집단에서 어떠한 사람들을 뽑는가에 따라서 발생하는 변량 - 은 고려를 할 필요가 없게 됩니다. 따라서 between-subject variation은 neglect를 할 수 있게 되고 이 때에 우리는 fixed effect analysis를 하게 됩니다.
그러나 대표성을 갖게 하기 위해서 모집단에서 어떠한 사람들을 뽑는가에 따라서 발생하는 변량을 random effect라고 말을 하고, 이 것까지 포함시켜서 우리가 modeling을 할 때 우리는 mixed model을 사용한다고 말하게 되고 이를 사용한 것을 mixed effect model이라고 부릅니다.
아래의 그림을 보시면 더더욱 이해가 쉬워지실 것입니다.
예를 들어서 설명을 하여 보도록 하겠습니다.
4명의 남자와 4명의 여자들에게서 각기 머리카락을 뽑아서 남자와 여자들에서의 머리카락의 길이를 비교하려는 실험을 한다고 합니다.
이 때에 변량에는 한 개인의 머리카락들 중에서의 길이의 차이 (within-subject variance)와 각기 다른 사람들 사이에서의 다른 헤어스타일에 따르는 길이의 차이 (between subject variance)가 있게 됩니다.
이 때에 각 4명씩의 남자와 여자들에서 각기 남자와 여자들을 대표하려면, 남자 4명은 남자들에서, 여자 4명도 각기 여자들 중에서 무작위로 뽑혔다고 할 수 있어야 할 것입니다.
그런데, 각기 남자와 여자들을 대표하는 데에는 관심이 없고 바로 이 총 특정 8명의 남녀에서만 남자와 여자 사이에서 머리 길이의 차이가 있는지만 보려고 한다고 하면 이 때에는 between subject variation - 대표성을 갖게 하기 위해서 모집단에서 어떠한 사람들을 뽑는가에 따라서 발생하는 변량 - 은 고려를 할 필요가 없게 됩니다. 따라서 between-subject variation은 neglect를 할 수 있게 되고 이 때에 우리는 fixed effect analysis를 하게 됩니다.
그러나 대표성을 갖게 하기 위해서 모집단에서 어떠한 사람들을 뽑는가에 따라서 발생하는 변량을 random effect라고 말을 하고, 이 것까지 포함시켜서 우리가 modeling을 할 때 우리는 mixed model을 사용한다고 말하게 되고 이를 사용한 것을 mixed effect model이라고 부릅니다.
아래의 그림을 보시면 더더욱 이해가 쉬워지실 것입니다.
2013년 11월 23일 토요일
multiple testing problem에 대한 solution (4/4) - non-parametric - permutation test - randomise in fsl
fsl에서 permutation method를 사용하기 위한 도구로 사용되는 것은 randomise 툴을 사용하는 것입니다.
Randomise 시에 추천되는 옵션은 TFCE (threshold-Free cluster enhancement)입니다. Cluster-based thresholding은 voxel-based보다는 더 민감도가 높지만 이를 통한 결과들이 initial thresholding의 level에 아주 의존적인데, 이 level을 선택하는 것에 대한 원칙이나 객관적인 방법이 없다는 약점이 있습니다. 따라서 대안으로 사용되는 TFCE의 경우에는 cluster-based thresholding에 유사하나 일반적으로 더 강력하고도 임의로 initial cluster-forming threshold를 설정할 필요가 없습니다. 이 옵션을 preprocessed data에 사용하기 위해서는 --T2 옵션을 추가하면 됩니다. 아래에 구체적인 실례를 들어서 설명을 하여 보도록 하겠습니다.
Randomise 시에 추천되는 옵션은 TFCE (threshold-Free cluster enhancement)입니다. Cluster-based thresholding은 voxel-based보다는 더 민감도가 높지만 이를 통한 결과들이 initial thresholding의 level에 아주 의존적인데, 이 level을 선택하는 것에 대한 원칙이나 객관적인 방법이 없다는 약점이 있습니다. 따라서 대안으로 사용되는 TFCE의 경우에는 cluster-based thresholding에 유사하나 일반적으로 더 강력하고도 임의로 initial cluster-forming threshold를 설정할 필요가 없습니다. 이 옵션을 preprocessed data에 사용하기 위해서는 --T2 옵션을 추가하면 됩니다. 아래에 구체적인 실례를 들어서 설명을 하여 보도록 하겠습니다.
randomise 옵션 사용하기:
자료에서의 노이즈가 simple distribution을 따르지 않거나
자료를 summarize하기 위하여 non-standard
statistics가 사용될 때 null distribution을 알 수 없게 된다. 이렇게 null distribution이 알려지지 않을 때에 permutation method(다른 말로 randomization
method)는 statistic map들에 대한
inference (thresholding)를 위하여 사용된다. Randomise는 standard GLM 디자인 setup을 사용하여 modeling과 inference를 가능하게 하여 주는 단순한 permutation program이다. Randomise의 수식은
다음과 같다.
randomise -i <4D_input_data> -o <output_rootname> -d
design.mat -t design.con -m <mask_image> -n 500 -D -v 5 --T2 -V
여기에서 –i 파라미터 뒤의 4D_input_data를 기반으로 하여 -o 파라미터 뒤의 output_rootname으로 test statistic image를
만들어 내게 된다.
design.mat와 design.con은 design matrix와 필요한 contrast들의 명단을 포함하는
text file들이다.
–n 옵션은 randomise가 테스트할 null distribution을 구축하기 위하여 보통 500회(5000회를 추천)의
permutation을 수행하도록 하는 것이다. 이 옵션을 빼면 자동으로 5000회의 permutation을 수행한다.
-D 옵션은 randomise가 데이터를 demean하도록 하는 것인데 이 것은 design matrix에서 mean을 모델링하지 않을 때에 필요한 옵션이다. –D 옵션의 사용
유무는 design matrix를 어떻게 짜는가에 달려있다. 예를
들어서, mean predictor가 design matrix안에
포함이 되어 있다면, -D를 사용하지 않는다. 그러나 만약에 mean predictor가 design matrix안에 포함되지
않는다면 그 때에는 –D 옵션을 꼭 사용하여 주어서 mean이 data (와 design)에서 제거가 되도록 하여 주어야 한다.
-v 옵션: You can potentially improve the
estimation of the variance that feeds into the final "t" statistic
image by using the variance smoothing
option -v <number> where you need to specify the spatial extent of
the smoothing in mm
--T2 옵션은 TFCE를 사용하기 위한 옵션이다. (주의: These optimizations are different for
different "dimensionality" of your data; for normal, 3D data (such as
in an FSL-VBM analysis), you should use just the -T option, while for TBSS
analyses (that is in effect on the mostly "2D" white matter
skeleton), you should use the --T2 option)
-V 옵션: a deprecated flag (중요도가 떨어지는 기호, verbose mode를 활성화시키기 위해서 사용하는 옵션이지만 이미 randomise에서는 초기치로 잡혀 있다. 따라서 생략 가능)
2013년 11월 22일 금요일
multiple testing problem에 대한 solution (3/4) - FWE(R) - non-parametric
multiple tests들에 대해서 type I error(즉 false positive error)를 측정하는 방법들로 두가지가 계열이 있습니다. 첫번째가 'familywise error rate'(FWE)이고 두번째가 false discovery rate입니다.
그러면 각각에 대해서 다시 한번 설명을 하여 보겠습니다.
familywise error rate (FWER, FWE): probability of making at least one Type I error, given the total number of statistical tests
false discovery rate (FDR): probability of having at least one false positive results, given the set of reported positive results
(정의를 보시면 각각의 수치의 개념이 다르다는 것이 일단 이해가 되실 것입니다. 그럼 이번 포스트에서는 FWER 중 이전의 포스트에 이어서 이번에는 non-parametric approach에 대한 설명을 드리겠습니다.)
이처럼 P-value를 추정하기 위하여 매개변수적 통계가정(parametric assumption)들을 사용하는 것 대신에 대신에 비매개변수적 접근법(non-parametric approach)를 사용할 수도 있습니다. 여기에 대표적인 two m/widely used resampling methods들이 permutation test와 bootstrap입니다.
P값을 추정하기 위하여 데이터에 관한 매개변수적 가정(즉 데이터는 이미 정규분포를 한다고 간주하는)을 하늗 대신에, 관심의 대상이 되는 test statistic에 대해서 empirical하게 null distribution들을 얻기 위하여
데이터 자체를 사용하는 것이 이 non-parametric approach라고 하겠습니다.
실제로는 이 중에서는 boostrap이 가장 많이 알려져 있을 것이라고 합니다(그러나 본인은 똑같이 생소함 - 이 것이 함정). 하지만 bootstrap의 문제는 asymptotic method(번역을 하여보면 점근적 기법이라고 번역되는 데 뭔말인지 잘 모르겠지만 일단 중요한 것은 샘플 사이즈가 커야만 하는 기법이라고 합니다.)라는 점입니다. 따라서 large-sample에서만 probably correct하다고 말할 수 있다는 제한점이 있습니다.
대조적으로 permutation test는 small sample들에 대해서도 bootstrap 기법에 비하여도 FWE-corrected p-value들을 추정하는데 유용하다고 합니다.
permute가 동사로 바꾸다는 뜻이 있습니다. 그래서 permutation test라면 바꾸어서 섞다라고 이해하시면 됩니다. 이해하기 쉽게 두 그룹을 들어서 설명을 하여 보겠습니다. 단지 하나의 voxel에 대해서 각기 10명으로 된 두 그룹(H, L)들을 비교한다고 합시다. 귀무 가설(null hypothesis) 하에서는 두 그룹간의 차이가 없다고 할 수 있습니다. 그렇다면 그룹의 라벨을 임의로 해서, 임의로 10명을 뽑아서 H라고 하고 다시 그 자료를 분석한다면, 역시 새롭게 형성된 두 그룹간에서도 차이가 없게 나와야 할 것입니다. 이 것이 permutation test의 기본 원리입니다. - repeatedly shuffling the assignment of experimental lables to the data, and analyzing the data for each shuffle
따라서 label들의 각기 다른 different permutation들을 계속해서 반복해 가면서 자료들을 재분석하는 과정을 permutation test에서는 거치게 되고, 따라서 일차적인 이 test의 단점은 intensive computation이라고 합니다. 하지만, RFT 계산에 비해서 복잡하기는 해도, 결과의 정확성을 위해서는 감내할 만한 가치가 있다고 합니다.
중요한 것은 , FWE-corrected result가 필요할 때는 일반적으로 group fMRI data의 모든 추론에 대해서는 permutation test를 사용할 것을 권장한다고 합니다.
실제로는 이 중에서는 boostrap이 가장 많이 알려져 있을 것이라고 합니다(그러나 본인은 똑같이 생소함 - 이 것이 함정). 하지만 bootstrap의 문제는 asymptotic method(번역을 하여보면 점근적 기법이라고 번역되는 데 뭔말인지 잘 모르겠지만 일단 중요한 것은 샘플 사이즈가 커야만 하는 기법이라고 합니다.)라는 점입니다. 따라서 large-sample에서만 probably correct하다고 말할 수 있다는 제한점이 있습니다.
대조적으로 permutation test는 small sample들에 대해서도 bootstrap 기법에 비하여도 FWE-corrected p-value들을 추정하는데 유용하다고 합니다.
permute가 동사로 바꾸다는 뜻이 있습니다. 그래서 permutation test라면 바꾸어서 섞다라고 이해하시면 됩니다. 이해하기 쉽게 두 그룹을 들어서 설명을 하여 보겠습니다. 단지 하나의 voxel에 대해서 각기 10명으로 된 두 그룹(H, L)들을 비교한다고 합시다. 귀무 가설(null hypothesis) 하에서는 두 그룹간의 차이가 없다고 할 수 있습니다. 그렇다면 그룹의 라벨을 임의로 해서, 임의로 10명을 뽑아서 H라고 하고 다시 그 자료를 분석한다면, 역시 새롭게 형성된 두 그룹간에서도 차이가 없게 나와야 할 것입니다. 이 것이 permutation test의 기본 원리입니다. - repeatedly shuffling the assignment of experimental lables to the data, and analyzing the data for each shuffle
따라서 label들의 각기 다른 different permutation들을 계속해서 반복해 가면서 자료들을 재분석하는 과정을 permutation test에서는 거치게 되고, 따라서 일차적인 이 test의 단점은 intensive computation이라고 합니다. 하지만, RFT 계산에 비해서 복잡하기는 해도, 결과의 정확성을 위해서는 감내할 만한 가치가 있다고 합니다.
중요한 것은 , FWE-corrected result가 필요할 때는 일반적으로 group fMRI data의 모든 추론에 대해서는 permutation test를 사용할 것을 권장한다고 합니다.
multiple testing problem에 대한 solution (2/4) - FDR
familywise error rate (FWER, FWE): probability of making at least one Type I error, given the total number of statistical tests
false discovery rate (FDR): probability of having at least one false positive results, given the set of reported positive results
이전의 포스트에서 FWER에 대한 이야기를 하였는데 이제는 FDR에 대한 이야기를 하여 보겠습니다.
이전의 포스트에서 FWER에 대한 이야기를 하였는데 이제는 FDR에 대한 이야기를 하여 보겠습니다.
FWE-corrected voxel-level test들이 신경 영상연구에서 가장 일반적으로 쓰이는 방법이기는 하지만, 이 것이 너무 보수적이어서 막상 실제 연구를 해보면 insensitive하여서 (correction에서 survival하지 못하였다고 표현합니다) no result가 나오는 경우가 많습니다.
따라서 이 경우에는 좀 더 관대(lenient)한 방법으로 대안이 되는 것이 false discovery rate (FDR)입니다. false discovery proportion (FDP)는 전체 positive 결과가 나온 voxel들 중에서 false positive로 감지된 voxel의 비율을 말합니다. FDP는 직접 측정할 수 없지만, FDR 기법에서는 average FDP가 95% of the time에서 옳게끔 통제되도록 guarantee를 하여 줍니다.
FDR은 다시 말하면 rate of false positives (FDP)를 less than the chosen threshold value로 control합니다.
multiple testing problem을 해결하기 위하여 FWER과 FDR 중에서 어느 것을 control할 것인가가 문제가 될 때, FDR을 사용하는 것은 FWER을 사용하는 것에 비하여 다음 두 가지의 장점이 있다고 합니다.
1. FDR uses less-stringent correction than FWER especially when there are many activated voxels.
2. Whereas FWER controls the proportion of false (positive) tests, FDR controls the proportion of false (positive) claims. --> 실제 연구와 관련해서 생각을 해 보시면 이 부분이 납득이 갑니다. 실제 연구에서는 여러 test들을 수행하며, 결과로 얻어지는 각 data set들에서 유의한 결과가 나올 가능성들도 낮습니다(low probability of significance). 이러한 상황에서 연구자들이 total number of statistical tests - 전체 뇌에서 일일이 개별적인 voxel들 - 에 신경을 쓰는 것보다는, reported positive results들 - activation clusters in a table - 에 신경을 쓰는 것을 당연히 더 선호할 것입니다.
(*claim은 유의한 결과가 나온 부위들을 지칭합니다)
아래의 그림을 보시면 FDR은 no correction과 FWER사이의 compromise라는 것을 아실 수 있습니다. 가로로 첫 줄은 statistic image without any thresholding, 둘째 줄은 no correction, 셋째 줄은 FWER, 넷째 줄은 FDR을 예시하는 그림입니다.
그러나 FDR의 greater sensitivity는 (FWER에 비하여) greater false positive risk라는 댓가를 치르고 얻은 것입니다. 그리고 이 것은 FDP라는 개념을 적용해서 map을 얻은 만큼, FDR-significant한 voxel들의 map에서 그러나, 개별 single voxel을 찝어서 그것이 significant하다고 결론을 내릴 수가 없습니다. 단지 평균적으로 5% 미만의 voxel들만이 false positive하다고 말할 수 있을 뿐입니다. 그래서 이것을 lack of spatial precision이 있다고 말합니다.
따라서, SPM의 아버지인 Friston 같은 경우에는 voxel-level FDR은 전혀 사용되어서는 안된다는 말까지 남긴 바가 있습니다.
그래서 많이 사용하는 것이 대신 cluster-level FDR입니다.
multiple testing problem에 대한 solution (1/4) - FWE(R) - parametric
multiple tests들에 대해서 type I error(즉 false positive error)를
측정하는 방법들로 두 가지 계열이
있습니다. 첫번째가 'familywise error
rate'(FWE)이고 두번째가 false discovery rate입니다. 이전의 포스트에서 여기까지 설명이 있었습니다.
그러면 각각에 대해서 다시 한번 설명을 하여 보겠습니다.
familywise error rate (FWER, FWE): probability of making at least one Type I error, given the total number of statistical tests
false discovery rate (FDR): probability of having at least one false positive results, given the set of reported positive results
(정의를 보시면 각각의 수치의 개념이 다르다는 것이 일단 이해가 되실 것입니다. 헷갈리기 쉬운데, 보시면 FDR과 FWER은 각기 분모가 다릅니다. FDR에서는 분모로 보고된 양성의 결과들이 나온 횟수가 사용되고 , FWER은 분모로 전체 통계돌린 횟수가 다 포함되기 때문에 FWER이 FDR보다 훨씬 더 보수적이고 엄격한 통계방법이라는 뜻입니다. 그럼 이번 포스트에서는 FWER 중 parametric approach에 대한 설명을 드리겠습니다.)
가장
흔한 유형의 false positive error correction 방법입니다.
aFWE=0.05라는 말은 any false positive chances anywhere in the map이 5%라는 말입니다. 따라서 이 때에 특정 voxel에서의 p값을 corrected FWE p value 또는 corrected p value라고 합니다. fMRI data에서 이 corrected P value를 구하기 위한 방법으로 몇가지가 있습니다.
aFWE=0.05라는 말은 any false positive chances anywhere in the map이 5%라는 말입니다. 따라서 이 때에 특정 voxel에서의 p값을 corrected FWE p value 또는 corrected p value라고 합니다. fMRI data에서 이 corrected P value를 구하기 위한 방법으로 몇가지가 있습니다.
첫 번째는 Bonferroni correction입니다. 여기서는 threshold of a=aFWE/v (number of
tests)입니다. 그런데 각 test들 사이에 strong correlation이 있을 수록, Bonferroni
procedure는 더더욱 conservative해 집니다. (왜죠? 잘 모르겠습니다.) 따라서 fMRI data들은 smoothing을 한다는 점을 고려하면 각
자료간에는 강한 correlation이 있게 마련이고 따라서 이
Bonferroni correction은 너무 conservative합니다. 이렇게 하면 type I error는 줄일 수 있지만 대신에 probability of type II error를 또한 dramatic하게
높이게 됩니다.
그래서 다른 기법들을 사용합니다.
두 번째가 (Gaussian) random field theory (RFT)입니다. 수학적으로 복잡하지만, RFT의 중요한 특성은 어떻게 이 것이 자료에서의 smoothness를 설명하는가 입니다. smoothness는 FWHM으로 설명됩니다. 그런데 우리가 fMRI에서 smoothing을 실시하기 이전에 이미 모든 imaging data에는 그 자체적으로 intrinsic smoothness가
있고, 따라서 some spatial correlation이
존재합니다. 여기에다가 우리가 fMRI 분석 시에 적용하는 Gaussian smoothing kernel의 크기로 평가하는
smoothing이 있습니다. 따라서 최종적으로 우리가 얻게되는 RFT의 smoothness parameter는 자료 자체에 내재하는 intrinsic smoothness + applied smoothing의 조합을 통해서 얻어지는 것입니다.
여기에서 기억할 필요가 있는 것은 수식을 통해서 FWHM의 결과값이
증가하면 결과적으로 corrected P-value는 감소합니다. 따라서 greater smoothness --> less severe multiple testing problem
--> less stringent correction needed/ greater search volume --> more
severe multiple testing problem --> more stringent correction needed.
RFT가 fMRI inference에서
핵심적인 역할을 하지만, 많은 단점들도 갖고 있습니다. (특히
중요한 것은 RFT는 sample size가 less than about 20일 경우에는 과도하게 conservative해서 결과를 내기가 힘들다는 점입니다.)
세 번째로 FWE를 통제하기 위한
threshold of a를 제공하는 방법으로 Monte Carlo simulation이
있습니다. 이 방법은 RFT보다는 훨씬 더 computationally intensive하다고 합니다. 이 방법이 AFNI의 alphasim 프로그램에 채용되어서 논문을 보다보면 이
단어들을 많이 볼 수 있습니다.
activation likelihood estimation methods for fMRI meta-analysis
현재 lab에서 진행하고 있는 project가 몇가지가 있는데 그 중의 하나가 fMRI study들에 대한 meta-analysis입니다.
과연 이 것이 가능할까? 했는데, 가능하더군요. 이러한 연구를 가능하게 하여 준 것이 activation likelihood estimation (ALE) method입니다.
많은 기존의 fMRI 연구들이 있었지만, 이 개별 연구들은 몇가지 한계점이 있습니다. (First, their reliance on relatively small, well-characterized samples limits their generalizability and power to detect differences. Second, variations in task design and implementation influence fMRI results—even within singular constructs (e.g. response inhibition).)
Activation likelihood estimation (ALE) meta-analysis techniques offer novel solutions to these limitations, facilitating research on developmentally-unique neural alterations associated with specific psychiatric disorders.
Specifically, ALE meta-analyses address these limitations by aggregating published data to model the probability of detecting activation differences at each brain voxel . Thus, ALE reduces the estimated 10-20% likelihood of false positives common in smaller individual fMRI studies.
이 기법은 2002년에 Turkeltaub에 의하여 처음으로 제안된 정량적인 메타분석 기법입니다. 이 기법을 사용하는 프로그램이 GingerALE 입니다. (an application freely available for educational and scientific purposes by BrainMap (http://brainmap.org/ale/; Research Imaging Center of the University of Texas in San Antonio)
(현재 제가 쓰고 있는 논문이 소아 bipolar에서의 fMRI meta-analysis입니다.)
아래에 홈페이지 그림이 있습니다.
과연 이 것이 가능할까? 했는데, 가능하더군요. 이러한 연구를 가능하게 하여 준 것이 activation likelihood estimation (ALE) method입니다.
많은 기존의 fMRI 연구들이 있었지만, 이 개별 연구들은 몇가지 한계점이 있습니다. (First, their reliance on relatively small, well-characterized samples limits their generalizability and power to detect differences. Second, variations in task design and implementation influence fMRI results—even within singular constructs (e.g. response inhibition).)
Activation likelihood estimation (ALE) meta-analysis techniques offer novel solutions to these limitations, facilitating research on developmentally-unique neural alterations associated with specific psychiatric disorders.
Specifically, ALE meta-analyses address these limitations by aggregating published data to model the probability of detecting activation differences at each brain voxel . Thus, ALE reduces the estimated 10-20% likelihood of false positives common in smaller individual fMRI studies.
이 기법은 2002년에 Turkeltaub에 의하여 처음으로 제안된 정량적인 메타분석 기법입니다. 이 기법을 사용하는 프로그램이 GingerALE 입니다. (an application freely available for educational and scientific purposes by BrainMap (http://brainmap.org/ale/; Research Imaging Center of the University of Texas in San Antonio)
(현재 제가 쓰고 있는 논문이 소아 bipolar에서의 fMRI meta-analysis입니다.)
아래에 홈페이지 그림이 있습니다.
Monte-Carlo simulation
fMRI 논문을 읽다 보면 지긋지긋하게 나오는 몬테카를로 시뮬레이션에 대해서 알아 봅시다. 개념만 보아 둬도 될 것 같습니다. (세부적인 것은 너무 어려워서 뭔 말인지 모르겠음)
몬테카를로 계산이란?
몬테카를로 방법은 통계적 문제를, 난수(Random Number)를 사용한 무작위적인 표본을 이용하여 해결하는 방법이다. 몬테카를로 방법의 장점 중의 하나는 계산 알고리즘이 다른 수학적 방법에 비해 간단하다는 것을 들 수 있다. 또한, 주로 5~10% 정도의 오차를 허용할 수 있는 공학적인 문제들을 해결하는 데 효과적으로 이용될 수 있다.
기본 사상은 각각의 단위 변수의 패턴을 알아내서, 의사결정을 위한 그 단위 변수의 조합의 패턴을 추정하는 것이다.다시말해, 각각의 변수의 확률분포를 통합해서 목표로 하는 값의 확률분포를 알아내는 것이다.그림을 보면 이게 무슨말인지 쉽게 이해할 것이다.

그럼 단위 변수들의 확률모델은 어떻게 알아내느냐고? 그건 최소한 의사결정을 위한 목표값의 확룔모델을 알아내는 것보다는 몇갑절 쉽고 정확하다. 범위와 그 속성을 알면 누구나 동감할 만한 수준의 패턴을 찾아낼 수 있기 때문이다.
그럼 단위 변수들의 확률모델은 어떻게 알아내느냐고? 그건 최소한 의사결정을 위한 목표값의 확룔모델을 알아내는 것보다는 몇갑절 쉽고 정확하다. 범위와 그 속성을 알면 누구나 동감할 만한 수준의 패턴을 찾아낼 수 있기 때문이다.
몬테카를로 방법을 이용하여 해결할 수 있는 문제들이 어떤 것들이 있는가에 대해 살펴보면, 난수 인자에 의해서 제어될 수 있는 모델이라면 어떤 것이든 다룰 수 있다. 두 번째로, 확률을 가지고 있지 않은 많은 수학적 문제들에 대해서 이 방법은 컴퓨터를 이용한 통계적 추출 시도를 통해서 적절한 확률적 모델을 만들어서 문제를 해결할 수 있도록 해준다. 1930년 엔리코 페르미가 중성자의 특성을 연구하기 위해 이 방법을 사용한 것으로 유명하다. 맨해튼 계획의 시뮬레이션이나 수소폭탄의 개발에서도 핵심적인 역할을 담당하였다. 알고리즘의 반복과 큰 수의 계산이 관련되기 때문에 몬테카를로는 다양한 컴퓨터 모의 실험 기술을 사용하여 컴퓨터로 계산하는 것이 적합하다.
몬테카를로 계산이란?
몬테카를로 방법은 통계적 문제를, 난수(Random Number)를 사용한 무작위적인 표본을 이용하여 해결하는 방법이다. 몬테카를로 방법의 장점 중의 하나는 계산 알고리즘이 다른 수학적 방법에 비해 간단하다는 것을 들 수 있다. 또한, 주로 5~10% 정도의 오차를 허용할 수 있는 공학적인 문제들을 해결하는 데 효과적으로 이용될 수 있다.
몬테카를로 방법(Monte Carlo method)은 난수를 이용하여 함수의 값을 확률적으로 계산하는 알고리즘을 부르는 용어이다. 수학이나 물리학 등에 자주 사용되며, 계산하려는 값이 닫힌 형식으로 표현되지 않거나 복잡한 경우에 근사적으로 계산할 때 사용된다. 스타니스와프 울람이 모나코의 유명한 도박의 도시 몬테카를로의 이름을 본따 명명하였다.
변수의 관계가 확실하여 예측치를 정확하게 찾을 수 있는 확정모형(deterministic model)과는 달리, 기획일의 많은 부분은 결과를 정확하게 예측할 수 없는 확률모형(stochastic model)이다. 일반적으로 확정모형에서는 분석적 해(analytical solution)을 찾는 것이 가능하다. 그러나 확률모형에서는 분석적인 방법으로 해를 찾는 것이 불가능 한 경우가 많다. 이 경우에는 수치적(numerical)으로 일련의 난수를 반복적으로 발생해서 시뮬레이션을 하면 답을 찾을 수 있는데 이것이 몬테카를로 시뮬레이션이다.
기본 사상은 각각의 단위 변수의 패턴을 알아내서, 의사결정을 위한 그 단위 변수의 조합의 패턴을 추정하는 것이다.다시말해, 각각의 변수의 확률분포를 통합해서 목표로 하는 값의 확률분포를 알아내는 것이다.그림을 보면 이게 무슨말인지 쉽게 이해할 것이다.

그럼 단위 변수들의 확률모델은 어떻게 알아내느냐고? 그건 최소한 의사결정을 위한 목표값의 확룔모델을 알아내는 것보다는 몇갑절 쉽고 정확하다. 범위와 그 속성을 알면 누구나 동감할 만한 수준의 패턴을 찾아낼 수 있기 때문이다.
그럼 단위 변수들의 확률모델은 어떻게 알아내느냐고? 그건 최소한 의사결정을 위한 목표값의 확룔모델을 알아내는 것보다는 몇갑절 쉽고 정확하다. 범위와 그 속성을 알면 누구나 동감할 만한 수준의 패턴을 찾아낼 수 있기 때문이다.
몬테카를로 방법을 이용하여 해결할 수 있는 문제들이 어떤 것들이 있는가에 대해 살펴보면, 난수 인자에 의해서 제어될 수 있는 모델이라면 어떤 것이든 다룰 수 있다. 두 번째로, 확률을 가지고 있지 않은 많은 수학적 문제들에 대해서 이 방법은 컴퓨터를 이용한 통계적 추출 시도를 통해서 적절한 확률적 모델을 만들어서 문제를 해결할 수 있도록 해준다. 1930년 엔리코 페르미가 중성자의 특성을 연구하기 위해 이 방법을 사용한 것으로 유명하다. 맨해튼 계획의 시뮬레이션이나 수소폭탄의 개발에서도 핵심적인 역할을 담당하였다. 알고리즘의 반복과 큰 수의 계산이 관련되기 때문에 몬테카를로는 다양한 컴퓨터 모의 실험 기술을 사용하여 컴퓨터로 계산하는 것이 적합하다.
fMRI에서의 task들
fMRI에서의 task들은 다양하게 다음과 같이 나눌 수가 있습니다.
막상 여기에 대해서 일목요연하게 정리된 부분들을 찾기가 힘들어서 이번 기회에 정리를 하여 보도록 하겠습니다.
우선 어떠한 domain을 볼 것인가에 따라서 어떠한 task들을 줄 것인가를 생각해야 하겠지요. 그래서 제가 그동안 소아청소년의 bipolar disorder fMRI들을 공부하면서 각 paper들을 모으는 과정에서 정리한 tasks list들을 그 방법론에 대한 소개들과 함께 정리해서 올려 보려고 합니다.
책들을 찾아보았었는데 제가 찾아본 한에서는 이 task에 대해서 무엇이 있다라고 딱 교과서적으로는 나와 있는 것은 없었습니다.
그래서 나름대로 다음과 같이 (사실은 제가 있는 곳의 Director인 Dr. Mani pavuluri의 분류법에 따라서) 정리를 하였습니다.
affective task들은 그 특성에 따라서 negative valence domain/ positive valence domain을 보는 것으로 추가적 구분이 가능합니다.
1. emotion domain - negative & positive valence
2. attention
3. interface between two different domains
4. mental flexibility
5. working memory
6. reward processing
7. funcitonal resting state activity (no task)
여기에서 1-6번은 task를 주고 하는 것이고 7번은 task가 없는 것입니다.
처음에는 이 task들 각각에 대해서 좀 더 깊이 연구를 하여 보려고 하였으나 그것이 별 의미가 없다는 것을 알게 되었습니다. 그 이유는 각각의 변인들이 워낙 다양하게 조정이 되어서 실제 연구들에서 사용되고 있기 때문입니다.
각각의 lab에서 다양한 task들을 다 하는 것이 아니라 전문, 집중화가 되어서 특정 task들을 다루기 때문에 전체 task들을 다 보는 것은 그다지 의미가 없다고 하겠습니다.
막상 여기에 대해서 일목요연하게 정리된 부분들을 찾기가 힘들어서 이번 기회에 정리를 하여 보도록 하겠습니다.
우선 어떠한 domain을 볼 것인가에 따라서 어떠한 task들을 줄 것인가를 생각해야 하겠지요. 그래서 제가 그동안 소아청소년의 bipolar disorder fMRI들을 공부하면서 각 paper들을 모으는 과정에서 정리한 tasks list들을 그 방법론에 대한 소개들과 함께 정리해서 올려 보려고 합니다.
책들을 찾아보았었는데 제가 찾아본 한에서는 이 task에 대해서 무엇이 있다라고 딱 교과서적으로는 나와 있는 것은 없었습니다.
그래서 나름대로 다음과 같이 (사실은 제가 있는 곳의 Director인 Dr. Mani pavuluri의 분류법에 따라서) 정리를 하였습니다.
affective task들은 그 특성에 따라서 negative valence domain/ positive valence domain을 보는 것으로 추가적 구분이 가능합니다.
1. emotion domain - negative & positive valence
2. attention
3. interface between two different domains
4. mental flexibility
5. working memory
6. reward processing
7. funcitonal resting state activity (no task)
여기에서 1-6번은 task를 주고 하는 것이고 7번은 task가 없는 것입니다.
처음에는 이 task들 각각에 대해서 좀 더 깊이 연구를 하여 보려고 하였으나 그것이 별 의미가 없다는 것을 알게 되었습니다. 그 이유는 각각의 변인들이 워낙 다양하게 조정이 되어서 실제 연구들에서 사용되고 있기 때문입니다.
각각의 lab에서 다양한 task들을 다 하는 것이 아니라 전문, 집중화가 되어서 특정 task들을 다루기 때문에 전체 task들을 다 보는 것은 그다지 의미가 없다고 하겠습니다.
FWHM에 대해서 - random field theory와 관련해서 나오는 말
FWHM은 Full width at half maximum의 줄임말로서, 반값의 최대폭을 의미합니다.
어떤 함수의 종속변수의 절반 크기에 해당하는 독립변수 값의 차이를 말합니다. 예를 들어, 검출기가 측정한 별빛의 세기는 다음과 같이 3차원적으로 표현할 수 있습니다. 높이에 해당하는 것은 별의 밝기(또는 빛의 세기)이며, 그에 수직한 평면은 검출기의 두 좌표를 나타냅니다. 두 좌표는 CCD와 같은 검출기의 행과 열을 나타냅니다. 아래의 함수는 CCD와 같은 검출기의 몇번 째 행의 몇번 째 열에 입사하는 빛이 어느 정도의 세기를 가지는가를 나타냅니다. 이처럼 검출기의 행과 열에 대한 빛의 세기를 나타내는 함수와 같은 것들을 점퍼짐 함수(PSF; Point Spread Function)라고 합니다. 이러한 점퍼짐 합수의 절반 세기에서 측정한 전체 폭을 FWHM(반값의 최대폭(이라고 합니다.
FWHM의 응용 분야는 매우 다양합니다. 천체 관측을 위한 대기의 품질을 결정하는 시상(seeing)의 결정에도 사용이 됩니다. 대기의 요동이 심한 날에는 대기에 의한 별빛의 굴절률 변화가 심하고, 그 결과 점퍼짐 함수의 폭이 커집니다. 서로 다른 시간에 동일한 별의 FWHM을 측정하여 비교한다면 시간에 따른 시상의 변화를 비교할 수 있습니다. 또한 천체망원경의 초점을 조정할 때에도 사용됩니다. 초점이 정확하게 맞을수록 별의 상의 크기가 작아진다는 원리를 이용하는 것인데, FWHM은 별의 상의 크기를 결정하는 기준이 될 수 있습니다. 육안이나 소프트웨어를 이용하여 동일한 별상의 FWHM을 감시하면서 초점을 조정하다가 FWHM이 최소가 될 때 초점을 맞추게 됩니다. FWHM을 이용한 초점 조정 방법은 다음 링크에 설명되어 있습니다.
초점 조절 - DSLR 사진기의 디스플레이 이용법
어떤 함수의 종속변수의 절반 크기에 해당하는 독립변수 값의 차이를 말합니다. 예를 들어, 검출기가 측정한 별빛의 세기는 다음과 같이 3차원적으로 표현할 수 있습니다. 높이에 해당하는 것은 별의 밝기(또는 빛의 세기)이며, 그에 수직한 평면은 검출기의 두 좌표를 나타냅니다. 두 좌표는 CCD와 같은 검출기의 행과 열을 나타냅니다. 아래의 함수는 CCD와 같은 검출기의 몇번 째 행의 몇번 째 열에 입사하는 빛이 어느 정도의 세기를 가지는가를 나타냅니다. 이처럼 검출기의 행과 열에 대한 빛의 세기를 나타내는 함수와 같은 것들을 점퍼짐 함수(PSF; Point Spread Function)라고 합니다. 이러한 점퍼짐 합수의 절반 세기에서 측정한 전체 폭을 FWHM(반값의 최대폭(이라고 합니다.
FWHM의 응용 분야는 매우 다양합니다. 천체 관측을 위한 대기의 품질을 결정하는 시상(seeing)의 결정에도 사용이 됩니다. 대기의 요동이 심한 날에는 대기에 의한 별빛의 굴절률 변화가 심하고, 그 결과 점퍼짐 함수의 폭이 커집니다. 서로 다른 시간에 동일한 별의 FWHM을 측정하여 비교한다면 시간에 따른 시상의 변화를 비교할 수 있습니다. 또한 천체망원경의 초점을 조정할 때에도 사용됩니다. 초점이 정확하게 맞을수록 별의 상의 크기가 작아진다는 원리를 이용하는 것인데, FWHM은 별의 상의 크기를 결정하는 기준이 될 수 있습니다. 육안이나 소프트웨어를 이용하여 동일한 별상의 FWHM을 감시하면서 초점을 조정하다가 FWHM이 최소가 될 때 초점을 맞추게 됩니다. FWHM을 이용한 초점 조정 방법은 다음 링크에 설명되어 있습니다.
초점 조절 - DSLR 사진기의 디스플레이 이용법
2013년 11월 18일 월요일
편역을 끝냈습니다. - What works for bipolar kids
미국에 와서 했던 큰 프로젝트 중의 하나인 편역이 오늘 끝났습니다.
아래의 책입니다.
분량이 꽤 되어서 A4 워드로 글자체는 10포인트로 했는데도 지금 보니 275페이지네요.
글을 쓰는 직업이고, 그 동안 많은 원고를 써왔으나, A4로 거의 300여 페이지 짜리 글을 (비록 편역이지만) 써 보기는 거의 처음입니다.
오늘은 사무실도 안 나가고 방에 틀어박혀서 고치고 또 고치고 해서 일단 출판사에 원고를 지금 막 넘겼습니다.
큰 것 하나 끝내니 정말 뿌듯하네요. 이제 다음으로 쓸 논문, 리뷰, 분석, 교과서 쓰기 등등의 일들이 꽤 많이 밀려 있습니다. 그래도 정말 시원합니다. 물론 앞으로 교정도 보고 문장도 또 다듬어야 겠지만 일단 한 고비는 넘긴 것 같습니다.
아래에는 제가 쓴 원고에서 편역자의 말 부분만 옮깁니다.
편역자의 말
처음에 미국에
가서 닥터 매니의 진료실에서 환자 진료를 옆에서 보면서 환자들을 대하는 매니의 긍정적이고 활기 넘치는 태도가 아주 인상적이었습니다. 그러면서 한국에서 진료를 할 때 내가 어떠했었나 진지하게 돌아보는 계기가 되었습니다. 그러던 중 매니가 자신이 하는 진료의 주요한 내용들이 이 책에 들어 있다고 제게 소개를 해 주면서 책을 읽기
시작하게 되었습니다.
매니에게 이 책을
소개 받으면서 읽어보다가 내용이 보호자들에게 정말 좋다고 판단이 되어서 편역을 결심하게 되었습니다. 처음에
편역을 시작하려 할 때에는 아직 책을 처음부터 완독을 하지는 않고, 부분부분 발췌해서 보던 시점이었는데, 막상 편역을 하고 다른 사람들에게 소개를 한다고 생각하면서 처음부터 차근차근 완독을 하니 내가 그냥 띄엄띄엄
읽을 때와는 많이 다른 느낌이었음을 고백합니다.
이 책에는 많은
실례들이 들어있고 그 내용 중의 다수는 내가 미국에 오기 이전에 이미 진료실에서 경험을 하였던 많은 아이들에게서 경험한 살아 숨쉬는 증례들입니다. 태평양을 건너서 미국의 진료실에서 본 아이들도 한국에서 본 아이들과 큰 차이는 없었던 것 같습니다. 그러면서 이런 책을 읽으면서 처음에 전혀 예상을 못했었는데, 읽다가
보면서 나도 모르게 조울병 아이의 어머니, 아버지 심정으로 돌아가서 숙연해 지는 느낌입니다.
편역하려고 증례들을
보다 보면 자꾸만 진료실에서 보았던 아이들과 어머니들의 얼굴이 주마등처럼 머리 속을 스쳐갑니다. 성적이
전교 순위권을 다투다가 조울병이 생기면서 성적이 떨어지던 김군, 그래도 흔들리지 않으려고 애를 쓰시던
김군 어머니, 진료실에서 아이가 흥분하자 껴안고 우시던 이군 아버지,
항상 기운 없는 창백한 얼굴로 말이 없던 여학생, 아이 학교에 문제가 생겨서 갈 때는 흐트러짐
없게 옷을 항상 잘 갖춰 입고 간다고 하던 아이 어머님, 자신의 아들을 데리고 오시던 학교 선생님 …… 항상 깍듯하시면서도 여유를 잃지 않으시던 부모님들. 그 분들은
지금 어떻게 지낼까, 내가 그 입장이었으면 나는 어떻게 행동할 수 있었을까…… 증례들이 살아 숨쉬면서 내가 진료를 했었을 당시에 나는 어떻게 했었나 과연 나라면 어떻게 해야 했었나 자꾸
생각들이 꼬리에 꼬리를 무는 경험을 하게 됩니다. 모두들 제게 가르침을 주신 분들입니다.
이 책은 소설이
아니고 교육과 정보 제공을 하는 책인데도 내게 깊은 마음의 울림을 주는 것은 살아 숨쉬는 증례를 바탕으로 제 경험과 맞물렸기 때문일 거라고 생각합니다. 또한 자녀가 조울병이라고 진단을 받으신 부모님들도 이 책을 읽으시면서 개인적인 경험이 생각나면서 많은 생각이
드실 것이라고 생각하며, 소중한 시간을 내셔서 이 책을 읽으시는 만큼,
도움이 되시리라고 확신합니다.
편역을
하면서 한국의 실정에 맞게 하려고 각 주도 넣고 하였었는데, 특히 9장이
편역하기에 제일 어려웠던 것 같습니다. 그 이유는 한국에서는 아직까지 이러한 시스템들이 미처 갖추어지지
않았기 때문에 제가 한국의 실정에서는 이러이러하게 도움을 받으시면 된다라는 말을 할 수가 없어서 참 어려웠었습니다. 이 부분은 앞으로의 저의 임무라고 생각합니다.
마지막으로 이
책자를 편역하면서 정서적으로 지원을 하여 준 부인 지연, 아들 본무에게 고맙다고 말을 전하고, 특히 이 책이 출판될 수 있도록 기꺼이 판권계약부터 지원을 하여 주신 하나의학사 오무근 대표님께 진심으로 감사를
드립니다.
2013년 11월 17일 일요일
'중독관리법' 제정과 관련하여 한국중독정신의학회에서 회원들에게 보낸 안내문입니다.
이번에 중독관리법 관련해서 사회적으로 뜨거운 현안이 되고 있습니다.
아래에 중독정신의학회에서 회원들에게 보낸 안내문을 올립니다.
아래에 중독정신의학회에서 회원들에게 보낸 안내문을 올립니다.
|
한국사회가 게임과 화해하는 법
한국 사회가 게임과 화해하는 법이라는 글이 제가 간간이 가는 블로터닷넷(http://www.bloter.net/archives/169577)에 올라와서 링크를 여기에 올립니다.
현재 게임 중독과 관련해서 많은 사회적 논의가 격렬하게 벌어지고 있는 것으로 알고 있는데, 나름대로 소아청소년 정신과 의사이고 또 게임 및 인터넷 중독과 관련해서 논문도 썼던 사람으로서 가만히 있을 수만은 없다고 생각은 했었습니다.
그런데 본 글을 쓰신 분은 의료전문가는 아니지만 비교적 정확하게 이번 사회현상(?)에 대해서 소개를 하고 있다고 생각되어서 글을 올립니다.
역시 이 부분은 교육과 서로 맞물려져 있다고 생각됩니다.
현재 게임 중독과 관련해서 많은 사회적 논의가 격렬하게 벌어지고 있는 것으로 알고 있는데, 나름대로 소아청소년 정신과 의사이고 또 게임 및 인터넷 중독과 관련해서 논문도 썼던 사람으로서 가만히 있을 수만은 없다고 생각은 했었습니다.
그런데 본 글을 쓰신 분은 의료전문가는 아니지만 비교적 정확하게 이번 사회현상(?)에 대해서 소개를 하고 있다고 생각되어서 글을 올립니다.
역시 이 부분은 교육과 서로 맞물려져 있다고 생각됩니다.
2013년 11월 16일 토요일
multiple testing problem은 fMRI 분석에서 왜 생기는가?
항상 논문을 읽다 보면 부딪히게 되는 문제들입니다.
이에 대해서 solution을 한번 써 보도록 하겠습니다.
전통적인 통계 기법들은 false positive risk(즉, type I error입니다)들의 level을 control할 직접적인 수단들로 alpha를 설정하는 방법을 씁니다. 이 것은 개별적인 test 즉, test-by-test basis에서 이루어지는 기준입니다.
그래서 사회과학에서 사용하는기준인 1번 비교시에 P<0.05라는 기준을 단순히 사용한다면, 10만개의 voxel (2d에서는 pixel, 3d에서는 voxel이라는 말을 씁니다)에서는 각각의 voxel들에 대해서 통계적인 비교가 이루어지게 되는 셈이니, 유의하다고 나오더라도 평균적으로 5천개의 voxel이 false positive가 될 수 있다는 말이 되어져 버립니다. (너무 관대해져 버립니다.) 다시 말하면, the greater number of statistical tests conducted, the greater the chance of a false-positive result입니다.
그래서 neuroimaging과 같이 많은 voxel들을 다루는 경우에는 각각의 voxel에 대해서 testing이 이루어지기 때문에 multiple testing이 되고 이러한 multiple testing problem은 fMRI analysis에서는 critical issue입니다.
다시 말하면, 다음과 같이 이야기할 수 있습니다.
"Standard hypothesis tests are designed only to control the 'per comparison rate' and are not meant to be used repetitively for a set of related tests."
다시 말하면 표준적인 가설 검정기법들은 단지 한회의 비교 검정을 위한 것이지, 서로 관련된 검사들을 반복적으로 사용하기 위한 경우를 위한 것은 아니라는 것입니다. 즉 너무 높은 false positive risk를 낮추기 위해서 사용하는 방법들이 별도로 있어야 하는 것입니다.
그래서 entire image에 대한 false positive risk를 측정하기 위한 수치들이 나오게 되는데 이 수치로 두 가지가 있습니다 - familywise error rate (FWER)과 false discovery rate (FDR) 입니다.
이 multiple testing correction 방법은 여러가지가 있는데, 이에 대해서 한번 알아보도록 하겠습니다.
이에 대해서 solution을 한번 써 보도록 하겠습니다.
전통적인 통계 기법들은 false positive risk(즉, type I error입니다)들의 level을 control할 직접적인 수단들로 alpha를 설정하는 방법을 씁니다. 이 것은 개별적인 test 즉, test-by-test basis에서 이루어지는 기준입니다.
그래서 사회과학에서 사용하는기준인 1번 비교시에 P<0.05라는 기준을 단순히 사용한다면, 10만개의 voxel (2d에서는 pixel, 3d에서는 voxel이라는 말을 씁니다)에서는 각각의 voxel들에 대해서 통계적인 비교가 이루어지게 되는 셈이니, 유의하다고 나오더라도 평균적으로 5천개의 voxel이 false positive가 될 수 있다는 말이 되어져 버립니다. (너무 관대해져 버립니다.) 다시 말하면, the greater number of statistical tests conducted, the greater the chance of a false-positive result입니다.
그래서 neuroimaging과 같이 많은 voxel들을 다루는 경우에는 각각의 voxel에 대해서 testing이 이루어지기 때문에 multiple testing이 되고 이러한 multiple testing problem은 fMRI analysis에서는 critical issue입니다.
다시 말하면, 다음과 같이 이야기할 수 있습니다.
"Standard hypothesis tests are designed only to control the 'per comparison rate' and are not meant to be used repetitively for a set of related tests."
다시 말하면 표준적인 가설 검정기법들은 단지 한회의 비교 검정을 위한 것이지, 서로 관련된 검사들을 반복적으로 사용하기 위한 경우를 위한 것은 아니라는 것입니다. 즉 너무 높은 false positive risk를 낮추기 위해서 사용하는 방법들이 별도로 있어야 하는 것입니다.
그래서 entire image에 대한 false positive risk를 측정하기 위한 수치들이 나오게 되는데 이 수치로 두 가지가 있습니다 - familywise error rate (FWER)과 false discovery rate (FDR) 입니다.
이 multiple testing correction 방법은 여러가지가 있는데, 이에 대해서 한번 알아보도록 하겠습니다.
2013년 11월 14일 목요일
ubuntu 14.04 LTS에서 한영 전환
기본적으로 분석에 쓰이는 소프트웨어는 안정성을 중요시하는 만큼 항상 장기지원판 LTS를 쓰는데 한글사용에 대해서는 각 버전마다 조금씩 달라서 이번에는 14.04 LTS에서의 설정에 대해서 글을 가져왔습니다. (이 글은 http://ngee.tistory.com/326 에서 가져왔습니다.)
1. 언어 업데이트
우분투 System Setting에 들어가시면 다음과 같은 화면이 나타나죠?
여기서 Language Support를 클릭하시면 자동으로 언어 업데이트가 이루어집니다.
일단 이거 한 번 하셔야 합니다.

2. ibus-setup
terminal(터미널) 하나 열고, 아래와 같이 입력하시면 ibus 설정을 하실 수 있습니다.
$ ibus-setup

위와 같은 화면에서 Select an Input method를 누르시고 Korea(Hangul)을 추가해줍니다.

아래가 최종 화면이 되겠죠.
ibus

자 이제 ibus-setup은 끝났구요.
단축키를 설정해주면 되겠죠.
3. 단축키 설정
System setting에서 Text Entry가 있는데요. 이것을 클릭해주세요.

여기서 좌측 하단에 있는 +(플러스 버튼)을 클릭하시고, Korean(Hangul)을 추가해주세요.
그럼 아래와 같은 화면을 보실 수 있습니다.

이제 끝입니다.
Switch to next source using, Switch to previous source using에 각기 키를 입력합니다. 단, 한/영 키를 사용하면 좋겠지만 이 키를 입력하려고 하면 에러가 나면서 튕기기 때문에 한/영 키를 전환에 사용할 수는 없습니다.
canonical HFR에 대해서
외부에서 자극이 주어지면 그에 대한 반응으로 neuronal activity가 발생합니다.
neuronal activity가 발생하면 그에 대한 반응으로써 local concentration of oxygenated hemoglobin이 증가하게 됩니다. 그러면 T2 star weighte MRI 영상에서 signal이 증가하여서, bold signal로 잡히게 됩니다.
그런데 문제는 bold signal이 즉각적으로 증가했다가 자극이 끝나면 바로 baseline으로 떨어지는 형태의 소위 box-car function을 보이지는 않는다는 것입니다.
대신에, neural input에서 convolution operation을 통해서 expected bold signal이 나오게 됩니다.
그래서 ideal, noiseless한 hemodynamic response는 다음과 같은 모양을 갖게 됩니다.
이 때에 중요한 것이 linear time invariant (LTI) properpty 입니다. 다시 말하면, 만약 neural response가 a라는 factor에 의해서 scale이 이루어 진다면 , 역시 BOLD response도 same factor에 의해서 scale이 만들어 진다는 것입니다.
(사실 이러한 기본적인 가정에 대해서 의문을 제기해서 과연 linear하냐, nonlinear하지 않냐고 논의가 많았었다고 합니다. 그러나, 다행히도 nonlinearity들이 분명히 중요하기는 하지만, 대부분의 인지적 fMRI 연구들이 일어나는 범위에서는 이들은 상대적으로 작은 impact만을 가져서, LTI를 가정할 수 있다고 합니다.)
이러한 선형성의 가정에서 가능하게 되는 것이 바로 GLM 모델입니다.
역으로 우리가 fMRI에서 BOLD response를 기록하게 되면 이를 통해서 선형성의 가정 아래에 가장 잘 맞는 즉, “goodness-of-fit"에 들어 맞는 parameter,즉 estimate of HRF를 GLM 모델을 통해서 찾게 되는 것입니다.
이 과정에서 deconvolution을 하게 됩니다. 그런데, canonical HRF만으로는 peak of the response에 이르는 과정에서의 small offset까지는 잡아낼 수가 없어서, 이를 반영하기 위해서 temporal derivative를 포함시키게 됩니다. 이 것이 바로 canonical HRF plus derivatives 접근법입니다.
이 접근법을 적용한 사람으로 Karl Friston이 있습니다. 이 사람이 개발한 것이 SPM이니 사람들이 왜 그렇게 SPM, SPM 타령을 하는 지가 이해가 되기는 합니다.
neuronal activity가 발생하면 그에 대한 반응으로써 local concentration of oxygenated hemoglobin이 증가하게 됩니다. 그러면 T2 star weighte MRI 영상에서 signal이 증가하여서, bold signal로 잡히게 됩니다.
그런데 문제는 bold signal이 즉각적으로 증가했다가 자극이 끝나면 바로 baseline으로 떨어지는 형태의 소위 box-car function을 보이지는 않는다는 것입니다.
대신에, neural input에서 convolution operation을 통해서 expected bold signal이 나오게 됩니다.
그래서 ideal, noiseless한 hemodynamic response는 다음과 같은 모양을 갖게 됩니다.
이 때에 중요한 것이 linear time invariant (LTI) properpty 입니다. 다시 말하면, 만약 neural response가 a라는 factor에 의해서 scale이 이루어 진다면 , 역시 BOLD response도 same factor에 의해서 scale이 만들어 진다는 것입니다.
(사실 이러한 기본적인 가정에 대해서 의문을 제기해서 과연 linear하냐, nonlinear하지 않냐고 논의가 많았었다고 합니다. 그러나, 다행히도 nonlinearity들이 분명히 중요하기는 하지만, 대부분의 인지적 fMRI 연구들이 일어나는 범위에서는 이들은 상대적으로 작은 impact만을 가져서, LTI를 가정할 수 있다고 합니다.)
이러한 선형성의 가정에서 가능하게 되는 것이 바로 GLM 모델입니다.
역으로 우리가 fMRI에서 BOLD response를 기록하게 되면 이를 통해서 선형성의 가정 아래에 가장 잘 맞는 즉, “goodness-of-fit"에 들어 맞는 parameter,즉 estimate of HRF를 GLM 모델을 통해서 찾게 되는 것입니다.
이 접근법을 적용한 사람으로 Karl Friston이 있습니다. 이 사람이 개발한 것이 SPM이니 사람들이 왜 그렇게 SPM, SPM 타령을 하는 지가 이해가 되기는 합니다.
fMRI Analysis in 1000 Words - Neuroskeptic | DiscoverMagazine.com
fMRI Analysis in 1000 Words - Neuroskeptic | DiscoverMagazine.com
명쾌하게 쓴 글이 있어서 좋다고 생각되어서 퍼왔습니다.
상당히 쉽게 fMRI analysis에 대해서 설명한 글입니다.
한 번 hemodynamic response function (HRF)에 대해서 좀 더 자세히 다루어 보도록 하겠습니다.
명쾌하게 쓴 글이 있어서 좋다고 생각되어서 퍼왔습니다.
상당히 쉽게 fMRI analysis에 대해서 설명한 글입니다.
한 번 hemodynamic response function (HRF)에 대해서 좀 더 자세히 다루어 보도록 하겠습니다.
type I & type II error에 대한 설명
항상 헷갈리는 (이해하기 어렵다기 보다는 헷갈려서) type I 및 type II 에러에 대한 설명입니다. (FSL 코스에서 따옴)
I형 오류에서는 실제 차이가 없는데도 차이가 있다고 판단하는 위양성을 말하고, II형 오류에서는 실제 차이가 있는데도 차이가 없다고 판단하고 위음성을 말한다고 이해하시면 되겠습니다.
I형 오류에서는 실제 차이가 없는데도 차이가 있다고 판단하는 위양성을 말하고, II형 오류에서는 실제 차이가 있는데도 차이가 없다고 판단하고 위음성을 말한다고 이해하시면 되겠습니다.
GLM에 대해서
General linear model (GLM)은 많은 fMRI 자료 분석에서 중요한 도구입니다.
"general"이라는 이름에서 알 수 있듯이, 이 모델은 많은 다양한 유형의 분석에서 사용됩니다.
GLM은 by far the m/c statistical approach for detecting task-related neural activation라고 할 수 있습니다.
기본적으로 matrix algebra에 대한 지식이 필요합니다.
하나 이상의 continuous 또는 categorical independent variable들, 즉 predictor들을 single, continuous dependent variable에 연결하는 역할을 합니다.
여기에서 single independent variable이 있는 가장 간단한 모델은 simple linear regression이 될 것입니다.
그리고 두 개이상이 predictor 또는 regressor가 있다면 이 때는 multiple regression이 됩니다.
GLM이 강력한 도구가 되는 이유는 많은 다른 분석들(one-sample t-test, two-sample t-test, paired t-test, ANOVA, ANCOVA (ANOVA + covariate variables))이 이 것으로 실행될 수 있기 때문입니다. GLM은 ANOVA의 확장입니다. ANOVA는 독립변수가 하나일 경우에 사용하며, GLM은 독립변수가 2개 이상일 경우에도 사용합니다.
아래의 그림을 보십시오.
여기에서 Y는 한 voxel에 대해서 다양한 시점들에서의 bold signal을 보여주는 결과값입니다.
이 Y를 설명하기 위한 것이 Xβ이고 여기에 Y와 Xβ 사이의 차이를 보정하여 주기 위한 에러값(가장 작은 것이 좋겠지요. 그래서 least square estimates라는 개념을 사용합니다)으로 ε이 추가가 됩니다.
그러면 Xβ는 X라는 design matrix와 β 라는 parameter들로 구성되어 있습니다.
여기에서 design matrix인 X의 각 로우(가로줄)은 각기 다른 시간대, 칼럼(세로줄)은 각기 다른 predictor/regressor를 의미한다고 보시면 되겠습니다.
그런데 모델을 좀 더 향상시키기 위해서는 즉, error를 줄이기 위해서는 "model everything"이라고 합니다. 즉, 실험적으로로로 관심이 없는 것이라고 모든 알려진 변수들을 모델에 집어넣어서 모델링을 하는 것이 좋다는 것입니다. 따라서 각 칼럼에 해당하는 여러 predictor들 중에서는 관심이 없는 것도 있고, 관심이 가는 것도 있습니다. 실제로 관심을 갖는 predictor를 우리는 effects of interest라고 이야기를 합니다.
아래의 그림을 보십시오.
여기에서 더 나아가서 우리는 β 라는 parameter를 구하기를 원합니다. 이 것을 구하는 것이 GLM입니다. 좀 더 자세히 이야기를 해 나가 보겠습니다.
"general"이라는 이름에서 알 수 있듯이, 이 모델은 많은 다양한 유형의 분석에서 사용됩니다.
GLM은 by far the m/c statistical approach for detecting task-related neural activation라고 할 수 있습니다.
기본적으로 matrix algebra에 대한 지식이 필요합니다.
하나 이상의 continuous 또는 categorical independent variable들, 즉 predictor들을 single, continuous dependent variable에 연결하는 역할을 합니다.
여기에서 single independent variable이 있는 가장 간단한 모델은 simple linear regression이 될 것입니다.
그리고 두 개이상이 predictor 또는 regressor가 있다면 이 때는 multiple regression이 됩니다.
GLM이 강력한 도구가 되는 이유는 많은 다른 분석들(one-sample t-test, two-sample t-test, paired t-test, ANOVA, ANCOVA (ANOVA + covariate variables))이 이 것으로 실행될 수 있기 때문입니다. GLM은 ANOVA의 확장입니다. ANOVA는 독립변수가 하나일 경우에 사용하며, GLM은 독립변수가 2개 이상일 경우에도 사용합니다.
아래의 그림을 보십시오.
이 Y를 설명하기 위한 것이 Xβ이고 여기에 Y와 Xβ 사이의 차이를 보정하여 주기 위한 에러값(가장 작은 것이 좋겠지요. 그래서 least square estimates라는 개념을 사용합니다)으로 ε이 추가가 됩니다.
그러면 Xβ는 X라는 design matrix와 β 라는 parameter들로 구성되어 있습니다.
여기에서 design matrix인 X의 각 로우(가로줄)은 각기 다른 시간대, 칼럼(세로줄)은 각기 다른 predictor/regressor를 의미한다고 보시면 되겠습니다.
그런데 모델을 좀 더 향상시키기 위해서는 즉, error를 줄이기 위해서는 "model everything"이라고 합니다. 즉, 실험적으로로로 관심이 없는 것이라고 모든 알려진 변수들을 모델에 집어넣어서 모델링을 하는 것이 좋다는 것입니다. 따라서 각 칼럼에 해당하는 여러 predictor들 중에서는 관심이 없는 것도 있고, 관심이 가는 것도 있습니다. 실제로 관심을 갖는 predictor를 우리는 effects of interest라고 이야기를 합니다.
아래의 그림을 보십시오.
여기에서 더 나아가서 우리는 β 라는 parameter를 구하기를 원합니다. 이 것을 구하는 것이 GLM입니다. 좀 더 자세히 이야기를 해 나가 보겠습니다.
BET (brain extraction tool)에 대해서
일부 preprocessing stream들에서는 brain extraction step이 포함됩니다.
이 단계는 skull stripping이라고도 합니다.
제가 영문으로 설명할 께요.
Removal of the skull and other non-brain tissue can be performed manually, but the procedure is very time-consuming.
A number of automated methods have been developed to perform brain extraction.
Brain extraction problem is of greater importance for anatomical images than for fMRI data (where tissues outside the brain rarely exhibit bright signal).
fsl에서는 BET라고 존재합니다. 그런데 BET와 BET2가 있습니다.
그래서 헷갈리기 쉬운데, 사실 [bet is a script which calls the bet2 binary - hence by default it will give the same results. bet has more script-level options that wrap around bet2.]이라고 합니다.
결국 같은 결과를 낸다고 보시면 되겠습니다.
이 단계는 skull stripping이라고도 합니다.
제가 영문으로 설명할 께요.
Removal of the skull and other non-brain tissue can be performed manually, but the procedure is very time-consuming.
A number of automated methods have been developed to perform brain extraction.
Brain extraction problem is of greater importance for anatomical images than for fMRI data (where tissues outside the brain rarely exhibit bright signal).
fsl에서는 BET라고 존재합니다. 그런데 BET와 BET2가 있습니다.
그래서 헷갈리기 쉬운데, 사실 [bet is a script which calls the bet2 binary - hence by default it will give the same results. bet has more script-level options that wrap around bet2.]이라고 합니다.
결국 같은 결과를 낸다고 보시면 되겠습니다.
fsl을 공부하기 위한 resource들 - 게시판편
fsl을 공부하기 위한 여러 resource들에 대해서 글을 썼었는데 그 중에서 제일 중요하다고 생각하는 게시판에 대해서 이야기를 나누어 보겠습니다.
fsl support forum 으로 들어가면 게시판 (https://www.jiscmail.ac.uk/cgi-bin/webadmin?A0=fsl) 이 열리는 것을 보실 수 있습니다. 여기가 아주 강력합니다.
실제 분석을 하려고 하다 보면 막히는 부분이 한두가지가 아닐 때 여기에서 많은 도움을 얻을 수가 있습니다.
JISCMAIL은 영국의 국가 교육 메일링 리스트 서비스인데, 여기에서 검색을 해서 내가 이전에 막힌 부분들에 대한 답들을 일단 검색하고 그 다음에 새로운 질문을 할 수도 있습니다.
이전에는 한 주제에 대해서 검색을 하고 한 글을 읽고 나면 뒤로 가기가 안되어서 다시 재검색을 해야 해서 너무 불편했었던 것으로 기억하는데 이제는 뒤로 가기가 되기 때문에 인터페이스가 아주 편하여 졌습니다.
fsl support forum 으로 들어가면 게시판 (https://www.jiscmail.ac.uk/cgi-bin/webadmin?A0=fsl) 이 열리는 것을 보실 수 있습니다. 여기가 아주 강력합니다.
실제 분석을 하려고 하다 보면 막히는 부분이 한두가지가 아닐 때 여기에서 많은 도움을 얻을 수가 있습니다.
JISCMAIL은 영국의 국가 교육 메일링 리스트 서비스인데, 여기에서 검색을 해서 내가 이전에 막힌 부분들에 대한 답들을 일단 검색하고 그 다음에 새로운 질문을 할 수도 있습니다.
이전에는 한 주제에 대해서 검색을 하고 한 글을 읽고 나면 뒤로 가기가 안되어서 다시 재검색을 해야 해서 너무 불편했었던 것으로 기억하는데 이제는 뒤로 가기가 되기 때문에 인터페이스가 아주 편하여 졌습니다.
ubuntu에서 캡쳐하기
주로 우분투를 쓰다 보니 여기에서 실제로 부딪히는 문제들에 대해서 글을 올리겠습니다.
우분투에서 화면을 캡쳐할 일이 꽤 많습니다.
이 경우에는 기본 내장된 snapshot을 쓰면 됩니다.
생각보다 상당히 강력하여서 굳이 윈도우에서 처럼 다른 프로그램을 깔지 않아도 별 무리는 없습니다.
아래는 snapshot으로 캡쳐한 화면입니다.
우분투에서 화면을 캡쳐할 일이 꽤 많습니다.
이 경우에는 기본 내장된 snapshot을 쓰면 됩니다.
생각보다 상당히 강력하여서 굳이 윈도우에서 처럼 다른 프로그램을 깔지 않아도 별 무리는 없습니다.
아래는 snapshot으로 캡쳐한 화면입니다.
MRI neuroimaging에서의 기본 사항 - coordinate system
참 많이 헷갈리는 부분입니다.
저의 경우에는 다음과 같이 정리하였습니다.
RAS는 이 때 오른손으로 설명이 됩니다. (따라서 right hand coordinate system)
저의 경우에는 radiological convention이 왜 left hand coordination이고 neurological convention이 왜 right hand coordination인지 이해가 가지 않았는데, 위의 순서대로 하니 이해가 비로소 갔었던 부분입니다.
저의 경우에는 다음과 같이 정리하였습니다.
"Radiological"
convention for axes, aka "LAS", left hand coordinate system
|
환자의 발 쪽에서 위로 봄. 환자의 오른쪽은 영상에서는
왼쪽에 해당함
|
"Neurological"
convention for axes, aka "RAS", right hand coordinate system
|
환자의 머리 쪽에서 아래로 봄. 환자의 오른쪽은
영상에서는 오른쪽에 해당함 (thumb
= R, 2nd finger = A, middle finger = S.)
|
그런데 이 것을 hand coordination과 연결시켜서도 설명합니다. 이 때 무조건 엄지는 x축, 2nd finger는 y축, 3rd finger는 z축입니다. 즉, 양손을 사용해서 항상 thumb은 X, 2nd finger는 Y, middle finger는 z로 놓는다고 합시다.
The default ANALYZE orientation is LAS (radiological orientation):
- +X is Left
- +Y is Anterior
- +Z is Superior
The neurological convention is RAS (only the direction of X is swapped):
- +X is Right
- +Y is Anterior
- +Z is Superior
RAS는 이 때 오른손으로 설명이 됩니다. (따라서 right hand coordinate system)
저의 경우에는 radiological convention이 왜 left hand coordination이고 neurological convention이 왜 right hand coordination인지 이해가 가지 않았는데, 위의 순서대로 하니 이해가 비로소 갔었던 부분입니다.
NIFTI allows the left-right orientation of your data to be specified but we do not recommend using anything but radiologically ordered images with this release. Note that fslorient -getorient allows you to see the orientation stored in the header (as does fslhd). FSL treats all Analyze images as being radiologically ordered. You can change orientation by re-ordering the data with fslswapdim or by changing the header info with fslorient. FSLView always shows images in radiological convention.
오류를 일으킬 수 있는 부분이라서 단순하게 정의하면 NIfTI-1에서는 이러한 coordinate system을 정하여 줄 수 있기는 하지만, fsl에서는 이러한 것을 권장하지 않으며 단지 radiological convention, 즉 left hand coordinate system만을 사용하고, fslview에서도 항상 radiological convention으로 이미지들을 보여준다고 이해하시면 되겠습니다.
MRI neuroimaging에서의 기본 사항 - space
neuroimaging을 하다 보면 헷갈릴 수 있는 것이 바로 space에 대한 설명들입니다.
Talairach space (가장 기본이 됨. Proportional grid system)
From atlas of Talairach and
Tournoux (T&T, 1988)
Based on single subject (60 years, female,
Cadaver) - 1개인의 부검뇌에 의존
Single hemisphere
First commonly used system
uses
a right-handed system
소뇌와 뇌간부가 빠짐
Brodmann 영역의 특정에 관해서는 Talairach space가 우수함
소뇌와 뇌간부가 빠짐
Brodmann 영역의 특정에 관해서는 Talairach space가 우수함
객관적으로 전뇌영역을 검색하기 위해 형태가 다른 각 개인의 뇌기능정보를 Talairach and Tournoux의 표준뇌에 맞도록 변형함으로써 뇌형태의 개인차를 없이하고 화상통계해석을 하는 방법이 연구면뿐만 아니라 임상현장에서도 이용되고 있습니다.
--------------------------------------------------------------------------------
Montreal Neurological Institues (MNI)
space
The
MNI template follows the convention of T&T, but doesn’t match the
particular brain.
Combination of many MRI scans
on normal controls - 다수의 정상 뇌에 근거함
All right-handed subjects
Taller from AC by 5mm, deeper
from AC by 10mm
소뇌와 뇌간부를 포함함
보통 통계해석결과는 X, Y, Z의 좌표와 t값 및 t값을 표준 정규분포에 따르도록 변환한 Z값으로 표시됩니다.
여기서 보통 주어지는 좌표는 MNI에서 개발한 표준뇌가 이용되고 있습니다. (하지만, 이 좌표를 다시 Talairach의 좌표로 변환함으로써 Brodmann 분류에 의한 피질영역을 특정할 수가 있게 됩니다. 이 좌표 변환방법에도 다양한 방법들이 있습니다. meta-analysis를 할 때에 GingerALE이라는 프로그램에서는 대표적으로 Lancaster transformation을 사용해서 MNI에서 Talairach 좌표계로 바꾸어서 사용합니다.)
Used by FSL, SPM (기본적으로 제공하는 template), fMRI Data center, International Consortium for Brain Mapping, many others
소뇌와 뇌간부를 포함함
보통 통계해석결과는 X, Y, Z의 좌표와 t값 및 t값을 표준 정규분포에 따르도록 변환한 Z값으로 표시됩니다.
여기서 보통 주어지는 좌표는 MNI에서 개발한 표준뇌가 이용되고 있습니다. (하지만, 이 좌표를 다시 Talairach의 좌표로 변환함으로써 Brodmann 분류에 의한 피질영역을 특정할 수가 있게 됩니다. 이 좌표 변환방법에도 다양한 방법들이 있습니다. meta-analysis를 할 때에 GingerALE이라는 프로그램에서는 대표적으로 Lancaster transformation을 사용해서 MNI에서 Talairach 좌표계로 바꾸어서 사용합니다.)
Used by FSL, SPM (기본적으로 제공하는 template), fMRI Data center, International Consortium for Brain Mapping, many others
fsl에는 152명의 뇌에서 얻은 MNI152 space가 들어 있습니다.
이 space들에 올려져 있는 뇌의 다양한 atlas들이 있습니다.
fsl에서 사용하는 보다 더 자세한 template과 atlas에 대한 설명은 http://fsl.fmrib.ox.ac.uk/fsl/fslwiki/Atlases?highlight=%28%28Atlases%29%29 에서 찾아 볼 수 있습니다.
피드 구독하기:
글 (Atom)