다양한 의료영상 가운데 많이 사용되고 있는 있는 MRI는 촬영 방식에 따라 종류가 다양합니다. 이 논문은 하나의 MRI에서 다른 contrast를 가지는 MRI를 생성하는 논문입니다. 일반영상분야의 Style Transfer에서 활발히 사용하고 있는 GAN 네트워크를 의료영상분야에 적용시켜 좋은 결과를 낸 논문입니다.
https://ieeexplore.ieee.org/document/8653423
MRI Contrast Conversion
MRI는 pulse sequence라는 수식을 통해 생성되는 의료영상입니다. 그러므로 수식의 파라미터 값을 조정하면서 병을 진단하기 위해 보고자 하는 tissue가 잘 보이도록 획득합니다.
그러므로 다양한 contrast를 가지는 MRI 영상들이 존재합니다. 아래는 몇가지의 MRI 예시입니다.
이와 같이 다양한 종류의 MRI가 있기 때문에 실제 병원에서 여러장의 영상들을 촬영 후 이를 토대로 영상의학과 의사들이 진단소견서를 작성합니다.
하지만 한장의 영상을 획득하는데 소요되는 시간이 대략 5~10분 사이로 하나의 영상을 얻는데 꽤 오랜시간이 소요됩니다. 그러므로 하나만 촬영한 뒤 나머지 하나를 촬영해서 얻으면 시간을 단축할 수 있기 때문에 MRI contrast conversion 분야의 연구가 활발히 진행되고 있습니다.
이 논문 역시 T1-weighted(T1w) MRI를 가지고 다른 sequence인 T2-weighted(T2w) MRI로 변환시키는 contrast conversion 분야의 논문입니다.
저자는 두가지 방법을 논문에서 소개합니다. 첫번째는 pair한 데이터가 있을 경우 사용하는 pix2pix 기반 pGAN이고, 두번째는 unpair한 데이터일 경우 사용하는 cycleGAN 기반 cGAN입니다.
Scenario 1 - pGAN
pGAN은 pix2pix 논문을 기반으로한 네트워크입니다. pair한 T1w와 T2w를 가지고 T1w를 input으로 T2w를 label로 지정하여 학습을 진행합니다.
pGAN에는 총 3가지의 loss가 사용됩니다.
1. Adversarial loss
일반적인 Adversarial loss에서 안정감을 강화하기 위해, squared loss로 대체한 형태입니다.
2. Pixel-wise loss
pix2pix에서 사용한 loss로서, generator를 통해 생성된 T2w'과 label인 T2w의 차이를 계산하는 loss입니다.
3. Perceptual loss
마지막으로 perceptual loss는 이미지차원에서의 차이를 계산하는 것이 아닌, feature map 차원에서 차이를 계산하는 것입니다. ImageNet에서 미리 학습된 VGG-net을 통해 추출되는 중간 feature를 가지고 두 feature의 차이를 계산하는 것입니다. 이는 결과 이미지 뿐 아니라 중간 학습과정에서 도출되는 feature도 동일하게 추출되도록 유도하는 loss입니다.
Scenario 2 - cGAN
cGAN은 cycleGAN 논문을 기반으로한 네트워크입니다. unpair한 T1w와 T2w를 가지고 두개의 GAN을 통해 서로 변환이 잘되도록 학습을 진행합니다.
cGAN에는 총 3가지의 loss가 사용됩니다.
1 & 2. Adversarial loss
pGAN에서 사용한 Adversarial loss와 동일합니다.
다만 cycleGAN의 특성상 두개의 GAN이 사용되므로 (T1w->T2w, T2w->T1w) 각각의 GAN에서 adversarial loss가 생기깁니다.
3. Cycle consistent loss
T1w가 generator 1을 통해 T2w'이 생성되고 이 T2w'를 가지고 generator 2를 통해 T1w' 생성되면 이는 T1w와 동일해야한다는 개념입니다. 마찬가지로 T2w도 두개의 generator를 통해 생성된 T2w'과 동일해야만 합니다.
cGAN에서 사용한 loss는 cycleGAN에서 사용한 loss와 동일합니다.
https://hanstar4.tistory.com/2?category=1032711
CycleGAN : Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks (2017)
CycleGAN은 unpaired dataset을 가지고 style을 변형시키는 Image to Image Translation 영역의 논문입니다. 2017년 ICCV에 제출된 논문으로 UC Berkeley AI lab 연구진들의 논문입니다. 처음 공개되었을 당시 획..
hanstar4.tistory.com
Cross-section
일반적으로 2D 이미지 학습시, input 이미지 1장에서 output 이미지 1장으로의 학습을 진행합니다. 하지만 저자는 여러 slice를 촬영하여 3D로 구성되는 MRI의 특수성을 고려하여, 네트워크 input으로 1장의 이미지가 아닌 여러장의 이미지를 넣었습니다.
target이 되는 slice 양옆 slice를 함께 input으로 넣어줌으로써, 학습시 주변정보를 좀 더 쉽게 뽑아낼 수 있도록하였습니다. 1, 3, 5등의 다양한 k값으로 실험을 하였고 저자는 3장을 함께 넣었을때 가장 좋은 결과가 나왔다고 설명하였습니다.
Results
pGAN, cGAN 모두 뛰어난 성능을 보여줍니다.
pair한 데이터일경우, label과의 L1 loss를 계산하는 pGAN이 cGAN에 비해 metric면에서 뛰어난 모습을 보여줍니다. 하지만 cGAN은 unpair한 데이터에서 적용할 수 있다는 굉장힌 큰 장점이 있기 때문에 cGAN이 pGAN에 견줄 정도의 성능이 나온다는 것은 대단한 결과입니다.
기존의 MRI분야에서 contrast conversion 분야에서 좋은 성능을 보이고 있는 Multimodal과 Replica와 비교했을때 pGAN이 훨씬 좋은 성능을 보이고 있음을 확인할 수 있습니다.
댓글