Paper Review11 Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization (2017) 원하는 style로 이미지를 변화시켜주는 Adaptive Instance Normalization (Adain) 기법을 제시한 논문입니다. 이 논문을 기점으로 Image의 style을 변화시켜주는 Style Transfer 관련논문에서 모두 기본으로 사용하는 noramalization 기법으로 자리를 잡습니다. https://openaccess.thecvf.com/content_iccv_2017/html/Huang_Arbitrary_Style_Transfer_ICCV_2017_paper.html Introduction 초창기 Style transfer 논문은 noise 이미지로부터 원하는 content와 style을 가지도록 수백, 수천번의 학습을 통해 진행이 되었습니다. https://hanstar4... 2022. 1. 23. Style Transfer Using Generative Adversarial Networks for Multi-Site MRI Harmonization (2021) 같은 sequence의 MR 이미지라도 촬영 장비에 따라 contrast가 제각각이기 때문에 규격화된 하나의 contrast로 통일시키는 harmonization이 필요합니다. 이 논문은 이미지마다 다른 contrast를 style로 생각하고 규격화된 style로 변화시키는 방법을 제안합니다. 그리고 같은 환자가 대량의 다른 기계에서 동일한 포즈롤 촬영을 할 수 없기 때문에, unsupervised learning으로 연구를 진행했습니다. https://www.biorxiv.org/content/10.1101/2021.03.17.435892v1.abstract Introduction MR image들은 MRI 장비를 통해 촬영된 영상이기 때문에 장비를 만드는 회사, 장비버전, 촬영기사의 세팅 등등에 따라.. 2022. 1. 12. Image Synthesis in Multi-Contrast MRI With Conditional Generative Adversarial Networks (2019) 다양한 의료영상 가운데 많이 사용되고 있는 있는 MRI는 촬영 방식에 따라 종류가 다양합니다. 이 논문은 하나의 MRI에서 다른 contrast를 가지는 MRI를 생성하는 논문입니다. 일반영상분야의 Style Transfer에서 활발히 사용하고 있는 GAN 네트워크를 의료영상분야에 적용시켜 좋은 결과를 낸 논문입니다. https://ieeexplore.ieee.org/document/8653423 MRI Contrast Conversion MRI는 pulse sequence라는 수식을 통해 생성되는 의료영상입니다. 그러므로 수식의 파라미터 값을 조정하면서 병을 진단하기 위해 보고자 하는 tissue가 잘 보이도록 획득합니다. 그러므로 다양한 contrast를 가지는 MRI 영상들이 존재합니다. 아래는 몇.. 2021. 11. 25. FUNIT : Few-Shot Unsupervised Image-to-Image Translation (2019) 기존의 딥러닝 기반 학습들의 문제점은, 학습에 사용하지 않은 데이터를 테스트 하려할때 제대로 되지 않는다는 한계점이 있습니다. Few-Shot Unsupervised Image-to-Image Translation은 이러한 한계점을 극복하고자 학습에 사용하지 않은 class 혹은 적은 수의 테스트 이미지만 가지고 있을때도 자연스러운 변환이 되도록 구현한 논문입니다. https://arxiv.org/abs/1905.01723 FUNIT Framework 위 figure는 이 논문의 학습과 테스트시의 framework입니다. 먼저, source class라고 불리는 다양한 class의 이미지들을 준비합니다. 물론 모두 정확히 같은 포즈의 이미지들이 아니고 다양한 포즈, 다양한 종들의 강아지 사진들입니다. 그.. 2021. 10. 31. SAGAN : Self-Attention Generative Adversarial Networks (2018) Self-Attention Generative Adversarial Networks는 기존 convolution layer의 한계를 극복하고자 attention 개념을 GAN에 처음으로 적용한 논문입니다. https://arxiv.org/abs/1805.08318 Convolution layer의 한계 GAN, CNN 등의 기존 네트워크들은 보통 convolution layer 기반입니다. 이러한 convolution 기반 네트워크들은 class가 많은 데이터셋(ex. ImageNet) I의 generator 모델을 학습할때, 특정 class의 이미지를 잘 생성하지 못한다는 단점이 있습니다. 바다나 하늘같은 풍경들은 잘 생성해내지만, 동물들 같은 texture가 많은 이미지들을 잘 생성하지 못했습니다. .. 2021. 10. 24. Image Style Transfer Using Convolutional Neural Networks (2016) Image Style Transfer Using Convolutional Neural Networks는 Image에서의 Style를 변화시킨 최초의 논문으로 이 논문을 기점으로 다양한 style transfer 논문들이 나오게 됩니다. https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Gatys_Image_Style_Transfer_CVPR_2016_paper.pdf Content + Style Style transfer란 하나의 이미지를 내가 원하는 다른 이미지처럼 변형시켜주는 것입니다. 즉, 위의 figure처럼 input image(강가의 집)의 content는 그대로 둔 채 다른 image의 style(고흐의 별이 빛나는 밤)을 .. 2021. 10. 17. 이전 1 2 다음 728x90
