티스토리

끄적임의 공간

검색하기

블로그 홈

끄적임의 공간

hanstar4.tistory.com/m

나만의 공부하며 정리하는 공간입니다.

구독자: 0

방명록 방문하기

주요 글 목록

Loss Function (손실 함수) Loss Function의 역할 인공지능 학습은 정답과 모델이 예측한 결과의 차이를 최소화 하는 방향으로 진행됩니다. 이때 정답과 예측간의 차이를 계산하는 함수를 Loss function(손실 함수)이라고 합니다. Object function(목적 함수), Cost function(비용 함수)라고 부르기도 합니다. 연구 목적에 따라 다양한 함수를 손실 함수로 사용할 수 있습니다. Pixel-wise Loss 특정 값을 예측하는 Regression(회귀) 모델 또는 Image-to-Image translation 분야에서는 픽셀끼리의 연산을 통한 loss를 많이 사용합니다. 1. 평균 제곱 오차 (Mean Absolute Eorr, MAE) MAE는 정답 값과 예측 값 차이에 대한 절대값의 평균으로 계산됩.. 공감수 0 댓글수 0 2022. 7. 8.
Activation Function (활성화 함수) Activation Function의 역할 Neural Network는 layer에서 데이터를 연산하고 다음 layer로 값을 전달해주는 방법으로 설계되어있습니다. 이때 값을 그대로 전달하는 것이 아니고, activation function을 통해 변화된 값을 전달하게 됩니다. 가장 시초인 Single layer 퍼셉트론일때는 Step function을 통해 threshold를 넘으면 1, 못넘으면 0으로 전달유무만 결정했습니다. 하지만 Multi layer 뉴럴네트워크로 발전하면서 단순한 전달유무가 아닌 값을 변화시켜 전달하는 함수를 사용하게 되었습니다. 또한 활성함수로는 반드시 선형(linear)함수가 아닌 비선형(non-linear)함수를 사용해야만 합니다. 왜냐하면 네트워크가 선형 수식으로만 이루.. 공감수 0 댓글수 0 2022. 6. 28.
Dataset 분리 Train / Validation / Test 인공지능 모델을 학습시키기 위해서는 학습하고 싶은 목적에 맞는 데이터셋을 준비해야합니다. 일반적으로 데이터셋 구성이 완료되면, 데이터셋을 크게 3가지 (Train / Validation / Test)로 분리합니다. 각 set이 어떤 역할을 하기에 이렇게 분리하는지 알아보겠습니다. 1. Train Set Train set (학습 데이터)은 인공지능 모델을 구현하는데 실질적으로 사용되는 데이터셋입니다. 설계한 인공지능 모델이 최적의 모델이 되기까지 이 Train set을 여러번 반복해가며 모델을 업데이트하게 됩니다. 이렇게 아무것도 모르는 상태에서 여러번 반복해서 똑같은 것을 가르쳐 이해시키는 것과 유사하기에 learning(학습) 이라고 불리게 되었습니다. 이.. 공감수 0 댓글수 0 2022. 6. 20.
Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization (2017) 원하는 style로 이미지를 변화시켜주는 Adaptive Instance Normalization (Adain) 기법을 제시한 논문입니다. 이 논문을 기점으로 Image의 style을 변화시켜주는 Style Transfer 관련논문에서 모두 기본으로 사용하는 noramalization 기법으로 자리를 잡습니다. https://openaccess.thecvf.com/content_iccv_2017/html/Huang_Arbitrary_Style_Transfer_ICCV_2017_paper.html Introduction 초창기 Style transfer 논문은 noise 이미지로부터 원하는 content와 style을 가지도록 수백, 수천번의 학습을 통해 진행이 되었습니다. https://hanstar4... 공감수 0 댓글수 0 2022. 1. 23.
Style Transfer Using Generative Adversarial Networks for Multi-Site MRI Harmonization (2021) 같은 sequence의 MR 이미지라도 촬영 장비에 따라 contrast가 제각각이기 때문에 규격화된 하나의 contrast로 통일시키는 harmonization이 필요합니다. 이 논문은 이미지마다 다른 contrast를 style로 생각하고 규격화된 style로 변화시키는 방법을 제안합니다. 그리고 같은 환자가 대량의 다른 기계에서 동일한 포즈롤 촬영을 할 수 없기 때문에, unsupervised learning으로 연구를 진행했습니다. https://www.biorxiv.org/content/10.1101/2021.03.17.435892v1.abstract Introduction MR image들은 MRI 장비를 통해 촬영된 영상이기 때문에 장비를 만드는 회사, 장비버전, 촬영기사의 세팅 등등에 따라.. 공감수 0 댓글수 0 2022. 1. 12.
Contrast Limited Adaptive Histogram Equalization (CLAHE) 함수 설명 앞선 포스팅에서 histogram의 분포를 균등하게 만들어줘 contrast를 개선시키는 Histogram Equalization에 대해 설명을 했습니다. https://hanstar4.tistory.com/34 Histogram Equalization (히스토그램 균일화) 함수 설명 이미지의 픽셀값 분포가 특정값에 몰여있다면 그 부분에 대해 눈으로 구별하기 어렵고 이를 contrast가 낮다고 표현합니다. 반면에 픽셀값 분포가 촘촘히 몰려있지 않고 골고루 분포해 hanstar4.tistory.com 하지만 밝은 부분과 어두운 부분이 섞여 있는 이미지 전체에 균일화를 적용하면, 오히려 각 부분의 contrast가 감소할 위험이 있습니다. 위 그림을 보면 모든 영역을 균일하게 적용하다보니 오히려.. 공감수 0 댓글수 0 2021. 12. 14.
Classification Labeling (One Hot Encoding) Classification Label Image Classification은 위 그림처럼 이미지가 모델에 들어왔을때 어떤 class에 속하는지를 분류하는 작업을 의미합니다. 그러므로 우리가 classification 학습을 위해 데이터를 구성하려면 이미지와 그에 대응하는 카테고리 형태의 정답(Label)이 필요합니다. 일반적으로 개, 고양이, 팬더 같이 문자로 카테고리가 구성이 될텐데, 학습을 진행하는 컴퓨터는 이러한 문자열을 인식하지 못합니다. 그러므로 컴퓨터가 인식할 수 있게 숫자 형태로 변환을 시켜줘야합니다. 간단하게 생각할수 있는 방법은 개 -> 0, 고양이 -> 1, 팬더 -> 2 이런식으로 숫자를 할당할 수 있습니다. 하지만 이렇게 숫자 순서대로 할당하게 되면 개, 고양이, 팬더 같이 순서나 .. 공감수 0 댓글수 0 2021. 12. 9.
Histogram Equalization (히스토그램 균일화) 함수 설명 이미지의 픽셀값 분포가 특정값에 몰여있다면 그 부분에 대해 눈으로 구별하기 어렵고 이를 contrast가 낮다고 표현합니다. 반면에 픽셀값 분포가 촘촘히 몰려있지 않고 골고루 분포해 있다면 구별하기 쉬워지고 이를 contarst가 높다고 합니다. Histogram equalization 함수는 몰려있는 히스토그램을 균일하게 퍼트림으로써 이미지의 contrast를 개선하는 방법입니다. 코드 설명 python OpenCV 라이브러리를 사용하였습니다. cv2.equalizeHist(src) 1) src : 바꾸고 싶은 source 이미지 * Grayscale인 1channel 이미지만 가능합니다. 예제 Histogram을 균일하게 만들어주는 예제입니다. Color 이미지의 경우 YCrCb로 변환후 .. 공감수 0 댓글수 0 2021. 12. 6.
Inverse Tone Mapping Operator Using Sequential Deep Neural Networks Based on the Human Visual System 넓은 dynamic range (동적 범위)를 보여주는 디스플레이가 발전함에 따라, 기존의 좁은 dynamic range를 가지는 이미지의 range를 넓혀주는는 기술이 대두되고 있습니다. 이 기술을 inverse tone mapping operator (ITMO) 라고 합니다. 이 논문은 neural network를 활용해 low dynamic range (LDR) 이미지를 high dynamic range (HDR) 이미지로 변환시켜주는 논문입니다. 해당 논문은 IEEE ACCESS에 게재되었습니다. https://ieeexplore.ieee.org/document/8466589 Introduction 위 그림을 보면 알수 있듯이, human visual system (HVS)의 동적 범위(dynam.. 공감수 0 댓글수 0 2021. 12. 2.
Edge Detection (윤곽선 검출) 함수 설명 이미지에서 다른 명암을 지닌 두 영역 사이의 경계선(edge)을 추출하는 함수입니다. Edge를 추출함으로써 물체의 모양, 크기, 방향성 등의 정보를 확인할 수 있습니다. 다양한 Edge Detection 중에서 가장 유명한 Canny Edge Detection을 설명하겠습니다. Canny Edge Detection은 총 4단계를 거쳐 Edge를 Detection합니다. 1. Noise reduction 정확도를 높이기 위해 이미지 상의 노이즈를 Gaussian filter를 이용해 줄여줍니다. 2. Gradient 높은 지점 찾기 양 방향 미분 값이 급격히 변하는 지점이 주변과 달라지는 경계 값이므로 해당 부분을 선별합니다. 3. 최대값이 아닌 픽셀 제거 Edge에 기여하지 않는 픽셀을 찾아.. 공감수 0 댓글수 0 2021. 12. 1.
Deep-learned short tau inversion recovery imaging using multi-contrast MR images 다양한 의료영상 가운데 많이 사용되고 있는 있는 MRI는 촬영 방식에 따라 종류가 다양합니다. 이 논문은 촬영된 MRI들을 가지고 다른 contrast를 가지는 MRI를 생성하는 논문입니다. 새로운 contrast의 MRI를 생성하도록 특화된 네트워크 (CC-DNN)과 더불어, misregistration를 보정하고 noise에 덜민감하도록 만드는 loss를 추가함으로써 뛰어난 성능을 보여줍니다. 해당 논문은 MRI분야 논문지인 Magnetic Resonance in Medicine에 게재되었습니다. https://onlinelibrary.wiley.com/doi/10.1002/mrm.28327 Introduction MRI는 다양한 pulse sequence를 통해 필요한 부위를 특화시켜 볼 수 있는 .. 공감수 0 댓글수 0 2021. 11. 29.
Image Synthesis in Multi-Contrast MRI With Conditional Generative Adversarial Networks (2019) 다양한 의료영상 가운데 많이 사용되고 있는 있는 MRI는 촬영 방식에 따라 종류가 다양합니다. 이 논문은 하나의 MRI에서 다른 contrast를 가지는 MRI를 생성하는 논문입니다. 일반영상분야의 Style Transfer에서 활발히 사용하고 있는 GAN 네트워크를 의료영상분야에 적용시켜 좋은 결과를 낸 논문입니다. https://ieeexplore.ieee.org/document/8653423 MRI Contrast Conversion MRI는 pulse sequence라는 수식을 통해 생성되는 의료영상입니다. 그러므로 수식의 파라미터 값을 조정하면서 병을 진단하기 위해 보고자 하는 tissue가 잘 보이도록 획득합니다. 그러므로 다양한 contrast를 가지는 MRI 영상들이 존재합니다. 아래는 몇.. 공감수 1 댓글수 0 2021. 11. 25.
Rotate (회전) 함수 설명 이미지를 회전 시킬때 사용하는 함수입니다. 이미지의 중심 pixel을 기준으로 반 시계 방향으로 회전시켜줍니다. 이미지의 크기를 유지하지 않고 회전시키는 방법과 유지시킨 채 회전하는 방법이 있습니다. 이미지의 크기를 유지하면서 회전하게 되면 잘려나가는 부분이 발생하게 됩니다. 코드 설명 python에서 이미지를 회전시키는 방법은 다양합니다. 그 가운데 몇가지 방법에 대해 소개하도록 하겠습니다. 1. OpenCV 라이브러리 * 크기 유지 O matrix = cv2.getRotationMatrix2D((width/2, height/2), angle, 1) output= cv2.warpAffine(src, matrix, (width, height)) 1) src : 바꾸고 싶은 source 이미지 .. 공감수 0 댓글수 0 2021. 11. 24.
Denoising (non-local) 함수 설명 Denoising이란 말그대로 노이즈를 없애는 행위를 뜻합니다. 앞서 소개했던 Smoothing 방법 역시 noise를 없애주는 denoising 방법중 하나입니다. https://hanstar4.tistory.com/24 Smoothing 함수 설명 이미지에 흐림효과를 주어 번져보이게 하는 함수입니다. 주로 이미지안에서 노이즈를 줄이거나 경계선을 흐리게 할 때 사용합니다. Smoothing filter에 따라 결과가 달라집니다. 주로 많 hanstar4.tistory.com Smoothing에서 소개했던 방법들은 대상 픽셀을 둘러싸고 있는 픽셀 그룹의 평균값을 가지고 이미지를 부드럽게 만드는 방법들이었습니다. 이러한 방법들은 픽셀 주위의 다른 픽셀들을 활용하는 방법으로 자신의 이웃의 정보들만.. 공감수 0 댓글수 0 2021. 11. 23.
Color Space Change (색공간 변경) 함수 설명 색공간은 색의 3가지 속성인 색상, 명도, 채도를 3차원 공간안에서 표현한 것으로 인간이 볼 수 있는 모든 색을 뜻합니다. 다양한 색공간이 존재하지만 자주 사용되는 몇가지의 색공간에 대해 설명하겠습니다. 1. RGB RGB 색 공간은 색을 혼합하면 명도가 올라가는 가산 혼합 방식으로 색을 표현합니다. RGB 가산혼합의 삼원색은 빨강(Red), 녹색(Green), 파랑(Blue)을 뜻합니다. 정육면체 모델 형태로 표현할 수 있습니다. 각 channel마다 [0-255]의 값을 가지며, 총 256*256*256 = 16,777,216의 색을 표현 가능합니다. 가장 많이 사용되는 color mode 입니다. 2. HSV HSV 색 공간은 색상, 명도, 채도를 기준으로 색을 구성하는 방식으로 위 그림.. 공감수 0 댓글수 0 2021. 11. 22.
Gamma Correction (감마 보정) 함수 설명 이미지가 너무 어둡거나 밝은 경우, 픽셀 값의 변화를 통해 밝기를 보정하는 작업을 합니다. 간단한 방법으로는 모든 픽셀 값을 동일한 비율만큼 증가시키거나 감소시키는 것입니다. 이를 선형적 방법이라고 부릅니다. 하지만 선형적 방법으로 보정을 하게 되면 전체적인 밝기가 일괄적으로 변화하게 됩니다. 반면, Gamma correction (감마 보정)은 모든 픽셀을 동일한 비율로 변화시키지 않습니다. 위의 식처럼 픽셀 값들이 각각 다른 비율로 변하게 되고, 이러한 변화방법을 비선형 방법이라고 부릅니다. 아래 그래프처럼 감마 값에 따라 변화의 방향이 달라집니다. gamma > 1이면 어두운 영역의 변화폭은 크고 밝은 영역의 변화폭은 작습니다. 그러므로 밝은 영역이 급격하게 밝아지지 않고 유지되면서, 어.. 공감수 1 댓글수 1 2021. 11. 19.
Embossing (엠보싱) 함수 설명 엠보싱의 사전적 정의는 종이나 금속판 등에 올록볼록한 형태의 윤곽 또는 무늬를 뜻한다. 엠보싱 효과를 줄 수 있는 mask를 생성 후 필터링을 통해 이미지에 엠보싱 느낌이 나도록 변환해주는 함수이다. 위의 3x3 mask를 적용하면 대각선 방향으로 픽셀값의 변화가 적은 부분은 0으로 만들고, 픽셀값의 변화가 큰 경계부분은 명암을 주어 밝거나 어둡게 만듭니다. 코드 설명 python OpenCV 라이브러리를 사용했습니다. kernel = np.array([[-1, -1, 0], [-1, 0, 1], [0, 1, 1]]) cv2.filter2D(src, ddepth, kernel) 1) src : 바꾸고 싶은 source 이미지 2) ddepth : 출력 영상의 데이터 타입. -1 입력시 src와.. 공감수 0 댓글수 0 2021. 11. 18.
Smoothing 함수 설명 이미지에 흐림효과를 주어 번져보이게 하는 함수입니다. 주로 이미지안에서 노이즈를 줄이거나 경계선을 흐리게 할 때 사용합니다. Smoothing filter에 따라 결과가 달라집니다. 주로 많이 사용하는 4가지 filter에 대해 소개하겠습니다. 1. Averaging Filter Averaging 방법은 주변 픽셀값들의 평균을 취하는 형태입니다. 아래와 같은 filter를 곱해 새로운 픽셀 값을 도출합니다. 2. Gaussian Filter Gaussian filter는 가운데 부분의 값을 좀 더 큰 값으로 할당하여 중심 값을 보존하면서 주변의 값에 대한 평균을 취하는 형태입니다. 아래와 같이 Gaussian 분포를 가지는 filter를 곱해 새로운 픽셀 값을 도출합니다. 3. Median F.. 공감수 0 댓글수 0 2021. 11. 17.
Flip (대칭) 함수 설명 이미지를 좌우 또는 상하 반전을 할때 사용하는 함수입니다. 이미지의 중심 픽셀을 기준으로 좌우 반전은 y축 대칭, 상하반전은 x축을 대칭을 통해 새로운 픽셀 값을 획득합니다. 코드 설명 python에서 이미지 대칭을 할 수 있는 방법은 다양합니다. 그 가운데 몇가지 방법에 대해 소개하도록 하겠습니다. 1. OpenCV 라이브러리 import cv2 cv2.flip(src, flipCode) 1) src : 바꾸고 싶은 source 이미지 2) flipCode : 대칭 방향 -1 : 좌우, 상하 반전 0 : 상하 반전 1 : 좌우 반전 2. numpy 라이브러리 import numpy as np np.flip(src, (0, 1)) : 좌우, 상하 반전 np.flipud(src) : 상하 반전 .. 공감수 0 댓글수 0 2021. 11. 16.
Sharpening (샤프닝) 함수 설명 Sharpening이란 주변 pixel과의 차이를 극대화시켜 경계 부분의 명암 비를 증가시키는 작업을 뜻합니다. 이러한 처리를 통해 이미지의 구조적 정보 및 edge를 강조시켜 보다 선명한 이미지를 얻을 수 있습니다. 해당 픽셀만 강조하기 위해 주변부의 픽셀의 값을 감소시켜야합니다. 위처럼 강조될 강도를 maks 중앙에 지정하고(9), 주변부의 값을 줄여 총합이 1이 되도록 mask를 생성합니다. 생성된 mask를 가지고 이미지를 필터링하면 강조된 이미지를 얻을 수 있습니다. 코드 설명 python3 기반 OpenCV 라이브러리를 사용했습니다. kernel = np.array([ [(1 - strength) / 8, (1 - strength) / 8, (1 - strength) / 8], [(.. 공감수 0 댓글수 1 2021. 11. 15.
Image Read (이미지 불러오기) 함수 설명 컴퓨터상에서 우리가 눈으로 보고 있는 이미지는 디지털 이미지로, 이는 숫자로 이루어진 데이터입니다. 위처럼 각각 값을 가지는 픽셀들이 촘촘히 뭉쳐서 하나의 이미지를 이루고 있는 것입니다. 여기서 픽셀 값은 디지털 카메라에서 촬영시 들어온 빛의 양을 나타냅니다. 그러므로 픽셀 값이 클수록 밝은 영역이고 값이 작을수록 어두운 영역을 표현하고 있습니다. 아래처럼 밝고 어두움을 나타내는 이미지를 Grayscale (회색조) 이미지라고 합니다. 다음으로, Color 이미지는 빛의 삼원색(빨강, 초록, 파랑)의 조합을 통해 모든 색상을 만들어냅니다. 즉, 우리가 보고 있는 color 이미지는 R, G, B 채널이라고 부르는 3개의 Grayscale 이미지의 합으로 이루어져있습니다. 각 채널의 값이 높을수.. 공감수 0 댓글수 0 2021. 11. 11.
Invert (색반전) 함수 설명 이미지에서 중요한 영역이 주변보다 어두운 경우, 반전된 이미지를 이용하면 해당 영역을 좀 더 쉽게 관찰할 수 있습니다. 또는 색반전을 통해 원본 이미지와는 다른 분위기의 새로운 이미지를 얻을 수 있습니다. 색반전의 원리는 아래와 같습니다. 반전된 이미지의 픽셀 값 = (이미지가 표현할 수 있는 최대 픽셀 값) - (원본 이미지의 픽셀 값) 예를 들어, 8bit 이미지의 경우 각 픽셀이 0부터 255의 값을 가지기 때문에 새로운 이미지는 255 에서 원본 이미지의 픽셀 값을 뺀 값을 가집니다. RGB 칼라 영상의 경우는 3 channel 별로 각각 위의 작업을 진행해줍니다. 코드 설명 python에서 색반전을 할 수 있는 방법은 다양합니다. 그 가운데 몇가지 방법에 대해 소개하도록 하겠습니다. .. 공감수 0 댓글수 0 2021. 11. 10.
Zero Padding 함수 설명 이미지를 다루다보면 이미지의 가로와 세로의 비를 1:1로 조정하여 사용하는 경우가 많습니다. 단순하게 Resize 함수를 사용할 수 있지만, 가로와 세로의 비가 1:1이 아닌 이미지를 강제로 1:1로 만들면 이미지가 해당 방향으로 늘어지게 됩니다. 만약 중요한 feature가 위처럼 늘어나버리게되면 이상해질 수 있습니다. 이럴때 원본 이미지의 비율을 유지하면서 영상의 크기를 조정하는 함수가 바로 Zero Padding입니다. Zero Padding은 이미지의 위/아래 혹은 양 옆에 0으로 이루어진 값들을 추가하여 가로 세로의 비율을 1:1로 맞춰줍니다. 코드 설명 python3 기반 numpy 라이브러리를 사용했습니다. np.pad(src, margin, mode='constant') 1) s.. 공감수 2 댓글수 0 2021. 11. 9.
Z-Score Standardization (표준화) 함수 설명 Z-score를 통해 데이터를 표준화하는 방법입니다. Z-score란 각 값이 평균에서 얼마나 떨어져 있는지를 나타내는 척도로서 Z-score 변환 식은 다음과 같습니다. x= 원본 이미지의 픽셀 값 µ= 원본 이미지의 픽셀 평균 값 σ = 원본 이미지의 픽셀의 표준편차 위의 수식을 이용하면 이미지의 픽셀값들을 종 모양의 정규 분포 형태로 바꿔줍니다. Min-Max Normalization은 무조건 [0-1] 사이의 값으로 만들지만, Standardization은 데이터에 따라 값의 범위가 조금씩 달라집니다. 코드 설명 python3 기반 numpy 라이브러리를 사용했습니다. mean_value = np.mean(image) std_value = np.std(image) output = (im.. 공감수 0 댓글수 0 2021. 11. 8.
Min-Max Normalization (정규화) 함수 설명 Min-Max Normalization은 가장 많이 사용하는 정규화 방법입니다. 이미지마다 제각각의 픽셀 값의 범위를 가지고 있을경우, 이를 이미지의 최대, 최소 픽셀값을 이용해 [0-1] 사이로 통일시켜줄때 사용합니다. 위의 수식을 이용하여 이미지의 최소값이 0, 최대값이 1이 되도록 픽셀 값을 조정합니다. 코드 설명 python3 기반 numpy 라이브러리를 사용했습니다. min_value = np.min(image) max_value = np.max(image) output = (image - min_value) / (max_value - min_value) 이미지의 최소, 최대 픽셀값을 구한 뒤, 수식처럼 최소값을 빼고 (최대-최소) 값으로 나누어줍니다. 예제 import cv2 imp.. 공감수 0 댓글수 0 2021. 11. 4.
Resize 함수 설명 Resize 함수는 원하는 크기로 이미지를 조절할때 사용하는 방법입니다. 이미지의 크기를 확대 혹은 축소 시켜 변형하는 경우, 변형된 이미지의 픽셀 값을 추정해서 할당해야만 합니다. 픽셀 값을 추정하는 방법을 보간법 (Interpolation)이라고 합니다. 보간법에는 이웃 보간법 (Nearest neighbor Interpolation), 선형 보간법 (Linear Interpolation), 이중 선형 보간법 (Bilinear Interpolation), 큐빅 보간법 (Cubic Interpolation) 등이 있습니다. 여러 보간법 중 이미지 처리에서 가장 많이 사용하는 보간법은 이중 선형 보간법입니다. 이중 선형 보간법은 1차원 직선에서 이루어지는 선형 보간법을 2차원인 이미지 평면에 .. 공감수 0 댓글수 0 2021. 11. 3.
FUNIT : Few-Shot Unsupervised Image-to-Image Translation (2019) 기존의 딥러닝 기반 학습들의 문제점은, 학습에 사용하지 않은 데이터를 테스트 하려할때 제대로 되지 않는다는 한계점이 있습니다. Few-Shot Unsupervised Image-to-Image Translation은 이러한 한계점을 극복하고자 학습에 사용하지 않은 class 혹은 적은 수의 테스트 이미지만 가지고 있을때도 자연스러운 변환이 되도록 구현한 논문입니다. https://arxiv.org/abs/1905.01723 FUNIT Framework 위 figure는 이 논문의 학습과 테스트시의 framework입니다. 먼저, source class라고 불리는 다양한 class의 이미지들을 준비합니다. 물론 모두 정확히 같은 포즈의 이미지들이 아니고 다양한 포즈, 다양한 종들의 강아지 사진들입니다. 그.. 공감수 0 댓글수 0 2021. 10. 31.
SAGAN : Self-Attention Generative Adversarial Networks (2018) Self-Attention Generative Adversarial Networks는 기존 convolution layer의 한계를 극복하고자 attention 개념을 GAN에 처음으로 적용한 논문입니다. https://arxiv.org/abs/1805.08318 Convolution layer의 한계 GAN, CNN 등의 기존 네트워크들은 보통 convolution layer 기반입니다. 이러한 convolution 기반 네트워크들은 class가 많은 데이터셋(ex. ImageNet) I의 generator 모델을 학습할때, 특정 class의 이미지를 잘 생성하지 못한다는 단점이 있습니다. 바다나 하늘같은 풍경들은 잘 생성해내지만, 동물들 같은 texture가 많은 이미지들을 잘 생성하지 못했습니다. .. 공감수 0 댓글수 0 2021. 10. 24.
Image Style Transfer Using Convolutional Neural Networks (2016) Image Style Transfer Using Convolutional Neural Networks는 Image에서의 Style를 변화시킨 최초의 논문으로 이 논문을 기점으로 다양한 style transfer 논문들이 나오게 됩니다. https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Gatys_Image_Style_Transfer_CVPR_2016_paper.pdf Content + Style Style transfer란 하나의 이미지를 내가 원하는 다른 이미지처럼 변형시켜주는 것입니다. 즉, 위의 figure처럼 input image(강가의 집)의 content는 그대로 둔 채 다른 image의 style(고흐의 별이 빛나는 밤)을 .. 공감수 2 댓글수 0 2021. 10. 17.
StyleGAN : A Style-Based Generator Architecture for Generative Adversarial Networks (2018) StyleGAN은 기존의 latent 벡터 z로부터 target군의 이미지를 직접 생성해내는 기존 GAN 방법과 다르게 Style에 초점을 맞춰 다양한 이미지를 생성할 수 있도록 디자인한 논문입니다. NVDIA 연구진이 발표한 논문으로 성능이 기존 GAN보다 훨씬 뛰어나면서도 안정적이어서 각광받고 있는 논문입니다. https://arxiv.org/abs/1812.04948 Entangle vs Disentangle 기존의 GAN을 사용한 Image Generator, Style Transfer는 일종의 블랙박스 형태로, style만 바꾸고 싶지만 제어할 수 있는 방법이 없었습니다. 그러므로 이미지의 전체적인 형상은 그대로 둔채 style 요소만 원하는 형태로 바꾸는 것에 많은 연구가 진행되었습니다. 논문.. 공감수 1 댓글수 0 2021. 10. 9.

728x90

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.