Loss Function (손실 함수)

Loss Function의 역할

인공지능 학습은 정답과 모델이 예측한 결과의 차이를 최소화 하는 방향으로 진행됩니다. 이때 정답과 예측간의 차이를 계산하는 함수를 Loss function(손실 함수)이라고 합니다. Object function(목적 함수), Cost function(비용 함수)라고 부르기도 합니다.

연구 목적에 따라 다양한 함수를 손실 함수로 사용할 수 있습니다.

---

Pixel-wise Loss

특정 값을 예측하는 Regression(회귀) 모델 또는 Image-to-Image translation 분야에서는 픽셀끼리의 연산을 통한 loss를 많이 사용합니다.

 

1. 평균 제곱 오차 (Mean Absolute Eorr, MAE)

MAE는 정답 값과 예측 값 차이에 대한 절대값의 평균으로 계산됩니다.

 

2. 평균 제곱 오차 (Mean Square Error, MSE)

MSE는 정답 값과 예측 값 차이에 대한 제곱의 평균으로 계산됩니다.

예측 값을 변화시켯을때, 일정한 간격으로 loss가 줄어드는 MAE에 비해, 정답 값에 근접할수록 변화 폭이 줄어드는 MSE가 최적 값에 수렴하기에 용이합니다. 그러나, MSE의 경우 특이값이 발생했을 시 급격하게 loss가 증가할 가능성이 있습니다.

 

3. 평균 제곱근 오차 (Root Mean Square Error, RMSE)

RMSE는 MSE에 루트를 씌운 형태입니다. 제곱으로 인해 loss값이 커지기 때문에, 실제 픽셀 값의 범위와 비슷하게 산출하기 위해 루트를 적용한 함수입니다.

 

4. 평균 제곱 로그 오차 (Mean Squared Log Error, MSLE)

MSE에 log를 적용한 형태입니다. log형태이기 때문에 특이 값 (아웃라이어)에 대해 MSE에 비해 덜 영향을 받습니다. 또한 실제 값과 예측 값의 절대적인 값의 크기가 커지더라도, 상대적 비율이 동일하면 MSLE 값은 동일하다는 특징이 있습니다. 

---

Cross Entropy Loss

엔트로피는 어떤 사건에 대한 불확실성 또는 예측 불가능함을 표현하는 지표로, 엔트로피가 높다는 것은 드물게 발생하는 사건을 뜻합니다. 즉, 알아야 할 정보량은 많고 발생할 확률은 낮다는 것을 의미합니다.

 

교차 엔트로피는 하나의 사건에 대해 두가지 확률 분포를 활용해 불확실성을 표헌한 것으로, 두 분포가 동일해질수록 값은 0에 수렴하고, 다를수록 값은 커집니다. 두 확률 분포를 정답 분포와 예측 분포로 설정할때, 동일하면 0이되고 다르면 커지는 손실함수의 개념과 일치합니다.

 

특히, Softmax 활성화 함수를 사용해 최종 output 값을 확률 값으로 변환해주는 Classification 모델의 손실 함수로 적합합니다.

 

이 밖에도 Dice, SSIM, Focal 등등 목적에 맞게 다양한 함수들을 손실 함수로 사용할 수 있습니다.