영상 품질을 비교하는 지표들은 Super Resolution 의 결과를 측정하는데 사용되곤 한다.
들어가기에 앞서...
Super Resolution 이란?
"초 해상화" 로 저해상도의 이미지를 고해상도의 이미지로 변환하는 기술을 말한다
딥러닝 이전에는 Nearest Neighbor, Bilinear, Bicubic 등 보간법 (interpolation)에 의존했으며,
최근에는 여러 딥러닝 알고리즘에 의존한다.
Super Resolution 을 사용하는 이유는?
고해상도의 이미지를 어딘가로 전송하려면 그만큼 많은 리소스가 필요할 것이다.
저해상도로 전송 후 사용하고자 하는 곳에서 고해상도로 변환할 수 있다면 자원을 효율적으로 이용할 수 있다.
MSE 란?
Mean Square Error(평균제곱오차) 로 Regression 에서 많이 사용하는 loss function 종류중 하나이다.
알고리즘이 예측한 값과 실제 정답과의 차이를 제곱한 값의 평균으로 생각하면 된다.
MSE가 작을수록 알고리즘의 성능이 좋다고 볼 수 있어 iteration을 통해 값을 줄여나간다.
1. PSNR
(Peak Signal-to-Noise Ratio)
화질의 손실 정보를 평가할 때 사용한다.
이를 MSE를 이용해 계산할 수 있으며 MSE값이 작을수록 PSNR이 높다.
즉 MSE값이 작으면 원본과 가깝다 = PSNR이 높다
하지만 MSE는 High Texture Details 에 대한 손실을 복원하기 어렵기 때문에
PSNR이 높다는것은 무조건 고해상도를 뜻하지는 않는다.
위 사진은 PSNR 값이 비슷하지만 왼쪽이미지 품질을 더 나쁘게 느낀다.
왼쪽은 압축손실, 오른쪽은 블러된 이미지이기 때문이다.
이 때문에 PSNR-HVS, PSNR-HVS-M 및 VIF와 아래 설명할 SSIM이 고안되었다.
2. SSIM
(Structural Similarity Index Map)
앞서 나온 PSNR은 인간이 시각적으로 느끼는 품질차이를 나타내지는 못한다.
SSIM은 PSNR과 다르게 수치적 에러가 아닌 인간의 시각적 화질 차이를 평가하는 방법이다.
수식에서 l은 luminance, c는 contrast, s는 structural 이다.
수식만 보더라도 인간의 시각을 고려한 것을 알 수 있다.
각각의 함수 수식을 풀어보면 아래와 같다.
또한 C1, C2, C3는 상수이며 아래와 같다.
L은 DynamicRange value 이며 uint8형일때 0~255값을 갖고 default는 255, 0~1 로 표현되었을 경우 default는 1이다.
결론은 SSIM 수치가 1에 가까울수록 품질 점수가 높다.
수식은 접어두고 그림을 보자
아까와는 다르게 확실히 시각적으로 더 좋은 사진이 값이 높은 것을 확인할 수 있다.
하지만 세상에는 수많은 시각적 이미지가 있고 따라서 맹신하면 안된다.
상황에 맞춰 지표를 활용할 수 있는 능력을 갖춰야한다.
이밖에도 UQI, HVS 등의 측정 지표가 있으며
SSIM 의 경우에는 DSSIM, CW-SSIM, SSIMPLUS 등의 방식으로 발전되었다.
끝
References :
https://en.wikipedia.org/wiki/Structural_similarity
https://kr.mathworks.com/help/images/ref/ssim.html
https://m.blog.naver.com/mincheol9166/221771426327
'공부 > 영상처리' 카테고리의 다른 글
| [영상처리] 카메라 기본용어 정리 (0) | 2022.02.21 |
|---|---|
| [영상처리] 공간필터링 (0) | 2021.02.12 |
| [영상처리] 영상의 논리연산 (0) | 2021.02.06 |
| [영상처리] 영상 산술연산 (0) | 2021.01.28 |
| [영상처리] 화질향상 - 히스토그램 스트레칭, 평활화 (0) | 2021.01.21 |
댓글