코딩뚠뚠

영상 품질을 비교하는 지표들은 Super Resolution 의 결과를 측정하는데 사용되곤 한다. 들어가기에 앞서... Super Resolution 이란? "초 해상화" 로 저해상도의 이미지를 고해상도의 이미지로 변환하는 기술을 말한다 딥러닝 이전에는 Nearest Neighbor, Bilinear, Bicubic 등 보간법 (interpolation)에 의존했으며, 최근에는 여러 딥러닝 알고리즘에 의존한다. Super Resolution 을 사용하는 이유는? 고해상도의 이미지를 어딘가로 전송하려면 그만큼 많은 리소스가 필요할 것이다. 저해상도로 전송 후 사용하고자 하는 곳에서 고해상도로 변환할 수 있다면 자원을 효율적으로 이용할 수 있다. MSE 란? Mean Square Error(평균제곱오차) 로..

개요 : 이미지를 이용한 머신러닝 딥러닝 공부를 하다보니 성능을 결정하는데 input이미지가 매우 큰 영향을 미침을 알게됐다. 학습과 추론시에는 이미지의 전처리도 중요하지만 raw input자체가 원하는 영상과 비슷하다면 연산이 줄게되어 속도,정확도면에서 모두 장점이 생길것이다. 개발 및 검증시에도 기본적인 카메라 환경을 이해하고 있어야 하는데, 얼굴인식을 예로 들면 간단하게만 생각해도 실험에 아래와 같은 통제변인들이 생긴다. 어떤 조도, 빛의 파장 등의 외부 환경인지? 카메라와 피사체의 초점거리, 감도와 셔터스피드 등의 장비 환경인지? 이는 실제 설치 후 운용 뿐 아닌 모델 학습시에도 충분히 고려해야 될 변인들이라 생각한다. ( 알아두면 사진찍을때도 도움이 될거같다ㅎㅎ ) 카메라 기본용어 : ISO :..

공간 필터링이란? 영어로는 Spatial Filtering 이라고 부른다. 영상에 쓰이는 필터는 부드럽게 만드는 필터와 날카롭게 만드는 필터가 있을 것이다. 이의 쓰임은 feature를 특징하기 위함일 수 있고 추적할 수도, 또는 기본적으로 사진을 보정하기 위함일 수도 있다. 이를 위해서는 마스크 연산을 사용한다. 공간필터링은 영상 신호에 대해 공간 영역 에서의 필터 처리(필터링) 를 의미한다. 필터링 이란? 무언가를 걸러주는 것이다. 영상에서의 필터링도 같은 맥락으로 생각하면 된다. 필터를 이용해 영상에서 필요한 정보만 통과시키는 과정을 필터링이라고 한다. 영상처리에서의 필터링은 크게 두 종류로 나눠볼 수 있다. 주파수공간에서의 필터링과 공간적필터링이다. 주파수 공간에서의 필터링 : 푸리에 변환을 통해..

영상의 논리연산에는 AND연산과 OR연산이 있다. 1. AND 연산 영상의 논리연산은 각 픽셀 값에 대해서 bit 단위로 이루어진다. ex ) 15 = 00001111 200 = 11001000 -------AND------- ANS = 00001000 = 8 이미지 예시 Grayscale 이미지에 128 값을 갖는 Filter를 AND 연산했다고 생각해보자. 128 = 10000000 이고 이와 AND 연산을 하게 된다면 128 이하의 픽셀은 모두 0으로 변할 것이다. 128 보다 큰 픽셀은 128로 바뀔 것이다. 즉 128과 0의 값으로 사진이 변하게 될 것이다. 어두워질 가능성이 높은 연산 2. OR 연산 아까와 같은 예시로 or 연산을 수행해보겠다. 15 = 00001111 200 = 110010..

영상의 산술연산: 덧셈 뺄셈 평균 차이 와 같은 연산이 있으며 이러한 연산을 통해서 새로운 영상을 만들거나 화질의 향상을 노릴 수 있다. 1. 덧셈연산 두 영상의 같은 위치에 있는 픽셀들을 더해서 새로운 영상을 만들어 내는 것이다. 영상1의 픽셀값이 100, 영상2의 픽셀값이 100 이면 새로운 영상의 픽셀값은 200으로 밝아질 것이다. 만약 255가 넘는다면 255로 값을 고정한다. ROI 덧셈연산에서 중요한 것은 mask 로 관심영역을 추출하는 것이다. 영상1이 있고 영상2는 반은 검정색(0) 반은 흰색(255) 라고 해보자. 이 둘을 합쳤을 때는 어떤 영상이 도출되게 될까? 영상2의 검정색영역에만 영상1이 남게 될것이다. 이와같이 덧셈연산으로 관심영역을 추출할 수 있다. 2. 뺄셈연산 두 영상의 같..

이전 포스팅에서 히스토그램 분석에 대해 알아봤다. 이제는 영상의 히스토그램을 파악하고 영상의 히스토그램을 전 구간에 골고루 나타나게 변환하는 방법에 대해 알아본다. 1. 히스토그램 스트레칭 영상의 히스토그램이 그레이스케일 전 구간에서 골고루 나타나도록 변경하는 선형 변환기법이다. 히스토그램을 잡아 늘여서 전 구간에 히스토그램이 나타나도록 변환한다. -> 전체적으로 포진하게 되면 명암비가 높아지게 된다. 2. 히스토그램 평활화 히스토그램 스트레칭이 선형으로 늘여줬다면 히스토그램 평활화는 히스토그램의 누적분포 특성에 의해서 변경시킨다. 이또한 명암비를 맞추기 위한 방법이다. 방법은 다음과같다. 새로운 히스토그램 값 = N[이전 히스토그램값] *255 (N : 정규화된 누적 히스토그램) - 누적 히스토그램이란..

히스토그램 : 영상의 특징을 분석하는 방법 중 하나이다. 영상 내에서 각 그레이스케일 값에 해당하는 픽셀의 개수를 함수의 형태로 나타낸 것이다. 입력과 출력 : 그래프에서 x축의 가장 왼쪽은 그레이스케일 0에 해당하고 오른쪽은 255에 해당한다. 이 영상에서는 검정색 부분이 가장 많은 것을 알 수 있다. 활용 : 히스토그램 분석을 통해 명암비와 밝기를 조절할 수 있을것이다. 밝은 영상의 경우 히스토그램이 오른쪽으로 치우쳐져 있을 것이고 어두운 영상은 반대일 것이다. 명암비가 낮다면 히스토그램이 일정 구역에 몰려서 나타나며 명암비가 높다면 골고루 퍼져있을 것이다. 이후 포스팅에서 히스토그램 평활화를 알아보자

요즘은 딥러닝으로 화질향상을 노리지만 이의 기초가 되는 것은 고전 영상처리 알고리즘에서의 화질향상 기법이다. - waifu2x 같은 사이트에서 딥러닝으로 사진의 화질을 향상시키는 서비스를 제공한다. 용도에 따라서는 밝기와 명암비를 조절하는 것도 화질을 향상시킬 수 있겠지만 감마보정에서부터 시작하려고 한다. 핵심 : 감마보정은 비선형이다. 255가 최대값이면 128은 이의 절반의 밝기를 나타내야 할 것이다. 하지만 그렇지 않다. 비선형 전달함수를 사용해서 빛의 강도를 비선형적으로 변형하기 때문이다. (감마 보정이라고 널리 쓰이나 감마 부호화라는 표현이 더 적절하다고 한다.) 목적 : 인간 시각의 비선형성에 맞춰 정보를 부호화 인간 시각은 그 어떤 카메라보다 명암차이를 매우 잘 구별하고, 색상, 해상도 차이..