코딩뚠뚠

딥러닝을 공부하다보면 이 두 표현은 계속 볼 수 있는 개념이다. 우선 정규화라는 용어는 Normalization, Regularization 두 표현에 모두 사용하고 (Regularization은 '일반화' 라고 하는것이 이해에 편하다) 표준화는 Standardization에 사용한다. 그렇다면 정규화와 표준화가 아닌 Normalization / Regularization / Standardization 으로 나눠서 공부해보도록 하자 1. Normalization 데이터를 compact하게 만들기 위해 사용한다 -> 학습전 값의 범위를 축소한다 (0~255 >> 0~1) - Local Minima에 빠질 위험 감소 - scale이 큰 feature의 영향이 비대해지는 것을 방지 딥러닝에서 사용하는 Bat..

과적합을 줄이는 방법 중 하나로 알고 이 글을 읽는 분들이 많을것이다. Batch Normalization에 대해 알아보도록 하자. 먼저 Batch Normalization 은 아래 논문에서 나온 개념이다. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift Training Deep Neural Networks is complicated by the fact that the distribution of each layer's inputs changes during training, as the parameters of the previous layers change. This slows do..