목록SGD (1)

코딩뚠뚠

[머신러닝 공부]딥러닝/Optimizer정리

이번 포스팅에서는 딥러닝에 이용되는 Optimizer=최적화알고리즘 을 알아보고자 한다. '어떤 Optimizer를 써야되는지 잘 모르겠다면 Adam을 써라' 라는 말이 있다. 왜 그냥 Adam을 쓰라고 했을까? Optimization 의 큰 틀부터 보자 딥러닝의 학습에서는 최대한 틀리지 않는 방향으로 학습해 나가야 한다. 여기서 얼마나 틀리는지(loss)를 알게 하는 함수가 loss function=손실함수이다. loss function의 최소값을 찾는 것을 학습의 목표로 한다. 여기서 최소값을 찾아가는 것을 최적화=Optimization 이라고 하고 이를 수행하는 알고리즘이 최적화 알고리즘=Optimizer 이다. Optimizer 종류 0. Gradient Descent (경사하강법) 이후의 Opt..
공부/ML&DL 2021. 7. 18. 23:00
이전 Prev 1 Next 다음