공부/ML&DL55 [머신러닝 공부]딥러닝/Optimizer정리 이번 포스팅에서는 딥러닝에 이용되는 Optimizer=최적화알고리즘 을 알아보고자 한다. '어떤 Optimizer를 써야되는지 잘 모르겠다면 Adam을 써라' 라는 말이 있다. 왜 그냥 Adam을 쓰라고 했을까? Optimization 의 큰 틀부터 보자 딥러닝의 학습에서는 최대한 틀리지 않는 방향으로 학습해 나가야 한다. 여기서 얼마나 틀리는지(loss)를 알게 하는 함수가 loss function=손실함수이다. loss function의 최소값을 찾는 것을 학습의 목표로 한다. 여기서 최소값을 찾아가는 것을 최적화=Optimization 이라고 하고 이를 수행하는 알고리즘이 최적화 알고리즘=Optimizer 이다. Optimizer 종류 0. Gradient Descent (경사하강법) 이후의 Opt.. 2021. 7. 18. [머신러닝 공부] 딥러닝/Activation Function종류 활성화 함수(Activation Function) 은 어디에서 쓸까? 딥러닝 네트워크를 쪼개보면 시작은 하나의 퍼셉트론 구조임을 알 수 있다. 여기서 출력 f를 바로 다음 레이어로 전달하지 않고 활성화함수를 통과시킨 후 전달한다. 왜 활성화 함수를 통과시키나? 단층 신경망인 퍼셉트론은 XOR연산을 할 수 없었다. 이를 풀기 위해서는 출력을 비선형으로 분리해야 했다. 1. 직선 하나만으로는 여러 입력을 제대로 구분할 수 없기 때문에 히든레이어가 필요했다. (여러 직선 필요) 2. 비선형으로 된 활성화 함수로 신경망의 출력을 변환해야 한다. (단순히 중간층 연결한다고 비선형이 되지는 않음) 출력을 활성화함수를 거치지 않고 그대로 출력해준다면 layer 가 아무리 깊어져도 하나의 linear 연산으로 나타낼 .. 2021. 7. 11. [머신러닝 공부] 딥러닝/앙상블(ensemble) 앙상블 포스팅 계기 : 앙상블 기법의 존재여부도 최근에야 알게됐다. AI 공모전에 참여하며 우수자들이 ensemble을 사용하는 것을 보고 공부를시작했고, Fast campus 머신러닝과정에서 ensemble에 대한 강의도 듣게 되며 포스팅까지 하게 됐다. 또한 Tree를 주로 사용하는 머신러닝기법이 아닌 딥러닝 모델을 사용해, Image Classification에서 앙상블을 적용시켜보고 싶었다. 목차 : 1. [머신러닝] 앙상블에 대한 기초적인 개념과 종류, Bagging, RandomForest, Boosting, Stacking 등에 대해 알아본다. 2. [딥러닝] ResNet50을 앙상블 하여 Classification 성능을 높여본다. 1. (ML) 앙상블 개념 및 기법들 앙상블이란 : 사전적.. 2021. 5. 3. [머신러닝 공부] 딥러닝/SSD (object detection) YOLO V1 이후 VOLO V2 로 발전상을 공부하려 했으나 시간순서대로 짚어보는 것이 기술의 발전방향을 더 잘 이해할 수 있을 것 같아 이번엔 SSD에 대해 알아보았다. 1. 배경 YOLO V1에서의 grid cell 방식의 region proposal 방식이 Faster RCNN보다 훨씬 높은 FPS를 기록했다. 하지만 정확도 지표인 mAP는 낮게 나오는 문제가 있었다. SSD는 region proposal 방식을 grid cell로 유지하면서 더 좋은 mAP를 낼 수는 없을까 하는 데에서 만들어진 object detection 모델이다. 2. 구조 1) Modified VGG Net (수정된 VGG Net) SSD에서는 수정한 VGG Net을 통해 Feature extraction을 진행했다. 이.. 2021. 4. 27. [머신러닝 공부] 딥러닝/YOLO V1 (object detection) 저번 Faster-RCNN에 이어 이번에는 YOLO V1에 대해 알아보고자 한다. dbstndi6316.tistory.com/273?category=957031 [머신러닝 공부] 딥러닝/Fast RCNN (object detection) 이번에는 저번 글에 이어 Object Detection model의 발전과정에 대해 계속 짚어나가도록 한다. RCNN -> SPP-Net -> ?? dbstndi6316.tistory.com/272 [머신러닝 공부] 딥러닝/SPP Net (object detection) 앞선 포스.. dbstndi6316.tistory.com YOLO V1은 Faster RCNN의 어떤점을 보완해 나온 모델일까? 지금까지의 RCNN Fast-RCNN Faster-RCNN과는 다른.. 즉.. 2021. 4. 21. [머신러닝 공부] K-Fold Cross Validation 이란 개요 : 딥러닝 모델을 Training 할 때 Train Data를 Train set 과 Validation set 으로 나눠줄 필요가 있다. Keras를 이용할 때에는 validation_split 으로 나눠줄 수 있었다. keras.preprocessing.image.ImageDataGenerator (validation_split=0.7, .... etc ....) 하지만 augmentation을 하더라도 기본 데이터가 다소 적을 때 validation_split은 Train Data 전부를 사용하지 못했다. sklearn의 train_test_split() 은 random으로 validation set을 선택하지만 이또한 validation에 사용하는 데이터를 train에 사용할 수는 없다는 단점.. 2021. 4. 18. [머신러닝 공부] 딥러닝/Faster RCNN (object detection) 지금까지 Object detection model 중 RCNN SPP-Net Fast-RCNN 에 대해 공부해보았다. 이번 포스팅에서는 Faster-RCNN에 대해 짚어보도록 한다. 1. 배경 RCNN, SPP-Net, Fast-RCNN은 모두 Realtime의 어려움을 극복하지 못했다. 상세히 살펴보면 Fast RCNN에서는 region proposal 방식인 selective search 중 대부분의 시간을 소모했다. 따라서 region proposal 방식을 selective search 방식이 아닌 다른 방식으로 바꿔줘야 할 필요성이 대두되었다. 2. 구조 Faster RCNN 과 Fast RCNN이 다른점은 region proposal의 방식(ROI를 구하는 과정)의 차이뿐이다. region p.. 2021. 4. 17. [머신러닝 공부] 딥러닝/Fast RCNN (object detection) 이번에는 저번 글에 이어 Object Detection model의 발전과정에 대해 계속 짚어나가도록 한다. RCNN -> SPP-Net -> ?? dbstndi6316.tistory.com/272 [머신러닝 공부] 딥러닝/SPP Net (object detection) 앞선 포스팅에서 최초의 딥러닝 기술이 적용된 Object Detection 모델인 RCNN에 대해 알아보았다. dbstndi6316.tistory.com/271 [머신러닝 공부] 딥러닝/RCNN (object detection) Object Detection RCNN은 최초의.. dbstndi6316.tistory.com 1. 배경 SPP-Net의 어떠한 단점을 극복하기 위함 1) Three stage pipeline (RCNN과 SPP.. 2021. 4. 17. 이전 1 2 3 4 5 6 7 다음 반응형
