목록Vanishing gradient (1)

코딩뚠뚠

[머신러닝 공부] 딥러닝/Activation Function종류

활성화 함수(Activation Function) 은 어디에서 쓸까? 딥러닝 네트워크를 쪼개보면 시작은 하나의 퍼셉트론 구조임을 알 수 있다. 여기서 출력 f를 바로 다음 레이어로 전달하지 않고 활성화함수를 통과시킨 후 전달한다. 왜 활성화 함수를 통과시키나? 단층 신경망인 퍼셉트론은 XOR연산을 할 수 없었다. 이를 풀기 위해서는 출력을 비선형으로 분리해야 했다. 1. 직선 하나만으로는 여러 입력을 제대로 구분할 수 없기 때문에 히든레이어가 필요했다. (여러 직선 필요) 2. 비선형으로 된 활성화 함수로 신경망의 출력을 변환해야 한다. (단순히 중간층 연결한다고 비선형이 되지는 않음) 출력을 활성화함수를 거치지 않고 그대로 출력해준다면 layer 가 아무리 깊어져도 하나의 linear 연산으로 나타낼 ..
공부/ML&DL 2021. 7. 11. 14:35
이전 Prev 1 Next 다음