딥러닝과 다층신경망

딥러닝(Deep Learning)의 정의

• 딥러닝은 다층 퍼셉트론(MLP)에서 은닉층의 수를 깊게 확장한 구조

• 사람이 설계한 Feature 없이도 자동으로 특징을 추출하는 특징

  

  ANN(Artificial Neural Network) vs DNN(Deep Neural Network)

  

• 주요 적용 분야:

  • 컴퓨터 비전 (Computer Vision)
  • 음성 인식 (Speech Recognition)
  • 자연어 처리 (Natural Language Processing)

은닉층의 역할

• 데이터에서 특징(feature)을 스스로 추출

• 계층이 깊어질수록 더욱 추상적이고 고차원적인 특성을 학습할 수 있음

  

  • 한계점: 각 은닉층 마다 하나하나의 feature 추출은 가능하지만, 해석가능성에 한계가 있음

딥러닝의 난점과 해결책

1) Gradient Vanishing

문제: Gradient Vanishing Problem (기울기 소실)

• 은닉층이 많아질수록, 출력층에서 계산된 기울기가 역전파 과정에서 점점 작아져 사라짐
• Sigmoid 함수 사용 시 특히 두드러짐
  • Sigmoid의 기울기는 최대 0.25이며, 이는 누적 곱셈 시 매우 작아짐
  • 입력 x가 클 경우, sigmoid(x)의 기울기는 0에 수렴

해결책 1: 새로운 활성화 함수 – ReLU

• ReLU(Rectified Linear Unit):f(x)=max(0,x)

  f(x)=max⁡(0,x)f(x) = \max(0, x)

• 큰 입력에 대해서도 기울기가 1로 유지되어 소실을 방지