(3) 딥러닝의 발전 이유 3가지와 Relu함수

• 깊은 모델 일수록 더 많은 데이터가 필요하며, 이는 곧 좋은 퍼포먼스로 나타납니다.
• 최근 딥러닝이 강력한 도구로 부상한 이유는 아래의 3가지 요인들로 인해 딥러닝 성능이 향상되었기 때문입니다.
  1. 데이터 양 증가 - Data
  2. 컴퓨터 성능 향상 - Computation
  3. 알고리즘의 개선 - Algorithm
     • ex) Sigmoid 함수가 아닌 ReLU 함수를 사용함으로 Gradient 소멸 문제 해결

Sigmoid 함수와 ReLU 함수sigmoid는 왼쪽, 오른쪽 끝으로 가면 미분값이 0이 되기 때문에 Gradient 가 소멸하는 문제가 발생하는데, ReLU 함수를 사용하므로 문제를 해결할 수 있습니다.

해당 내용은 뒤에서 다시 배울 예정이니 지금 이해하지 못해도 괜찮습니다 :)

• 또한, 이전과 달리 빠른 실험 결과를 얻을 수 있어서, 아이디어(Idea) 생산 > 코드(Code) 구현 > 실험(Experiment)결과의 시간이 단축돼서, 더 많은 아이디어를 실험 할 수 있게 됐습니다. 이는 오늘날 딥러닝 알고리즘 분야에서 경이로운 혁신으로 이어졌습니다.