[DL] drop-out

Drop-out 

Feature만을 과도하게 집중하여 학습함으로써 발생할 수 있는 과대적합(Overfitting)을 방지하기 위해 사용한다.

히든레이어의 개수가 많아질 경우의 장 단점

일반적으로 신경망에서 히든레이어의 개수가 많아지면 즉 deep neural network이 되면, 더욱 많은 문제를 해결할 수 있도록 학습 능력이 좋아진다.

하지만 망의 크기가 커지면 커질수록 오버피팅에 빠질 가능성이 높아지고 신경망에 대한 학습 시간도 길어지는 문제가 있으며 적절한 결과를 도출하려면 훈련 데이터의 양 또한 늘려야 한다.

Drop-out  개요

망에 있는 입력 레이어나 히든레이어의 일부 뉴런을 생략하고 줄어든 신경망을 통해 학습을 수행한다.
생략된 방에 대한 학습을 끝내면 다시 무작위로 다른 뉴런들을 생략하면서 반복적으로 학습을 수행한다.
일부 뉴런을 생략한다는 것은 뉴런을 제외시키라는 말이 아니라 나머지 뉴런을 0으로 만드는 것을 의미한다.