드롭아웃 (Dropout)

I. co-adaptation 해결 기법, 드롭아웃

가. 드롭아웃(Dropout)의 개념

딥러닝 시 오버피팅 문제를 해결하기 위해 노드 중 일부를 제거하는 인공지능 최적 학습기법

나. 드롭아웃의 목적

Overfitting
해결
– 신경망 비대 시 high variance 문제 해결
– Voting 효과로 정규화 유사 효과 가능
co-adaptation
회피
– 특정 뉴런의 가중치나 영향 감소
– 강건한 신경망 구성 가능

 

II. 드롭아웃 기법 구성도/메커니즘

구성도
메커
니즘
① 입력층과 은닉층의 임의 노드 선택 및 제거
② 임의 노드 제거 상태에서 학습 수행
③ 실제 테스트 시 제거 노드 복원 및 가중치 연산

– ①의 임의 노드 제거 시 확률p 기준 제거 후, ③의 테스트 시 가중치에 확률p 곱연산하여 학습결과 보상

 

III. Dropout의 문제점 및 해결방안

문제점해결방안
– 신경망 학습 속도가   다소 느려지는 문제– Batch Normalization 구현 + Dropout → 학습속도 증가

 

콘텐츠 사용 시 출처 표기 부탁 드리고, 댓글은 큰 힘이 됩니다^^