2018년 12월 10일

드롭아웃 (Dropout)

I. co-adaptation 해결 기법, 드롭아웃

딥러닝 시 오버피팅 문제를 해결하기 위해 노드 중 일부를 제거하는 인공지능 최적 학습기법

Overfitting 해결	– 신경망 비대 시 high variance 문제 해결 – Voting 효과로 정규화 유사 효과 가능
co-adaptation 회피	– 특정 뉴런의 가중치나 영향 감소 – 강건한 신경망 구성 가능

구성도
메커 니즘	① 입력층과 은닉층의 임의 노드 선택 및 제거 ② 임의 노드 제거 상태에서 학습 수행 ③ 실제 테스트 시 제거 노드 복원 및 가중치 연산

– ①의 임의 노드 제거 시 확률p 기준 제거 후, ③의 테스트 시 가중치에 확률p 곱연산하여 학습결과 보상

문제점	해결방안
– 신경망 학습 속도가 다소 느려지는 문제	– Batch Normalization 구현 + Dropout → 학습속도 증가