I. co-adaptation 해결 기법, 드롭아웃
가. 드롭아웃(Dropout)의 개념
딥러닝 시 오버피팅 문제를 해결하기 위해 노드 중 일부를 제거하는 인공지능 최적 학습기법
나. 드롭아웃의 목적
| Overfitting 해결 | – 신경망 비대 시 high variance 문제 해결 – Voting 효과로 정규화 유사 효과 가능 |
| co-adaptation 회피 | – 특정 뉴런의 가중치나 영향 감소 – 강건한 신경망 구성 가능 |
II. 드롭아웃 기법 구성도/메커니즘
| 구성도 | |
| 메커 니즘 | ① 입력층과 은닉층의 임의 노드 선택 및 제거 ② 임의 노드 제거 상태에서 학습 수행 ③ 실제 테스트 시 제거 노드 복원 및 가중치 연산 |
– ①의 임의 노드 제거 시 확률p 기준 제거 후, ③의 테스트 시 가중치에 확률p 곱연산하여 학습결과 보상
III. Dropout의 문제점 및 해결방안
| 문제점 | 해결방안 |
|---|---|
| – 신경망 학습 속도가 다소 느려지는 문제 | – Batch Normalization 구현 + Dropout → 학습속도 증가 |