배깅(Bagging), 부스팅(Boosting)

I. 분류 모델 생성 알고리즘, 배깅과 부스팅

배깅부스팅
데이터에서 여러 bootstrap 자료 생성, 모델링 후 결합하여 최종 예측 모형을 만드는 알고리즘오분류 개체들에 가중치를 적용하여 새로운 분류 규칙 생성 반복 기반 최종 예측 모형 생성

 

II. 배깅과 부스팅 알고리즘 수행 절차

가. 배깅 알고리즘 수행 절차

절차도
절차① Row data에서 bootstrap 데이터 추출
② 추출을 반복하여 n개의 데이터 생성
③ 각 데이터를 각각 모델링 하여 모델 생성
④ 단일 모델을 결합하여 배깅 모델 생성

나. 부스팅 알고리즘 수행 기법

절차도
절차① Row data에 동일가중치로 모델 생성
② 생성된 모델로 인한 오분류 데이터 수집
③ 오분류 데이터에 높은 가중치 부어
④ 과정 반복을 통하여 모델의 정확도 향상
  • 배깅은 여러 번의 샘플링을 통해 분산을 줄여 모델 변동성 감소
  • 부스팅은 잘못 분류된 데이터에 집중해 모델의 정확도를 향상

 

III. 배깅과 부스팅 기술적 특징 비교

항목배깅부스팅
수행원리샘플링에 의한 결합가중치 재조정 반복
수행목적모델 변동성 감소모델 정확도 향상
적용연산평균, 다수결가중치 선형 결합
초기모델Bootstrap 모델Weak Classification
최종모델Bagging 모델Strong Classification
분류성능결측치 존재 시 우수데이터 다수 시 우수
  • 데이터 마이닝의 분류 문제 해결 시 목표 변수 예측 모델 생성, 특성 별 모델 생성 알고리즘 선택 적용 필요
2 Comments

콘텐츠 사용 시 출처 표기 부탁 드리고, 궁금한 점이나 의견은 댓글 남겨주세요^^