빅데이터 품질

I. 빅데이터 품질관리의 특징

데이터 활용 패러다임빅데이터 특징
– IT는 단순도구 아닌 가치 창출의 핵심 도구
– 데이터의 팽창 및 대량 비정형 분석 처리 기술 발전





– 기계, 프로그램에 의해 수집되는 대량의 데이터
– 미세하고 정밀한 데이터
– 데이터 소유자 불분명
  • 데이터는 수동적 관리 대상에서 새로운 가치 창출 및 사회 현안 해결에 결정적 역할로 변화

 

II. 빅데이터의 주요 품질 요소

가. 빅데이터 특징에 따른 품질관리 접근방법

빅데이터의 특성품질관리 접근방법
– 기계, 프로그램에 의해 수집되는 대량의 데이터– 데이터 사용자의 오류 무시
– 데이터 수집 예외 기준수립
– 미세하고 정밀한 데이터– 개별 타당성 검증 불필요
– 개별 보다 전체 데이터 의미
– 데이터 소유자 불분명– 목적, 통제 없이 생산된 데이터의 품질기준 수립 필요
  • 개별 데이터 타당성 보장 보다 빅데이터 개념 및 특성 측면 관리 항목 수준 품질 정의 필요

나. 빅데이터 주요 품질요소 및 품질 전략

주요 품질 요소데이터 품질 전략
정확성
(Accuracy)
– 사용 목적에 따른 정확성 기준 별도 적용
(접속사이트 분석과 사기 탐지 수준 다름)
완전성
(Completeness)
– 필요한 데이터의 완전한 확보보다 필요한 데이터를 식별하는 수준 적용 가능
적시성
(Timeliness)
– 소멸성 강한 데이터의 품질 기준 수립
– 로그, 위치 데이터 등은 당시에만 타당성
일관성
(Consistency)
– 동일 데이터라도 사용 목적에 따른 수집기준으로 인해 데이터 의미 상이
  • 빅데이터는 일반 데이터와 달리 품질은 정확성보다 충분성 개념으로 비즈니스 목적에 따라 관리

 

III. 효과적인 빅데이터 품질관리 방안

가. 효과적 빅데이터 품질관리 체계

나. 효과적 빅데이터 품질관리 방안

방안설명
비즈니스 영역
및 목적 관리
– 정확성 보다 충분성 개념으로 비즈니스 영역과 목적에 따라 관리가 바람직
신뢰성 기준 수립– 소유하지 않은 외부 데이터 활용 시 내부적으로 데이터 신뢰성 기준 수립 필요
데이터 영역 제한– 관심 속성 및 관계 식별 기술 사용
– 데이터 품질 관련 영역 제한 전략

 

IV. 빅데이터 정확성, 신뢰성 향상 위한 품질관리 고려사항

가. 빅데이터 활용 촉진과 품질 향상 체계

  • 원활한 빅데이터 활용 촉진과 품질향상을 위해 제도적 기반과 정보 환경 기축 구축이 필요

나. 빅데이터 품질관리 시 고려사항

고려사항설명
중복, 불일치 관리– 기업 및 기관이 보유한 정보의 품질 관리를 통한 데이터 중복성, 불일치성 관리
품질관리
가이드라인
– 3V 데이터는 특성상 기존과 다른 품질 기준, 관리 프로세스 등 전략 수립 필요
품질 인증
방안 연구
– 빅데이터의 자원 품질 보장 및 활용 극대화 위한 품질 인증 방안 연구 필요
  • 빅데이터 활용 결과의 정확성 및 신뢰성 향상을 위해 빅데이터 품질 관리 체계 구축 필요

콘텐츠 사용 시 출처 표기 부탁 드리고, 궁금한 점이나 의견은 댓글 남겨주세요^^