빅데이터 품질

I. 빅데이터 품질관리의 특징

데이터 활용 패러다임	→	빅데이터 특징
– IT는 단순도구 아닌 가치 창출의 핵심 도구 – 데이터의 팽창 및 대량 비정형 분석 처리 기술 발전	빅 데 이 터 등 장	– 기계, 프로그램에 의해 수집되는 대량의 데이터 – 미세하고 정밀한 데이터 – 데이터 소유자 불분명

• 데이터는 수동적 관리 대상에서 새로운 가치 창출 및 사회 현안 해결에 결정적 역할로 변화

 

II. 빅데이터의 주요 품질 요소

가. 빅데이터 특징에 따른 품질관리 접근방법

빅데이터의 특성	품질관리 접근방법
– 기계, 프로그램에 의해 수집되는 대량의 데이터	– 데이터 사용자의 오류 무시 – 데이터 수집 예외 기준수립
– 미세하고 정밀한 데이터	– 개별 타당성 검증 불필요 – 개별 보다 전체 데이터 의미
– 데이터 소유자 불분명	– 목적, 통제 없이 생산된 데이터의 품질기준 수립 필요

• 개별 데이터 타당성 보장 보다 빅데이터 개념 및 특성 측면 관리 항목 수준 품질 정의 필요

나. 빅데이터 주요 품질요소 및 품질 전략

주요 품질 요소	데이터 품질 전략
정확성 (Accuracy)	– 사용 목적에 따른 정확성 기준 별도 적용 (접속사이트 분석과 사기 탐지 수준 다름)
완전성 (Completeness)	– 필요한 데이터의 완전한 확보보다 필요한 데이터를 식별하는 수준 적용 가능
적시성 (Timeliness)	– 소멸성 강한 데이터의 품질 기준 수립 – 로그, 위치 데이터 등은 당시에만 타당성
일관성 (Consistency)	– 동일 데이터라도 사용 목적에 따른 수집기준으로 인해 데이터 의미 상이

• 빅데이터는 일반 데이터와 달리 품질은 정확성보다 충분성 개념으로 비즈니스 목적에 따라 관리

 

III. 효과적인 빅데이터 품질관리 방안

가. 효과적 빅데이터 품질관리 체계

나. 효과적 빅데이터 품질관리 방안

방안	설명
비즈니스 영역 및 목적 관리	– 정확성 보다 충분성 개념으로 비즈니스 영역과 목적에 따라 관리가 바람직
신뢰성 기준 수립	– 소유하지 않은 외부 데이터 활용 시 내부적으로 데이터 신뢰성 기준 수립 필요
데이터 영역 제한	– 관심 속성 및 관계 식별 기술 사용 – 데이터 품질 관련 영역 제한 전략

 

IV. 빅데이터 정확성, 신뢰성 향상 위한 품질관리 고려사항

가. 빅데이터 활용 촉진과 품질 향상 체계

• 원활한 빅데이터 활용 촉진과 품질향상을 위해 제도적 기반과 정보 환경 기축 구축이 필요

나. 빅데이터 품질관리 시 고려사항

고려사항	설명
중복, 불일치 관리	– 기업 및 기관이 보유한 정보의 품질 관리를 통한 데이터 중복성, 불일치성 관리
품질관리 가이드라인	– 3V 데이터는 특성상 기존과 다른 품질 기준, 관리 프로세스 등 전략 수립 필요
품질 인증 방안 연구	– 빅데이터의 자원 품질 보장 및 활용 극대화 위한 품질 인증 방안 연구 필요

• 빅데이터 활용 결과의 정확성 및 신뢰성 향상을 위해 빅데이터 품질 관리 체계 구축 필요