2019년 4월 16일
데이터 웨어하우스 (DW, Data Warehouse)
I. 다차원 데이터 분석 자료 제공, DW
가. DW(Data Warehouse)의 개념
- 관계형 DB 기반 대단위 데이터를 분석하여 의사결정에 도움을 주는 저장소 및 시스템
나. DW의 특징
| 특징 | 설명 |
|---|---|
| 주제 중심적 | – 분석하려는 주제 중심 시스템 구조화 – 고객, 거래처, 상품 등 주제 중심 구현 |
| 비휘발성 | – DW 기록 후 변경되지 않으며 분석 일관성 – 대규모 데이터 로딩하여 읽기 전용 |
| 통합적 | – 기존 데이터 추출하여 원하는 형태로 변형 – 다른 방식의 데이터를 일관된 방식 표현 |
| 시간 가변적 | – 일정 기간 정확성 유지, 시점 별 요소 반영 – 시점 별 분석 가능 (주가정보, 환율정보) |
- DW는 소스데이터로부터 자료를 이관하는 ETT/ETL과 ODS, Metadata 등으로 구성
II. DW의 구성도 및 구성요소
가. DW의 구성도
 |
나. DW의 구성요소
| 역할 | 구성요소 | 설명 |
|---|---|---|
| 데이터 추출 | ETT/ETL | – Extract Transform Transportation(Load) – 데이터를 소스에서 추출, DW에 로드 |
| ODS | – Operational Data Store (운영 정보 저장소) – 실시간성 데이터를 바로 DW 저장 | |
| 데이터 저장 | Metadata | – DW 저장 데이터의 정보 저장 – 데이터 사용성, 관리 효율성 추구 |
| Data Mart | – 특화된 소규모 DW(부서별, 분야별) – 특정 비즈니스 프로세스 | |
| 데이터 분석 | OLAP | – 최종 사용자의 대화식 정보분석도구 – 다차원 정보 직접 접근 |
| Data Mining | – 데이터상 의미 있는 패턴 검색 과정 – 미래예측 위한 의미있는 정보 추출 |
III. DW 구축 단계 및 구축 방법
가. DW 구축 단계
| 단계 | 프로세스 | 설명 |
|---|---|---|
| 1단계 | DW Modeling | – 비즈니스 영역 선정, 분석 – DW/ODS Modeling |
| 2단계 | ETL(Legacy → DW) | – 운영계에서 수집된 Data를 ODS와 DW로 정제, 변환, 적재 |
| 3단계 | Data Mart Modeling | – 다차원 분석 영역 정의 – Data Mart 모델링 |
| 4단계 | ETL(ODS/DW → Data Mart) | – ODS/DW로부터 데이터 추출 – 다차원 DB 구성 |
| 5단계 | ROLAP 구축 | – DW에서 ROLAP 개발 |
| 6단계 | MOLAP 구축 | – Data Mart에서 MOLAP 개발 |
| 7단계 | DW 시스템 운영 | – ETT Scheduling, 메타데이터 관리 – Backup & Recovery 수행 |
나. DW 구축 방법
| 구분 | 설명 |
|---|---|
| Top-Down | – 전사 관점에서 전체 DW를 한 번에 구축 – 시간/비용 많이 소요되며 전사적 지원 필요 |
| Bottom-up | – 특정 그룹 별 Data Mart 구축 후 DW통합 – 향후 통합에 대한 설계 고려 필요 |
| Hybrid | – DW와 Data Mart 병행 구축 – 비용, 인력 분산 투입 가능, 위험 최소화 |
IV. DW 구축 핵심 성공요인 및 구축 시 고려사항
가. DW 구축 핵심 성공요인
| 핵심 성공요인 | 설명 |
|---|---|
| 조직 측면 | – 경영 전략에 정렬, 지속적 개선 – 경영자의 의지, 관리체계 수립 |
| 기술 측면 | – Data 품질 보장, ETT 성능 확보 – 지속적 튜닝 |
| 사용자 측면 | – 사용자 중심 구축 – Real Time DW 추구 |
나. DW 구축 시 고려사항
| 구분 | 고려사항 |
|---|---|
| 개발 측면 | – 의사소통 체계 마련, 성능 저하 가능성 고려 |
| 운영 측면 | – 지속적 관리, 기존 시스템과 통합 연계 |
- 빅데이터, 데이터 스트리밍 등 대량의 정형/비정형 데이터를 저장, 보관 시 데이터 레이크 적용
About The Author
도리
One Comment
안녕하세요! 좋은글 감사합니다. DW 구축 방법에 관해 궁금한 것이 있는데요, 구축 비용은 보통 Top-down > Bottom-up > Hybird 순으로 많이 드나요? 그리고 어떤 방법이 가장 많이 쓰이나요??