1. ODS (Operational Data Store)의 개념 및 특징
| 개념 | 데이터에 추가 작업 위해 다양한 데이터 원천(Source)들로부터의 데이터를 추출·통합한 데이터베이스 | |
|---|---|---|
| 특징 | 데이터 통합/보정 | – 데이터 클린징, 중복 제거, 비즈니스 규칙에 따른 무결성 점검 |
| 하위 수준 데이터 저장 | – 실시간(Real-time), 실시간 근접(Near Real-time) 트랜잭션이나 원자성을 지닌 하위 수준 데이터 저장 | |
- ODS 내 데이터는 향후 비즈니스 지원을 위해 타 정보 시스템으로 이관되거나, 다양한 보고서 생성을 위해 데이터 웨어하우스로 이관
2. ODS 구성 절차
(1) ODS 구성 절차도
(2) ODS 구성 단계별 세부 절차
| # | 단계 | 세부 절차 |
|---|---|---|
| ① | INTERFACE 단계 | – 다양한 데이터 원천(Source)으로부터 데이터 획득 – OLEDB, ODBC, FTP 기반 RDB, XML 문서 등 획득 |
| ② | STAGING 단계 | – 트랜잭션 데이터 추출, 스테이징 테이블에 저장 – 적재 타임테이블, 체크섬 등 통제 정보 추가 |
| ③ | PROFILING 단계 | – 데이터 프로파일링 → 통계 처리 → 품질 보고서 – 범위·도메인·유일성 확보 등의 규칙 적용 |
| ④ | CLEANSING 단계 | – 이전 단계에서 식별된 오류 데이터를 수정 – 클린징 스토어드 프로시저 → 클린징 ETL 도구 실행 |
| ⑤ | INTEGRATION 단계 | – 수정된 데이터를 단일 통합 테이블에 적재 – 통합 스토어드 프로시저 → 통합 ETL 도구 실행 |
| ⑥ | EXPORT 단계 | – Export ETL 기능을 통해 Export 테이블 생성 – Data Mart, Data Warehouse에 적재, OLAP 활용 |
- 정제 및 통합된 데이터는 분석 및 보고서 생성 위해 데이터 마트, 데이터 웨어하우스에 적재
- 데이터 웨어하우스 테이블들은 일반적으로 스타 스키마(Star Schema) 또는 스노우 플래이크 스키마(Snow Flake Schema)로 모델링
[참고]
- 한국데이터산업진흥원(Kdata), 데이터 분석 전문가 가이드, 2021.3