I. 다차원 데이터 분석 자료 제공, DW 가. DW(Data Warehouse)의 개념 관계형 DB 기반 대단위 데이터를 분석하여 의사결정에 도움을 주는 저장소 및 시스템 나. DW의 특징 특징 설명 주제 중심적 – 분석하려는 주제 중심 시스템 구조화 – 고객, 거래처, 상품 등 주제 중심 구현 비휘발성 – DW 기록 후 변경되지 않으며 분석 일관성 – 대규모
I. 데이터 계보 관리, 데이터 리니지 가. 데이터 리니지의 개념 데이터의 흐름을 시각화하고 계보로 구현한 메타데이터 기반 데이터 계보 관리 솔루션 나. 데이터 리니지 등장 배경 기업 업무의 복잡성, 시스템 간 연계 증가 → 데이터 계보 파악 니즈 증가 사례) DW기반 기업에서 BI 데이터 정합성 문제 다. 데이터 리니지의 특징 데이터 생명주기 – 생성, 변경,
I. 데이터 사용성 개선, 데이터 품질 관리 가. 데이터 품질 관리(DQM)의 개념 데이터 활용 목적을 달성하기 위해 데이터 품질 진단 및 획득, 지속 유지, 개선시키는 활동 나. 데이터 품질 관리의 필요성 II. 데이터 품질 용어 및 품질 관리 프레임워크 III. 기본 데이터 체계 품질 관리 구조 가. 데이터 품질 관리 구조 나. 데이터
I. 개방형 URI기반 데이터, LOD 가. LOD (Linked Open Data)의 개념 자유롭게 사용이 가능하며, 저작권 표시 및 변경 허락 조건하에 재배포 가능한 링크 기반 개방형 데이터 나. LOD의 특징 특징 설명 사용성 및 접근 – 언제든지 전체 데이터 이용/다운로드 가능 – 편리하고 수정 가능한 형태로 제공 재사용 재배포 – 사용 및 재사용, 저작권 표시와 변경 허락 조건하에
I. 데이터 거래 플랫폼, 데이터 거래소 가. 데이터 거래소의 개념 확보한 데이터를 수집/가공하여 부가가치를 높여 필요한 소비자에게 공급하는 대규모 플랫폼 나. 데이터 거래소 등장배경 배경 설명 표준 품질 보증 다양한 포맷의 데이터 표준화 필요 데이터 통합 분석 산재된 데이터의 통합 분석, 활용 필요 효율적 데이터 유통 빅데이터 산업 활성화 유통 창구 역할 유통 데이터 규격
I. 빅데이터 품질관리의 특징 데이터 활용 패러다임 → 빅데이터 특징 – IT는 단순도구 아닌 가치 창출의 핵심 도구 – 데이터의 팽창 및 대량 비정형 분석 처리 기술 발전 빅 데 이 터 등 장 – 기계, 프로그램에 의해 수집되는 대량의 데이터 – 미세하고 정밀한 데이터 – 데이터 소유자 불분명 데이터는 수동적 관리 대상에서 새로운 가치
I. Polyglot 환경 빅데이터 분석, 람다 아키텍처 가. 람다 아키텍처의 개념 데이터 대상 분석 기능 수행 위해 배치, 스피드, 서빙 레이어로 구성된 데이터 분석 아키텍처 나. 람다 아키텍처의 특징 범용성, 확장성, 결함허용성 전송 지연최소화, 분석 결과 일관성, 성능, 확장의 균형, 정확성 다. 람다 아키텍처의 구성도 저장된 데이터를 일괄 처리하는 배치 레이어와 실시간 유입 데이터 처리용
I. 개인화 서비스를 위한 추천시스템의 개요 가. 추천시스템의 정의 개인 맞춤형 서비스 제공 위해 구매패턴 등 과거 데이터를 분석하여 상품을 추천하는 시스템 나. 추천시스템의 필요성 적중률을 높이기 위해 데이터에 대한 메타 정보 관리와 분석 알고리즘이 중요, 추천시스템 분석 알고리즘 중 가장 대표적 알고리즘으로 협업 필터링 II. 협업 필터링의 개념 및 유형 가. 협업 필터링의
I. 분류 모델 생성 알고리즘, 배깅과 부스팅 배깅 부스팅 데이터에서 여러 bootstrap 자료 생성, 모델링 후 결합하여 최종 예측 모형을 만드는 알고리즘 오분류 개체들에 가중치를 적용하여 새로운 분류 규칙 생성 반복 기반 최종 예측 모형 생성 II. 배깅과 부스팅 알고리즘 수행 절차 가. 배깅 알고리즘 수행 절차 절차도 절차 ① Row data에서 bootstrap 데이터
I. 정적 인덱싱과 동적 인덱싱 개념 가. 정적 인덱싱의 개념도 데이터 삽입, 삭제에 따라 인덱스의 내용만 변경되고 구조는 불변하는 하드웨어 기반 인덱싱 기법 나. 동적 인덱싱의 개념 데이터 파일과 인덱스를 블록으로 구성하여 레코드 삽입을 감안하여 빈 공간을 미리 준비해 두는 블록 기반 인덱싱 기법 II. 정적 인덱싱과 동적 인덱싱의 비교 항목 정적 인덱싱 동적