I. 데이터 일관성 보장의 이해, 함수적 종속성 개념도 개념 – 두 튜플 T1, T2에 대하여, T1[x]=T2[x]이면, T1[y]=T2[y] 데이터 속성의 의미와 속성 간 상호 관계로부터 발생하는 제약조건(Constraints)의 일종, FD – FD(Functional Dependency) II. 함수적 종속성의 유형 유형 종속성 사례 설명 정규화 완전/부분 함수 종속 [학번] → 이름: 부분 [학과,과목]→성적:완전 – 부분함수 종속 제거 2차 정규화 적용
I. 대용량 실시간 로그 처리, 카프카 가. 카프카의 개념 대용량 실시간 처리 위한 확장성과 고가용성을 가지는 publish-subscribe 구조의 오픈소스 분산 메시징 시스템 나. 카프카의 특징 비휘발성 메시지 – 디스크 구조로 설계, 별도의 설정하지 않아도 데이터 영속성 보장 TCP 기반 프로토콜 – TCP 기반의 프로토콜을 사용하여 프로토콜에 의한 오버헤드 감소 II. 카프카의 아키텍처 및 구성 요소 가.
I. 빅데이터 실시간 처리, 스톰 가. 스톰의 개념 데이터 실시간 처리를 위해 개발된 범용 분산 환경 기반 실시간 데이터 처리시스템 나. 스톰의 특징 실시간 처리 – 인메모리기반 실시간 스트리밍 처리 방식 스트리밍 – IoT 등 지속적 발생 데이터 처리 솔루션 II. 스톰의 아키텍처 및 구성 요소 가. 스톰의 아키텍처 – 스톰의 클러스터는 마스터 노드(Nimbus)와
I. 범용 분산 플랫폼, 스파크 가. 스파크의 개념 디스크 I/O를 효율화하고 데이터 분석 작업에 용이한 인메모리 컴퓨팅 기반 데이터 분산처리 시스템 나. 스파크의 특징 HDFS 사용 – 하둡의 파일시스템 기반 동작 직관적 이해 – 스칼라 기반 최소화 코드로 작성 RDD – RDD 단위로 데이터 연산을 수행 II. 스파크의 구조 및 구성요소 가. 스파크의 구조
I. YARN 기반 빅데이터 관리, Hadoop 2.0 개념 하둡 1.0 대비 개선점 기존 Hadoop 1.0 시스템의 네임 노드 SPOF 취약점을 보완한 YARN기반 빅데이터 분산처리 시스템 – Job Tracker 분리 – YARN 기반 분산처리 확대 – Name Node 고가용성 지원 II. 하둡 2.0 구성도 및 구성요소 가. 하둡 2.0 구성도/동작방식 – 클러스터 전반 자원 관리
I. 데이터 무결성, 트랜잭션 직렬화, 다중 버전 동시성 제어 가. 다중 버전 동시성 제어(MVCC)의 개념 트랜잭션의 데이터 접근 시, 그 트랜잭션의 타임스탬프와 접근 데이터의 여러 버전 타임스탬프 비교하여, 현재 실행 중인 스케줄의 직렬 가능성이 보장되는 버전 선택 기법 나. 다중 버전 동시성 제어의 절차 개요 절차 개요 갱신 시 기존 데이터 값은 DB Rollback Segment에
I. 데이터베이스 무결성 확보 방안, 동시성 제어의 개요 가. 동시성 제어(Concurrency Control)의 개념 다중 사용자 환경을 지원하는 데이터베이스 시스템에서 여러 트랜잭션들이 성공적으로 동시에 실행될 수 있도록 지원하는 기능 다중 사용자 환경을 지원하는 데이터베이스에서 필수적으로 지원해야하는 기능으로 병행제어라고 하며 트랜잭션의 직렬화 수행 보장 나. 동시성 제어의 개념도 다. 동시성 제어의 목적 트랜잭션의 직렬성 보장, 동시 수행
I. 릴레이션 무결성 규칙의 개요 릴레이션을 조작함에 있어 삽입, 삭제, 갱신 등 연산 수행 전과 후에 대한 의미적 관계(Semantic Relation)를 정의 II. 릴레이션 무결성 제약과 사례 가. 릴레이션 무결성 제약 구분 제약 유형 설명 상태 변환 상태 제약 데이터베이스가 일관성 있는 상태 되기 위한 조건 과도 제약 한 상태에서 다른 상태로 변환 과정 적용
I. 데이터 무결성의 개요 가. 데이터 무결성의 정의 개체 간 적용되는 규칙을 위반하지 않도록 제약(Constraints)하여 데이터의 일관성, 정확성 유지 방법 나. 데이터 무결성의 중요성 중요성 설명 합리적 의사결정 – 현실을 정확히 반영 데이터가 신속, 명확 의사결정 데이터 중복 감소 – 중복 데이터 증가에 따른 데이터 불일치 현상 데이터 신뢰성 – 비즈니스 룰에 적합한 데이터 생산,
I. 대규모 테이블 분할 관리 기법, 테이블 파티셔닝 개념 목적 큰 테이블이나 인덱스를 작은 단위로 분할 관리하기 위해 SQL 문이나 APP 수정없이 물리적 분할 관리 기법 – 가용성 보장 – 관리 용이성 – 성능 향상 II. 테이블 파티셔닝의 개념도 및 유형 가. 테이블 파티셔닝의 개념도 – 테이블을 여러 파티션으로 분할, 키 값 기반 파티션