[태그:] Bigdata

I. 비정형 데이터 저장 기반, 오브젝트 스토리지 가. 오브젝트 스토리지의 개념 데이터에 식별자를 부여하여 컨테이너에 저장, 필요 시 식별자로 호출하여 비정형 데이터 처리에 우수한 저장장치 나. 오브젝트 스토리지의 특징 메타데이터 – 식별자 기반 오브젝트 단위 서비스 중복 최소화 – 단일 오브젝트를 여러 사용자가 공유 컨텐츠 수명 – 컨텐츠 수명(보유 기간) 주기 지정 가능   II.

I. Polyglot 환경 빅데이터 분석, 람다 아키텍처 가. 람다 아키텍처의 개념 데이터 대상 분석 기능 수행 위해 배치, 스피드, 서빙 레이어로 구성된 데이터 분석 아키텍처 나. 람다 아키텍처의 특징 범용성, 확장성, 결함허용성 전송 지연최소화, 분석 결과 일관성, 성능, 확장의 균형, 정확성 다. 람다 아키텍처의 구성도 저장된 데이터를 일괄 처리하는 배치 레이어와 실시간 유입 데이터 처리용

I. 범용 분산 플랫폼, 스파크 가. 스파크의 개념 디스크 I/O를 효율화하고 데이터 분석 작업에 용이한 인메모리 컴퓨팅 기반 데이터 분산처리 시스템 나. 스파크의 특징 HDFS 사용 – 하둡의 파일시스템 기반 동작 직관적 이해 – 스칼라 기반 최소화 코드로 작성 RDD – RDD 단위로 데이터 연산을 수행   II. 스파크의 구조 및 구성요소 가. 스파크의 구조