[태그:] 스파크

I. Polyglot 환경 빅데이터 분석, 람다 아키텍처 가. 람다 아키텍처의 개념 데이터 대상 분석 기능 수행 위해 배치, 스피드, 서빙 레이어로 구성된 데이터 분석 아키텍처 나. 람다 아키텍처의 특징 범용성, 확장성, 결함허용성 전송 지연최소화, 분석 결과 일관성, 성능, 확장의 균형, 정확성 다. 람다 아키텍처의 구성도 저장된 데이터를 일괄 처리하는 배치 레이어와 실시간 유입 데이터 처리용

I. 대용량 실시간 로그 처리, 카프카 가. 카프카의 개념 대용량 실시간 처리 위한 확장성과 고가용성을 가지는 publish-subscribe 구조의 오픈소스 분산 메시징 시스템 나. 카프카의 특징 비휘발성 메시지 – 디스크 구조로 설계, 별도의 설정하지 않아도 데이터 영속성 보장 TCP 기반 프로토콜 – TCP 기반의 프로토콜을 사용하여 프로토콜에 의한 오버헤드 감소   II. 카프카의 아키텍처 및 구성 요소 가.