스톰 (Apache Storm)

I. 빅데이터 실시간 처리, 스톰

가. 스톰의 개념

데이터 실시간 처리를 위해 개발된 범용 분산 환경 기반 실시간 데이터 처리시스템

나. 스톰의 특징

실시간 처리– 인메모리기반 실시간 스트리밍 처리 방식
스트리밍– IoT 등 지속적 발생 데이터 처리 솔루션

 

II. 스톰의 아키텍처 및 구성 요소

가. 스톰의 아키텍처

– 스톰의 클러스터는 마스터 노드(Nimbus)와 워커 노드(Supervis-or)로 구성, Zookeeper

나. 스톰의 구성 요소

구성 요소설명
Nimbus– 마스터 노드는 작업 할당과 실행 확인 등 관리 역할 수행
Supervisor– 워커 프로세스의 시작/종료, 실행 상태 모니터링 수행
Zookeeper– 분산 노드 관리 수행, 시스템 안정성 유지하도록 관리 역할

– Nimbus와 Supervisor는 Zookeeper를 통해 작업 상황 및 클러스터 상태 정보 제공

 

III. 스파크와 스톰의 비교

항목스파크스톰
데이터 처리– 일괄 처리 방식– 실시간 스트리밍 방식
업데이트– 파일 or 테이블– 스트림 (튜플)
컴퓨팅 환경– 인메모리 기반– 인메모리 기반
반복 작업– 강력한 성능– 일반적 수준
프로그램언어– Scala– Clojure
사용 환경– 반복 & 많은 연산– 응답시간↓, 다양질의

 

콘텐츠 사용 시 출처 표기 부탁 드리고, 궁금한 점이나 의견은 댓글 남겨주세요^^