하둡 2.0 (Hadoop 2.0)

I. YARN 기반 빅데이터 관리, Hadoop 2.0

개념하둡 1.0 대비 개선점
기존 Hadoop 1.0 시스템의 네임 노드 SPOF 취약점을 보완한 YARN기반 빅데이터 분산처리 시스템– Job Tracker 분리
– YARN 기반 분산처리 확대
– Name Node 고가용성 지원

 

II. 하둡 2.0 구성도 및 구성요소

가. 하둡 2.0 구성도/동작방식

– 클러스터 전반 자원 관리 담당 Resource Manager와 노드 관리 및 모니터링 Node Manager로 구성

나. 하둡 2.0 구성요소

구분구성요소설명
Resource
Manager
Scheduler– Node Manager 자원 관리
App Manager– App Master 실행, 상태 관리
Resource Tracker– 관리 설정 정보 저장
Node
Manager
App Master– 프로그램 마스터 역할
Container– CPU, Disk, Memory 자원

– 최근 네임 노드가 Active-Active 방식의 클러스터 다운타임 최소화 가능한 하둡 0 릴리즈

 

III. 하둡 2.0의 동작 절차도 및 동작 방식

구분설명
절차도
– 클라이언트는 필요 데이터 포함 응용프로그램 제출
– Resource Manager는 App Master 실행
– App Master가 Resource Manager에 등록
– 클라이언트가 Resource Manager와 통신
– App Master는 Container에 적절한 자원요청
– Container 할당 시 App Master는 Node Manager에 실행 스펙 제공 및 Container 실행
– 응용 프로그램 코드는 Container에서 실행
– 진행률, 상태 등 정보는 App Master에 제공
– 클라이언트는 App Master와 상태 정보 통신
– 프로그램 완료 시 Resource Manager의 등록 해제
– Container를 다른 용도로 가용하도록 종료

– Application Master는 프레임워크 별 Job 실행 위해 다양한 어플리케이션 실행 및 확장 가능

 
[참고] 하둡 1.0과 하둡 2.0 비교

2 Comments

콘텐츠 사용 시 출처 표기 부탁 드리고, 댓글은 큰 힘이 됩니다^^