하둡 2.0 (Hadoop 2.0)

I. YARN 기반 빅데이터 관리, Hadoop 2.0

개념	하둡 1.0 대비 개선점
기존 Hadoop 1.0 시스템의 네임 노드 SPOF 취약점을 보완한 YARN기반 빅데이터 분산처리 시스템	– Job Tracker 분리 – YARN 기반 분산처리 확대 – Name Node 고가용성 지원

 

II. 하둡 2.0 구성도 및 구성요소

가. 하둡 2.0 구성도/동작방식

– 클러스터 전반 자원 관리 담당 Resource Manager와 노드 관리 및 모니터링 Node Manager로 구성

나. 하둡 2.0 구성요소

구분	구성요소	설명
Resource Manager	Scheduler	– Node Manager 자원 관리
	App Manager	– App Master 실행, 상태 관리
	Resource Tracker	– 관리 설정 정보 저장
Node Manager	App Master	– 프로그램 마스터 역할
	Container	– CPU, Disk, Memory 자원

– 최근 네임 노드가 Active-Active 방식의 클러스터 다운타임 최소화 가능한 하둡 0 릴리즈

 

III. 하둡 2.0의 동작 절차도 및 동작 방식

구분	설명
절차도
①	– 클라이언트는 필요 데이터 포함 응용프로그램 제출
②	– Resource Manager는 App Master 실행
③	– App Master가 Resource Manager에 등록 – 클라이언트가 Resource Manager와 통신
④	– App Master는 Container에 적절한 자원요청
⑤	– Container 할당 시 App Master는 Node Manager에 실행 스펙 제공 및 Container 실행
⑥	– 응용 프로그램 코드는 Container에서 실행 – 진행률, 상태 등 정보는 App Master에 제공
⑦	– 클라이언트는 App Master와 상태 정보 통신
⑧	– 프로그램 완료 시 Resource Manager의 등록 해제 – Container를 다른 용도로 가용하도록 종료

– Application Master는 프레임워크 별 Job 실행 위해 다양한 어플리케이션 실행 및 확장 가능

 
[참고] 하둡 1.0과 하둡 2.0 비교