2018년 12월 14일
하둡 2.0 (Hadoop 2.0)
1. YARN 기반 빅데이터 관리, Hadoop 2.0
| 개념 | 하둡 1.0 대비 개선점 |
|---|---|
| 기존 Hadoop 1.0 시스템의 네임 노드 SPOF 취약점을 보완한 YARN기반 빅데이터 분산처리 시스템 | – Job Tracker 분리 – YARN 기반 분산처리 확대 – Name Node 고가용성 지원 |
2. 하둡 2.0 구성도 및 구성요소
(1) 하둡 2.0 구성도/동작방식
 |
- 클러스터 전반 자원 관리 담당 Resource Manager와 노드 관리 및 모니터링 Node Manager로 구성
(2) 하둡 2.0 구성요소
| 구분 | 구성요소 | 설명 |
|---|---|---|
| Resource Manager | Scheduler | – Node Manager 자원 관리 |
| App Manager | – App Master 실행, 상태 관리 | |
| Resource Tracker | – 관리 설정 정보 저장 | |
| Node Manager | App Master | – 프로그램 마스터 역할 |
| Container | – CPU, Disk, Memory 자원 |
- 두 개 이상의 Name Node를 Running 상태(Active/Passive)로 운영 가능한 하둡 3.0 릴리즈
3. 하둡 2.0의 동작 절차도 및 동작 방식
| 구분 | 설명 |
|---|---|
| 절차도 |  |
| ① | – 클라이언트는 필요 데이터 포함 응용프로그램 제출 |
| ② | – Resource Manager는 App Master 실행 |
| ③ | – App Master가 Resource Manager에 등록 – 클라이언트가 Resource Manager와 통신 |
| ④ | – App Master는 Container에 적절한 자원요청 |
| ⑤ | – Container 할당 시 App Master는 Node Manager에 실행 스펙 제공 및 Container 실행 |
| ⑥ | – 응용 프로그램 코드는 Container에서 실행 – 진행률, 상태 등 정보는 App Master에 제공 |
| ⑦ | – 클라이언트는 App Master와 상태 정보 통신 |
| ⑧ | – 프로그램 완료 시 Resource Manager의 등록 해제 – Container를 다른 용도로 가용하도록 종료 |
- Application Master는 프레임워크 별 Job 실행 위해 다양한 어플리케이션 실행 및 확장 가능
[참고] 하둡 1.0과 하둡 2.0 비교
About The Author
도리
2 Comments
개인 공부차 블로그 내용 퍼가도 될까요?
네~ 상업적 이용이 아니라면 퍼가셔도 되고, 퍼가실 때 출처를 포함해주시면 감사드리겠습니다.^^