深圳ApacheHadoop管理員

全套服務(wù)（在線、面授均享）

1、面授+遠(yuǎn)程+錄播

2、24小時(shí)遠(yuǎn)程真機(jī)練習(xí)

3、行業(yè)專家講師親臨授課

4、每班一名班主任督學(xué)

5、一年半免費(fèi)重聽(tīng)學(xué)習(xí)

ClouderaApacheHadoop培訓(xùn)及認(rèn)證幫助您進(jìn)階大數(shù)據(jù)知識(shí)及技能。

Cloudera大學(xué)為期4天的Hadoop管理員培訓(xùn)將幫助學(xué)員綜合理解并全面掌握通過(guò)ClouderaManager對(duì)Hadoop集群的運(yùn)維管理，包括：安裝，配置、負(fù)載平衡及性能調(diào)優(yōu)等。通過(guò)該培訓(xùn)，Hadoop系統(tǒng)管理員將能準(zhǔn)備好應(yīng)對(duì)實(shí)際運(yùn)維中遇到的挑戰(zhàn)。

一．培訓(xùn)內(nèi)容

● 通過(guò)講師在課堂上的講解，以及實(shí)操練習(xí)，學(xué)員將學(xué)習(xí)以下內(nèi)容：

● ClouderaManager管理集群的特性，諸如日志匯總、配置管理、資源管理、報(bào)告、報(bào)警及服務(wù)管理等。

● YARN、MapReduce、Spark及HDFS的工作原理。

● 如何為你的集群選取合適的硬件和架構(gòu)。

● 如何將Hadoop集群和企業(yè)已有的系統(tǒng)進(jìn)行無(wú)縫集成。

● 如何使用Flume進(jìn)行實(shí)時(shí)數(shù)據(jù)采集以及如何使用Sqoop在RDBMS和Hadoop集群之間進(jìn)行數(shù)據(jù)導(dǎo)入導(dǎo)出。

● 如何配置公平調(diào)度器為Hadoop上的多用戶提供服務(wù)級(jí)別保障。

● 產(chǎn)品環(huán)境中Hadoop集群的運(yùn)維實(shí)踐。

● Hadoop集群排錯(cuò)、診斷問(wèn)題和性能調(diào)優(yōu)。

二．培訓(xùn)對(duì)象及學(xué)員基礎(chǔ)

面向系統(tǒng)管理員和IT經(jīng)理，需具備Linux經(jīng)驗(yàn)，無(wú)需ApacheHadoop基礎(chǔ)。

三．認(rèn)證

結(jié)束本課程培訓(xùn)后，我們建議學(xué)員準(zhǔn)備并注冊(cè)參加CCAHadoop管理員考試。通過(guò)并獲取該證書(shū)是向公司及客戶證明個(gè)人在Hadoop領(lǐng)域的技術(shù)和專長(zhǎng)的有力依據(jù)。

四．課程大綱

1. ApacheHadoop介紹

● Hadoop的創(chuàng)建動(dòng)機(jī)

● 基本概念

● Hadoop核心部件

2. Hadoop集群安裝

● 集群管理方案

● ClouderaManager特性

● Clouderamanager安裝

● Hadoop(CDH)安裝

3. Hadoop分布式文件系統(tǒng)(HDFS)

● HDFS特性

● 讀寫(xiě)文件

● NameNode內(nèi)存考慮

● HDFS安全簡(jiǎn)介

● HDFSWebUI

● 使用HDFSShell

4. YARN上的MapReduce和Spark

● 計(jì)算平臺(tái)在Hadoop里扮演的角色

● YARN：集群資源管理器

● MapReduce概念

● ApacheSpark概念

● Yarn上的計(jì)算平臺(tái)

● 通過(guò)WebUI及Shell觀察YARN應(yīng)用

● YARN應(yīng)用運(yùn)行日志

5. Hadoop配置及服務(wù)運(yùn)行日志

● ClouderaManager配置管理機(jī)制

● 定位配置參數(shù)及進(jìn)行配置變更

● 管理角色實(shí)例及添加服務(wù)

● 配置HDFS服務(wù)

● 配置Hadoop服務(wù)運(yùn)行日志

● 配置YARN服務(wù)

6. HDFS數(shù)據(jù)導(dǎo)入

● 使用Flume從外部數(shù)據(jù)源實(shí)時(shí)

● 導(dǎo)入數(shù)據(jù)

● 使用Sqoop從關(guān)系數(shù)據(jù)庫(kù)導(dǎo)入數(shù)據(jù)

● REST接口

● 導(dǎo)入數(shù)據(jù)的實(shí)踐

7. Hadoop集群規(guī)劃

● 規(guī)劃考慮因素

● 硬件選擇

● 虛擬化選項(xiàng)＊

● 網(wǎng)絡(luò)因素

● 節(jié)點(diǎn)配置

8. Hive，Impala及Pig安裝及配置

● Hive

● Impala

● Pig

9. Hadoop客戶端及Hue

● 什么是Hadoop客戶端

● 安裝及配置Hadoop客戶端

● 安裝及配置Hue

● 使用Hue進(jìn)行身份驗(yàn)證及授權(quán)

10. 集群高級(jí)配置

● 高級(jí)配置參數(shù)

● Hadoop端口配置

● HDFS機(jī)柜感知配置

● HDFS高可靠性配置

11. Hadoop安全

●Hadoop安全的重要性

● Hadoop安全性概念

● Kerberos簡(jiǎn)介

● 使用Kerberos保護(hù)Hadoop集群

● 其他安全概念

12. 資源管理

● 使用靜態(tài)服務(wù)池配置Linuxcgroup

● 公平調(diào)度器

● 配置動(dòng)態(tài)資源池

● YARN內(nèi)存及CPU設(shè)置

● Impala查詢調(diào)度

13. 集群維護(hù)

● 檢查HDFS狀態(tài)

● 集群間復(fù)制數(shù)據(jù)

● 添加/移除集群節(jié)點(diǎn)

● 集群數(shù)據(jù)負(fù)載平衡

● 目錄快照

● 集群升級(jí)

14. 集群監(jiān)控及排錯(cuò)

● ClouderaManager監(jiān)控特性

● 監(jiān)控Hadoop集群

● Hadoop集群排錯(cuò)

● 常見(jiàn)配置不當(dāng)問(wèn)題

15. 結(jié)論

Cloudera大數(shù)據(jù)課程體系