上海大數(shù)據(jù)管理專家

大數(shù)據(jù)管理專家

崗位職責(zé)

負(fù)責(zé)大數(shù)據(jù)集群系統(tǒng)運(yùn)維，包含系統(tǒng)監(jiān)控、應(yīng)急響應(yīng)、容量規(guī)劃等，研究大數(shù)據(jù)業(yè)務(wù)相關(guān)運(yùn)維技術(shù)，持續(xù)優(yōu)化集群服務(wù)架構(gòu)，探索新的大數(shù)據(jù)運(yùn)維技術(shù)及發(fā)展方向；

設(shè)計(jì)和指導(dǎo)基于Hadoop的MapReduce、Hive、HBase等應(yīng)用開發(fā)；

1、負(fù)責(zé)公司核心集群的運(yùn)維工作,保證其高可用和穩(wěn)定性。

2、負(fù)責(zé)集群容量規(guī)劃、擴(kuò)容及集群性能優(yōu)化。

3、深入研究大數(shù)據(jù)業(yè)務(wù)相關(guān)運(yùn)維技術(shù)，持續(xù)優(yōu)化集群服務(wù)架構(gòu)，探索新的Hadoop運(yùn)維技術(shù)及發(fā)展方向。

4、設(shè)計(jì)實(shí)現(xiàn)分布式集群的運(yùn)維、監(jiān)控和管理平臺(tái)。

崗位階梯

系統(tǒng)維護(hù)工程師、運(yùn)維工程師、數(shù)據(jù)庫(kù)管理員、技術(shù)支持 

大數(shù)據(jù)研發(fā)工程師、大數(shù)據(jù)管理工程師、大數(shù)據(jù)架構(gòu)師

運(yùn)維總監(jiān)、IT經(jīng)理、大數(shù)據(jù)研發(fā)經(jīng)理、大數(shù)據(jù)項(xiàng)目經(jīng)理

課程介紹

  目前Hadoop在很多企業(yè)應(yīng)用越來(lái)越廣泛，Hadoop人才也很稀缺和搶手，待遇也水漲船高。本系列課講解目前主流的Hadoop版本Cloudera Hadoop 5（這里采用cd**.1），該版本相比0.**.x，性能和穩(wěn)定性上提高很多。CDH5環(huán)境搭建相比舊版本也復(fù)雜很多，但可以用Cloudera-Manager對(duì)集群進(jìn)行管理和配置。CDH5默認(rèn)集成了常用的所有組件如Hive、Sqoop、Hbase、Hue、Pig、Flume、Spark、Zookeeper等，從而形成一功能強(qiáng)大的分布式平臺(tái)。

課程設(shè)置

課程模塊主要內(nèi)容

Java核心課 

Java 入門基礎(chǔ)、Java 程序設(shè)計(jì)+高級(jí)工具包開發(fā)、SCJP/OCJP

Oracle認(rèn)證Java程序設(shè)計(jì)工程師

RHCE 

RHCE是Red Hat推出的Linux認(rèn)證，主要考核技術(shù)人員對(duì)Linux內(nèi)核系統(tǒng)的管理能力,能夠具備安裝、配置一個(gè)全新的Linux系統(tǒng)，并將其對(duì)接企業(yè)級(jí)網(wǎng)絡(luò)及數(shù)據(jù)庫(kù)的能力。

OCP 

OCP認(rèn)證專家級(jí)技能和技術(shù)知識(shí)考試, 通過(guò)這個(gè)考試, 說(shuō)明具備管理大型數(shù)據(jù)庫(kù)的能力, 或者能夠開發(fā)可以部署到整個(gè)企業(yè)的強(qiáng)大應(yīng)用，并進(jìn)行跨平臺(tái)ORACLE實(shí)戰(zhàn)部署。

MYSQL 

本節(jié)主要是認(rèn)識(shí)數(shù)據(jù)庫(kù)環(huán)境，了解數(shù)據(jù)庫(kù)的操作步驟，掌握一些數(shù)據(jù)庫(kù)連接的方法、創(chuàng)建和設(shè)置數(shù)據(jù)庫(kù)等。

CISCO data center 

1. 互聯(lián)網(wǎng)線纜、設(shè)備上架、設(shè)備系統(tǒng)更新、線纜選用等基礎(chǔ)布線方法。

2. 互聯(lián)網(wǎng)維護(hù)時(shí)的故障診斷和臨時(shí)解決方案流程解析。

HADOOP融合微軟構(gòu)建和運(yùn)營(yíng)公共云的豐富經(jīng)驗(yàn)，Windows Server 2012 作為云計(jì)算時(shí)代的新一代的IT 平臺(tái)，為企業(yè)和托管服務(wù)提供商提供了可擴(kuò)展的、動(dòng)態(tài)的、多租戶感知的服務(wù)器和云基礎(chǔ)結(jié)構(gòu)，實(shí)現(xiàn)了安全的跨地域連接，并使得IT 系統(tǒng)和人員能夠更快、更有效地響應(yīng)業(yè)務(wù)需求。

NO**QL 

NoSQL，泛指非關(guān)系型的數(shù)據(jù)庫(kù)。隨著互聯(lián)網(wǎng)we**.0網(wǎng)站的興起，傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)在應(yīng)付we**.0網(wǎng)站，特別是超大規(guī)模和高并發(fā)的SNS類型的we**.0純動(dòng)態(tài)網(wǎng)站已經(jīng)顯得力不從心。