我要預(yù)訂

咨詢電話：027-5111 9925 , 027-5111 9926手機(jī)：18971071887郵箱：Service@mingketang.com

課程背景

Hadoop生態(tài)系統(tǒng)是大數(shù)據(jù)技術(shù)事實(shí)標(biāo)準(zhǔn)，是大數(shù)據(jù)思想、理念、機(jī)制的具體實(shí)現(xiàn)，是整個(gè)大數(shù)據(jù)技術(shù)中公認(rèn)的核心框架和具有極強(qiáng)的使用價(jià)值與研究價(jià)值。Hadoop 系統(tǒng)是一款開源軟件，能夠處理海量的各種結(jié)構(gòu)（包括結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化）的數(shù)據(jù)。

Yarn是基于Hadoop的分布式集群資源管理框架；隨著Hadoop集群應(yīng)用的廣泛，以及集群的規(guī)模越來越大，人們發(fā)現(xiàn)Hadoop MRv1存在諸多問題，因此Hadoop MRv2誕生，即現(xiàn)在的YARN，解決了4000節(jié)點(diǎn)的上限問題。

基于 Hadoop 的解決方案能夠幫助企業(yè)應(yīng)對(duì)多個(gè)大數(shù)據(jù)挑戰(zhàn)，包括：

1、分析海量（PB 級(jí)或者更多）的數(shù)據(jù)

Hadoop 能夠分析所有數(shù)據(jù)，使得分析更準(zhǔn)確，預(yù)測更精確；

2、從多個(gè)數(shù)據(jù)類型的組合中獲得新的洞察力

將來自多個(gè)數(shù)據(jù)源的不同類型的數(shù)據(jù)進(jìn)行結(jié)合分析，發(fā)現(xiàn)新的數(shù)據(jù)關(guān)系和洞察力；

3、存儲(chǔ)大量的數(shù)據(jù)

由于它不依賴于高端硬件，且是可擴(kuò)展的，所以使存儲(chǔ)大量數(shù)據(jù)變得經(jīng)濟(jì)有效；

4、數(shù)據(jù)發(fā)現(xiàn)(data discovery)和研究的沙箱

Hadoop 提供了一個(gè)地方，數(shù)據(jù)科學(xué)家可在此發(fā)現(xiàn)新的數(shù)據(jù)關(guān)系和相互依賴性。

工業(yè)和信息化部電信研究院于2014年5月發(fā)布的“大數(shù)據(jù)白皮書”中指出：

“2012 年美國聯(lián)邦政府就在全球率先推出“大數(shù)據(jù)行動(dòng)計(jì)劃（Big data initiative）”，重點(diǎn)在基礎(chǔ)技術(shù)研究和公共部門應(yīng)用上加大投入。在該計(jì)劃支持下，加州大學(xué)伯克利分校開發(fā)了完整的大數(shù)據(jù)開源軟件平臺(tái)“伯克利數(shù)據(jù)分析軟件棧（Berkeley Data Analytics Stack），其中的內(nèi)存計(jì)算軟件Spark的性能比Hadoop 提高近百倍，對(duì)產(chǎn)業(yè)界大數(shù)據(jù)技術(shù)走向產(chǎn)生巨大影響”

----來源：工業(yè)和信息化部電信研究院

Spark是成為替代MapReduce架構(gòu)的大數(shù)據(jù)分析技術(shù)，Spark的大數(shù)據(jù)生態(tài)體系包括流處理、圖技術(shù)、機(jī)器學(xué)習(xí)等各個(gè)方面，并且已經(jīng)成為Apache頂級(jí)項(xiàng)目，可以預(yù)計(jì)的是2014年下半年到2015年在社區(qū)和商業(yè)應(yīng)用上會(huì)有爆發(fā)式的增長。

國內(nèi)外一些大型互聯(lián)網(wǎng)公司已經(jīng)部署了Spark，并且它的高性能已經(jīng)得到實(shí)踐的證明。國外Yahoo已在多個(gè)項(xiàng)目中部署Spark，尤其在信息推薦的項(xiàng)目中得到深入的應(yīng)用；國內(nèi)的淘寶、愛奇異、優(yōu)酷土豆、網(wǎng)易、baidu、騰訊等大型互聯(lián)網(wǎng)企業(yè)已經(jīng)將Spark應(yīng)用于自己的生產(chǎn)系統(tǒng)中。國內(nèi)外的應(yīng)用開始越來越廣泛。Spark正在逐漸走向成熟，并在這個(gè)領(lǐng)域扮演更加重要的角色。

在2014 Spark Summit上，世界20家頂級(jí)公司聲明支持Spark，這些公司包括了最大的四個(gè)Hadoop發(fā)行商Cloudera, Pivotal, MapR, Hortonworks，都提供了對(duì)非常強(qiáng)有力的支持Spark的支持：

1、Hadoop的頭號(hào)發(fā)行商Cloudera，在2014年7月份宣布“Impala’s it for interactive SQL on Hadoop; everything else will move to Spark”；

2、2014年5月24日Pivotal宣布了會(huì)把整個(gè)Spark stack包裝在Pivotal HD Hadoop發(fā)行版里面；這標(biāo)志著四個(gè)Hadoop發(fā)行商Cloudera、Pivotal、MapR、Hortonworks都提供了對(duì)Spark的支持；

3、2014年4月，Mahout表示將不再接受任何形式的以MapReduce形式實(shí)現(xiàn)的算法，機(jī)器學(xué)習(xí)宣布新的算法基于Spark；

4、Cloudera的機(jī)器學(xué)習(xí)框架Oryx的執(zhí)行引擎也將由Hadoop的MapReduce替換成Spark；

SparkML是Hadoop家族中與眾不同的一個(gè)成員，是一個(gè)基于Hadoop的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘的分布式計(jì)算框架。SparkML是一個(gè)跨學(xué)科產(chǎn)品，同時(shí)也是Hadoop家族中最有競爭力、最難掌握、最值得學(xué)習(xí)的一個(gè)項(xiàng)目。SparkML為數(shù)據(jù)分析人員，降低了大數(shù)據(jù)的門檻；為算法工程師，提供基礎(chǔ)的算法庫；為Hadoop開發(fā)人員，提供了數(shù)據(jù)建模的標(biāo)準(zhǔn)；為運(yùn)維人員，打通了和Hadoop連接。

培訓(xùn)目標(biāo)

1、深入理解分布式原理與實(shí)現(xiàn)技術(shù)；

2、分布式文件系統(tǒng)操作能力，以HDFS為例講解；

3、從代碼的角度深入剖析MapReduce執(zhí)行的具體過程；

4、培養(yǎng)學(xué)員具有分布式批處理計(jì)算框架的開發(fā)MapReduce代碼的能力；

5、使學(xué)員掌握MapReduce內(nèi)部運(yùn)行和實(shí)現(xiàn)細(xì)節(jié)并改造MapReduce的能力；

6、使學(xué)員掌握分布式并行計(jì)算引擎的使用能力，如Spark、Impala等；

7、使學(xué)員掌握分布式數(shù)據(jù)庫的使用能力，如HBase、MySQL Cluster、Redis等；

8、具備分布式流計(jì)算的開發(fā)能力，如SparkStreaming、Storm等；

培訓(xùn)對(duì)象

1、對(duì)大數(shù)據(jù)、分布式存儲(chǔ)、分布式計(jì)算等感興趣的朋友；

2、Java、PHP、C等任意一門編程語言的開發(fā)者；

3、大型網(wǎng)站、電商網(wǎng)站等運(yùn)維人員；

4、云計(jì)算、大數(shù)據(jù)從業(yè)者；

5、熟悉Hadoop生態(tài)體系，想了解和學(xué)習(xí)Hadoop與Spark整合在企業(yè)應(yīng)用實(shí)戰(zhàn)案例的朋友；

6、系統(tǒng)架構(gòu)師、系統(tǒng)分析師、高級(jí)程序員、資深開發(fā)人員；

7、牽涉到大數(shù)據(jù)處理的數(shù)據(jù)中心運(yùn)行、規(guī)劃、設(shè)計(jì)負(fù)責(zé)人；

8、政府機(jī)關(guān)，金融保險(xiǎn)、移動(dòng)互聯(lián)網(wǎng)等大數(shù)據(jù)單位的負(fù)責(zé)人；

9、高校、科研院所大數(shù)據(jù)研究人員，涉及到大數(shù)據(jù)與分布式數(shù)據(jù)處理的人員；

10、數(shù)據(jù)倉庫管理人員、建模人員，分析和開發(fā)人員、系統(tǒng)管理人員、數(shù)據(jù)庫管理人員以及對(duì)數(shù)據(jù)倉庫感興趣的其他人員；

以課堂講解、演示、案例分析為主，輔以互動(dòng)研討、現(xiàn)場答疑、學(xué)以致用。

課程內(nèi)容：

第一天

第1個(gè)主題：分布式基礎(chǔ)理論知識(shí)（深入剖析分布式原理與理論，并為分布式學(xué)習(xí)奠定基礎(chǔ)）（60分鐘）

1、大數(shù)據(jù)技術(shù)

2、分布式技術(shù)

3、CAP理

4、BASE思想

5、消息機(jī)制

6、分布式協(xié)調(diào)器

7、心跳機(jī)制

8、日志結(jié)構(gòu)文件系統(tǒng)

9、RWN理論

10、跨操作系統(tǒng)調(diào)度資源

第2個(gè)主題：Hadoop大數(shù)據(jù)分布式平臺(tái)概述（系統(tǒng)性介紹Hadoop大數(shù)據(jù)分布式平臺(tái)）（30分鐘）

1、Hadoop是大數(shù)據(jù)架構(gòu)的事實(shí)標(biāo)準(zhǔn)

2、Hadoop工作原理及架構(gòu)

3、Hadoop生態(tài)體系介紹

4、Hadoop應(yīng)用現(xiàn)狀

5、Hadoop發(fā)展趨勢

6、Hadoop優(yōu)勢

7、實(shí)例分享：雙十一億背后的開源技術(shù)

第3個(gè)主題：Hadoop分布式集群部署與運(yùn)維（動(dòng)手搭建Hadoop集群及運(yùn)維）（30分鐘）

1、SaltStack

2、Maven

3、禁用IPV6

4、SSH無密碼登錄

5、Hadoop HA部署介紹

6、Hadoop集群部署

7、Hadoop集群的監(jiān)控

8、Hadoop集群的運(yùn)維

第4個(gè)主題：分布式文件操作和存儲(chǔ)（深入理解大數(shù)據(jù)分布式文件系統(tǒng)的原理與機(jī)制）（120分鐘）

1、HDFS架構(gòu)剖析

2、NameNode、DataNode、SecondaryNameNode介紹

3、NodeName高可靠性最佳實(shí)踐

4、DataNode中Block劃分的原理和具體存儲(chǔ)方式

5、修改Namenode、DataNode數(shù)據(jù)存儲(chǔ)位置

6、CLI操作HDFS

7、Java操作HDFS

8、RESTful操作HDFS

9、動(dòng)態(tài)修改Hadoop的Replication數(shù)目

10、Hadoop序列化

11、Hadoop流壓縮

12、Hadoop RPC

13、SequenceFile與MapFile

14、Hadoop Avro

第5個(gè)主題：分布式資源調(diào)度框架剖析（深入剖析和使用分布式資源調(diào)度框架的能力）（30分鐘）

1、YARN介紹

2、YARN的設(shè)計(jì)思想

3、YARN的核心組件

4、YARN為核心的生態(tài)系統(tǒng)

5、Yarn的 HA機(jī)制

6、YARN應(yīng)用程序編寫

7、ResourceManager深入剖析

8、ClientRMService與AdminService

9、NodeManager深入剖析

10、Container

第6個(gè)主題：分布式批處理計(jì)算模型MapReduce（深入剖析MapReduce原理及開發(fā)MapReduce程序能力思維方法論）（120分鐘）

1、MapReduce算法剖析

2、MapReduce編程思想

3、MapReduce常用算法

4、MapReduce命令操作

5、wordcount運(yùn)行過程解析

6、MapReduce如何將HDFS文件轉(zhuǎn)化為Key-Value供Map解析與處理

7、Hadoop的調(diào)度器介紹

8、Combiner的使用原則

9、Partitioner的使用最佳實(shí)踐

10、MapReduce排序算法剖析

11、自定義排序算法

12、Hadoop內(nèi)置的分組算法

13、自定義分組算法

14、MapReduce常見場景和算法實(shí)現(xiàn)

15、MapReduce新舊API的區(qū)別以及如何使用API

16、MapReduce程序打包并在命令行運(yùn)行

17、Hadoop Streaming

18、動(dòng)態(tài)增加Hadoop的Slave節(jié)點(diǎn)

19、學(xué)員動(dòng)手編寫MapReduce程序

第7個(gè)主題：分布式內(nèi)存數(shù)據(jù)庫（介紹當(dāng)前主流的分布式內(nèi)存數(shù)據(jù)庫，深入剖析分布式內(nèi)存庫系統(tǒng)的原理與機(jī)制）（30分鐘）

1、業(yè)界主要應(yīng)用的分布式內(nèi)存庫有哪些

2、分布式內(nèi)存庫的應(yīng)用情況

a)大數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用場景（TFS）

b)大數(shù)據(jù)歷史明細(xì)查詢的應(yīng)用場景

c)秒殺高并發(fā)的應(yīng)用場景

d)實(shí)時(shí)高并發(fā)業(yè)務(wù)的應(yīng)用場景

e)在線實(shí)時(shí)統(tǒng)計(jì)分析的應(yīng)用場景

3、應(yīng)用的具體案例

a)分布式內(nèi)存庫在運(yùn)營商話單詳單查詢系統(tǒng)中的應(yīng)用

b)分布式內(nèi)存庫在金融行業(yè)流水業(yè)務(wù)查詢系統(tǒng)中的應(yīng)用

c)分布式內(nèi)存庫在微博自媒體業(yè)務(wù)中應(yīng)用

4、分布式內(nèi)存庫的特性

5、CAP理論

6、BASE思想

7、RWN理論

8、分布式關(guān)系型內(nèi)存庫

a)MySQL Cluster

9、分布式NoSQL列式內(nèi)存庫

a)HBase

b)Cassandra

c)GemFire

10、分布式文檔內(nèi)存庫

a)MongoDB

11、案例：GemFire在實(shí)時(shí)交易系統(tǒng)12306的使用案例分享

第8個(gè)主題：分布式協(xié)調(diào)器（深入剖析分布式協(xié)調(diào)器技術(shù)原理和實(shí)現(xiàn)技術(shù)）（30分鐘）

1、Zookeeper介紹

2、Paxos算法

3、Paxos 算法應(yīng)用場景

4、Zookeeper的數(shù)據(jù)模型

5、Zookeeper的節(jié)點(diǎn)

6、Zookeeper的角色

7、Zookeeper工作原理

8、Leader選舉

9、部署ZooKeeper

10、Shell操作Zookeeper

11、Java程序操作Zookeeper

12、Zookeeper典型使用場景

第二天

第9個(gè)主題：分布式數(shù)據(jù)庫NoSQL技術(shù)（深入剖析分布式NoSQL技術(shù)及原理并實(shí)操）（30分鐘）

1、分布式數(shù)據(jù)庫概述

2、HBase介紹

3、HBase的特點(diǎn)

4、HBase邏輯模型

5、HBase列族與列

6、HBase時(shí)間戳

7、行式數(shù)據(jù)庫 vs 列式數(shù)據(jù)庫

8、HBase物理模型

9、數(shù)據(jù)存儲(chǔ)結(jié)構(gòu):LSM

10、HBase的REST接口

11、HBase安裝部署

12、HBase Shell

13、倒排索引

14、開發(fā)實(shí)踐分享：微博

15、HBase應(yīng)用

16、HBase Filter

17、HBase Coprocessor

第10個(gè)主題：分布式NoSQL數(shù)據(jù)庫編程思維訓(xùn)練（老師帶領(lǐng)學(xué)員用HBase在課上親自動(dòng)手完成微博項(xiàng)目的開發(fā)過程，使學(xué)員掌握分布式NoSQL編程思維方法）（90分鐘）

1、HBase開發(fā)環(huán)境搭建過程介紹

2、倒排索引

3、案例實(shí)戰(zhàn)：微博項(xiàng)目

4、微博業(yè)務(wù)概述

5、微博業(yè)務(wù)功能說明

6、微博邏輯架構(gòu)設(shè)計(jì)

7、微博開發(fā)使用的組件

8、HBase表結(jié)構(gòu)設(shè)計(jì)

9、基于HBase的微博表結(jié)構(gòu)設(shè)計(jì)

10、基于HBase的微博項(xiàng)目代碼開發(fā)

11、基于HBase的微博項(xiàng)目的總結(jié)

12、HBase API剖析

13、HBase研發(fā)案例分享

14、HBase應(yīng)用

15、基于HTable的MapReduce分析

16、HBase Filter

17、HBase Filters

18、SingleColumnValueFilter示例

第11個(gè)主題：分布式內(nèi)存數(shù)據(jù)庫庫Redis（深入剖析Redis的技術(shù)原理）（60分鐘）

1、Redis數(shù)據(jù)庫原理

2、Redis數(shù)據(jù)庫應(yīng)用

3、Redis開發(fā)實(shí)踐（倒排索引）

4、Redis開發(fā)調(diào)試

5、Redis優(yōu)化

6、Redis發(fā)布訂閱機(jī)制剖析

7、Redis集群搭建

8、Codis介紹

9、Codis整體設(shè)計(jì)

10、Codis架構(gòu)

11、Codis組件介紹

第12個(gè)主題：分布式文檔內(nèi)存庫MongoDB（深入剖析分布式內(nèi)存庫MongoDB文檔數(shù)據(jù)庫功能與項(xiàng)目應(yīng)用案例）（60分鐘）

1、什么是MongoDB

2、MongoDB發(fā)展現(xiàn)狀與趨勢

3、介紹MongoDB基礎(chǔ)概念

4、MongoDB架構(gòu)剖析

5、MongoDB文檔與集合

6、MongoDB集群搭建

7、MongoDB狀態(tài)監(jiān)控

8、MongoDB安全認(rèn)證

9、MongoDB備份和恢復(fù)

10、MongoDB Shell操作

11、MongoDB數(shù)據(jù)類型

12、文檔的增加、修改與刪除

13、Java訪問MongoDB文檔的調(diào)試

14、MongoDB查詢介紹

15、MongoDB MapReduce統(tǒng)計(jì)分析

16、MongoDB索引

17、MongoDB性能優(yōu)化

18、MongoDB主從復(fù)制

19、MongoDB Sharding分片

20、MongoDB項(xiàng)目案例：運(yùn)營商話務(wù)數(shù)據(jù)分析案例剖析

第13個(gè)主題：關(guān)系型分布式內(nèi)存庫MySQL Cluster（深入剖析關(guān)系型分布式內(nèi)存庫MySQL Cluster數(shù)據(jù)庫功能與實(shí)現(xiàn)原理）（60分鐘）

1、什么是MySQL Cluster

2、MySQL Cluster發(fā)展現(xiàn)狀與趨勢

3、介紹MySQL Cluster基礎(chǔ)概念

4、MySQL Cluster架構(gòu)剖析

5、NDB Cluster存儲(chǔ)引擎

6、無共享體系結(jié)構(gòu)

7、管理(MGM)節(jié)點(diǎn)

8、數(shù)據(jù)節(jié)點(diǎn)

9、SQL節(jié)點(diǎn)

10、標(biāo)準(zhǔn)MySQL客戶端

11、MySQL Cluster應(yīng)用場景

12、案例分享：MySQL Cluster在電商平臺(tái)中的應(yīng)用

第14個(gè)主題：分布式并行計(jì)算引擎（深入剖析分布式并行計(jì)算引擎實(shí)現(xiàn)原理）（60分鐘）

1、分布式并行計(jì)算引擎概述

2、分布式并行計(jì)算引擎原理

3、Spark介紹

4、Spark架構(gòu)剖析

5、Spark RDD計(jì)算模型解析

6、Spark開發(fā)分析

7、Spark的執(zhí)行機(jī)制解析

8、Spark的調(diào)試與任務(wù)分配

9、Spark與MapReduce對(duì)比分析

10、Spark的容錯(cuò)機(jī)制剖析

11、Spark集群部署

12、Spark Shell

13、構(gòu)建與運(yùn)行Spark應(yīng)用

14、Spark RDD操作剖析

15、Shark基于Spark的綜合應(yīng)用

16、Spark作業(yè)測試解析

17、Spark的性能調(diào)優(yōu)

18、Spark生態(tài)體系剖析

19、Spark應(yīng)用現(xiàn)狀

20、Spark應(yīng)用優(yōu)勢

21、Spark應(yīng)用案例

22、Spark案例解析

第15個(gè)主題：分布式流計(jì)算模型（深入剖析分布式流計(jì)算模型的實(shí)現(xiàn)原理及開發(fā)實(shí)戰(zhàn)）（120分鐘）

1、Spark Streaming概述

2、Spark Streaming原理剖析

3、Spark Streaming流數(shù)據(jù)處理框架介紹

4、Spark Streaming編程剖析

5、初始化StreamingContext

6、Discretized Streams (DStreams)

7、輸入DStreams與Receivers

8、基于DStreams的Transformations

9、基于DStreams的輸出操作

10、Accumulators和Broadcast Variables

11、DataFrame和SQL操作

12、MLlib操作

13、Caching與Persistence

14、Checkpointing

15、運(yùn)行Spark Streaming程序

16、性能調(diào)優(yōu)：減少批處理時(shí)間

17、性能調(diào)優(yōu)：設(shè)置正確的批處理間隔時(shí)間

18、內(nèi)存調(diào)優(yōu)

19、容錯(cuò)元語

20、實(shí)戰(zhàn)案例：Spark Streaming與Kafka整合實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)分析處理設(shè)計(jì)與分析

第三天

第16個(gè)主題：分布式流計(jì)算模型（深入剖析分布式流計(jì)算模型的實(shí)現(xiàn)原理）（30分鐘）

1、Storm基礎(chǔ)知識(shí)

2、Storm集群安裝

3、Storm打包運(yùn)行測試

4、Storm基本api介紹

5、Storm Topology的并發(fā)度

6、Storm消息機(jī)制原理講解

7、Storm DRPC實(shí)戰(zhàn)講解

8、Storm Transaction原理

9、Strom Trident編程

10、Storm案例實(shí)戰(zhàn)

第17個(gè)主題：Storm架構(gòu)原理剖析與開發(fā)實(shí)戰(zhàn)（深入剖析Storm架構(gòu)原理與實(shí)現(xiàn)技術(shù)）（60分鐘）

1、Storm基本概念

2、Storm邏輯架構(gòu)

3、Storm Topology的并發(fā)度

4、進(jìn)程拓?fù)潢P(guān)系

5、Storm序列化

6、Storm Topology并發(fā)度配置

7、Storm核心API介紹

8、Storm核心API編程

9、Storm的Ack框架

10、Storm消息機(jī)制原理講解

11、Spout的Tail特性

12、Stream Groupings策略

13、實(shí)例講解Grouping策略及并發(fā)

14、Storm在高壓力場景下高可靠性實(shí)現(xiàn)

15、Storm記錄級(jí)容錯(cuò)的基本原理

16、Storm DRPC整體工作流程

17、DRPC實(shí)現(xiàn)框架

18、Storm DRPC實(shí)戰(zhàn)講解

19、Storm Windowing原理與實(shí)現(xiàn)

20、滑動(dòng)Windowing

21、滾動(dòng)Windowing

22、Join Streams

23、Storm RESTful API

24、Storm多語言支持

25、Storm Transaction原理

26、Transactional Topology框架功能

27、Storm事務(wù)API及案例分析

28、Storm事務(wù)案例實(shí)戰(zhàn)

第18個(gè)主題：Strom Trident剖析與開發(fā)實(shí)戰(zhàn)（深入剖析Storm Trident實(shí)現(xiàn)原理及開發(fā)方法）（60分鐘）

1、Strom Trident介紹

2、Trident API介紹

3、Strom Trident消息

4、Strom TridentTopology的構(gòu)建器

5、Strom Trident的SpoutNode

6、Trident Spout類型

7、Strom Trident的容錯(cuò)Spout

8、Strom Trident操作與處理節(jié)點(diǎn)

9、Strom Trident中的Bolt

10、Strom Trident的存儲(chǔ)

11、Strom Trident流的基本操作

12、Strom Trident中流的交互操作

13、Strom Trident的執(zhí)行優(yōu)化

14、Strom Trident與DRPC

15、Strom Trident編程實(shí)戰(zhàn)

第19個(gè)主題：分布式并行計(jì)算引擎Impala（分布式計(jì)算引擎Impala的工作原理）（120分鐘）

1、分布式并行計(jì)算引擎概述

2、Impala介紹

3、Impala是什么

4、Impala與Hive、Pig有何不同

5、Impala與關(guān)系數(shù)據(jù)庫有何不同

6、Impala的限制和未來發(fā)展方向

7、運(yùn)用 Impala Shell

8、Impala分布式集群部署

9、Impala分布式架構(gòu)原理

10、Impala數(shù)據(jù)模型

11、Impala作業(yè)基本運(yùn)行原理

12、Impala使用注意事項(xiàng)

13、Impala DDL、DML、SQL、函數(shù)

14、Impala作業(yè)資源占用

15、案例：銀行在線支付統(tǒng)計(jì)的案例

16、Impala調(diào)優(yōu)可概述

17、Impala參數(shù)調(diào)優(yōu)

18、Impala SQL調(diào)優(yōu)

19、Impala分區(qū)調(diào)優(yōu)

20、其他常用調(diào)優(yōu)方法

21、數(shù)據(jù)傾斜處理方法

22、Impala與Shark、Hive、Pig區(qū)別剖析

23、案例：Impala調(diào)優(yōu)案例

第20個(gè)主題：如何研發(fā)分布式系統(tǒng)？（本主題強(qiáng)調(diào)一個(gè)好的分布式系統(tǒng)離不開真實(shí)的業(yè)務(wù)需求）（60分鐘）

1、深入分析企業(yè)業(yè)務(wù)數(shù)據(jù)特點(diǎn)

2、TFS思想的應(yīng)用

3、事務(wù)剖析

4、分布式事務(wù)剖析

5、分布式系統(tǒng)的職責(zé)分離思想

6、大數(shù)據(jù)+簡單算法

7、精準(zhǔn)小數(shù)據(jù)+復(fù)雜算法

第21個(gè)主題：分布式系統(tǒng)架構(gòu)設(shè)計(jì)（介紹分布式系統(tǒng)架構(gòu)設(shè)計(jì)需要遵循原則與設(shè)計(jì)技巧）（60分鐘）

1、CAP理論

2、BASE思想

3、日志結(jié)構(gòu)文件系統(tǒng)

4、RWN理論

5、分布式系統(tǒng)遷移策略

a)數(shù)據(jù)遷移

b)計(jì)算遷移

6、冷熱分離原則

7、算法優(yōu)化策略

a)讀取+計(jì)算+顯示

b)讀取+顯示

8、數(shù)據(jù)序列化

9、RESTful架構(gòu)剖析

尹老師

多年從事人工智能、深度學(xué)習(xí)、大數(shù)據(jù)、區(qū)塊鏈、云計(jì)算、物聯(lián)網(wǎng)研發(fā)工作經(jīng)驗(yàn)，資深軟件架構(gòu)師，數(shù)學(xué)博士，北航移動(dòng)云計(jì)算碩士，Cloudera大數(shù)據(jù)認(rèn)證（圖1），項(xiàng)目管理師（PMP）認(rèn)證（圖2），移動(dòng)云計(jì)算專家，主要研究方向包括人工智能、深度學(xué)習(xí)、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、數(shù)據(jù)分析、大數(shù)據(jù)、云計(jì)算、移動(dòng)開發(fā)、互聯(lián)網(wǎng)營銷、電子商務(wù)、項(xiàng)目管理等；曾就職于阿里等互聯(lián)網(wǎng)企業(yè)，IBM、華為等知名大型企業(yè)，現(xiàn)任某大型知名互聯(lián)網(wǎng)企業(yè)首席架構(gòu)，負(fù)責(zé)人工智能、深度學(xué)習(xí)、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、數(shù)據(jù)分析、大數(shù)據(jù)、區(qū)塊鏈、云計(jì)算、PaaS平臺(tái)研發(fā)工作。

IT從業(yè)近二十年，秉承理論與實(shí)踐相結(jié)合，在學(xué)習(xí)中實(shí)踐，在實(shí)踐中學(xué)習(xí)，積累了豐富的理論與實(shí)踐經(jīng)驗(yàn)，并且樂于將自己的經(jīng)驗(yàn)分享。尹老師具有敏銳的目光與頭腦，發(fā)現(xiàn)并集成整合社會(huì)資源，為企業(yè)節(jié)省資源并創(chuàng)造價(jià)值，達(dá)到為合作伙伴創(chuàng)收的目的。曾為多家國內(nèi)知名企業(yè)提供培訓(xùn)與咨詢，包含阿里集團(tuán)、華為、中國移動(dòng)、中國電信、中國聯(lián)通、當(dāng)當(dāng)網(wǎng)、中石油、中石化、中國電網(wǎng)、中國銀行、中國工商銀行、浦發(fā)銀行、阿爾卡特朗訊、中航國際等。擁有人工智能、深度學(xué)習(xí)、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、數(shù)據(jù)分析、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)、大流量、高并發(fā)、分布式的大型網(wǎng)站架構(gòu)和設(shè)計(jì)經(jīng)驗(yàn)。曾主導(dǎo)過多個(gè)人工智能、深度學(xué)習(xí)、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、數(shù)據(jù)分析、區(qū)塊鏈、物聯(lián)網(wǎng)、私有云、公有云建設(shè)項(xiàng)目，早些年也主導(dǎo)過ERP、CMS等軟件項(xiàng)目，積累了豐富的實(shí)踐經(jīng)驗(yàn)，這些項(xiàng)目中包含多個(gè)數(shù)百萬、上千萬的大型項(xiàng)目。項(xiàng)目經(jīng)歷：呼叫中心人工智能客服研發(fā)項(xiàng)目、貴州省政府云呼叫中心建設(shè)項(xiàng)目、廣東發(fā)展銀行電營、運(yùn)維大數(shù)據(jù)分析項(xiàng)目、中石油工程設(shè)計(jì)西南分公司云計(jì)算項(xiàng)目評(píng)審委員、中石油大數(shù)據(jù)挖掘項(xiàng)目，電商庫存預(yù)測大數(shù)據(jù)分析項(xiàng)目、大型ERP、電子商務(wù)、CRM、電子政務(wù)等多個(gè)項(xiàng)目。

尹老師在工作中研究新技術(shù)、新框架、及時(shí)更新知識(shí)體系，并長期堅(jiān)持編寫架構(gòu)核心代碼。在技術(shù)平臺(tái)方面，善于TensorFlow、Keras、Hadoop、Spark、Docker、Kubernetes、OpenStack、Storm等技術(shù)平臺(tái)的應(yīng)用與運(yùn)維。深入理解TensorFlow、Keras、Hadoop、HDFS、HBase、MapReduce、Zookeeper、Hive、Sqoop、BigTable 等人工智能、大數(shù)據(jù)技術(shù)和開源框架理論。對(duì)于云計(jì)算體系有深刻認(rèn)識(shí)，及獨(dú)到的見解，如OpenStack的技術(shù)架構(gòu)、安裝部署、運(yùn)維等。在移動(dòng)云計(jì)算方面，善于設(shè)計(jì)與建設(shè)云計(jì)算體系；也善于移動(dòng)云計(jì)算相關(guān)的咨詢與培訓(xùn)。在項(xiàng)目管理方面，善于使用敏捷項(xiàng)目管理方法，把客戶的需求變更作為常態(tài)，作為軟件架構(gòu)設(shè)計(jì)的一部分，減少需求變更帶來的返工；善于捕捉、挖掘、分析客戶需求，為用戶提供滿意的產(chǎn)品。

講師經(jīng)驗(yàn)

1、阿里巴巴集團(tuán)云計(jì)算、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)咨詢師

2、百度云計(jì)算、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)咨詢師及講師

3、中國移動(dòng)多省人工智能、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)、云計(jì)算特聘講師

4、中國移動(dòng)多省Docker特聘講師

5、中國移動(dòng)研究院微特聘講師

6、中國聯(lián)通總部人工智能、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)、云計(jì)算特聘講師

7、中國電信人工智能、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)、云計(jì)算、虛擬化特約講師

8、中國人民銀行人工智能、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)特聘講師

9、中國工商銀行人工智能、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)講師

10、花旗銀行人工智能、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)講師

11、招商銀行人工智能、大數(shù)據(jù)調(diào)優(yōu)、區(qū)塊鏈、物聯(lián)網(wǎng)講師

12、中信銀行人工智能、分布式數(shù)據(jù)庫、區(qū)塊鏈、物聯(lián)網(wǎng)講師

13、中國航天三院人工智能、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)咨詢師

14、中國石油人工智能、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)、云計(jì)算特聘講師

15、中國石化人工智能、大數(shù)據(jù)、云計(jì)算特聘講師

16、中國電力科學(xué)研究院流計(jì)算特聘講師

17、西安電信十所人工智能、大數(shù)據(jù)架構(gòu)設(shè)計(jì)、區(qū)塊鏈、物聯(lián)網(wǎng)講師

18、RedHat（中國）大數(shù)據(jù)咨詢師

19、中電28所人工智能、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)特聘講師

20、北京中電普華人工智能、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)特聘講師

21、中國石油東方地球物理公司大數(shù)據(jù)咨詢師

22、當(dāng)當(dāng)網(wǎng)人工智能、云計(jì)算、大數(shù)據(jù)咨詢師

23、北航人工智能、云計(jì)算、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)特聘企業(yè)講師

24、阿爾卡特-朗訊（Alcatel-Lucent）虛擬化與OpenStack培訓(xùn)特約講師

25、中石油工程設(shè)計(jì)西南分公司云計(jì)算數(shù)據(jù)中心建設(shè)項(xiàng)目

26、廣東發(fā)展信用卡精準(zhǔn)營銷項(xiàng)目

27、廣東發(fā)展銀行電營、運(yùn)維大數(shù)據(jù)分析項(xiàng)目

28、電商庫存預(yù)測大數(shù)據(jù)分析項(xiàng)目

29、中航國際大綜貿(mào)易云計(jì)算規(guī)劃項(xiàng)目咨詢、培訓(xùn)講師

30、北京民生軟件SaaS平臺(tái)研發(fā)咨詢師

31、北京立達(dá)資本項(xiàng)目管理信息系統(tǒng)解決方案咨詢師

32、曾任大型ERP、電子商務(wù)、CRM、電子政務(wù)等項(xiàng)目經(jīng)理

項(xiàng)目經(jīng)驗(yàn)

1、云呼叫中心人工智能客服項(xiàng)目研發(fā)

2、云呼叫中心PaaS平臺(tái)首席架構(gòu)師

3、貴州省政府云呼叫中心建設(shè)項(xiàng)目

4、廣東發(fā)展信用卡智能精準(zhǔn)營銷項(xiàng)目

5、廣東發(fā)展銀行電營、運(yùn)維大數(shù)據(jù)分析、區(qū)塊鏈、物聯(lián)網(wǎng)項(xiàng)目

6、中石油工程設(shè)計(jì)西南分公司云計(jì)算項(xiàng)目評(píng)審委員、培訓(xùn)講師

7、中石油人工智能、大數(shù)據(jù)挖掘、區(qū)塊鏈、物聯(lián)網(wǎng)項(xiàng)目，項(xiàng)目經(jīng)理

8、電商庫存預(yù)測大數(shù)據(jù)分析項(xiàng)目

9、智能物流、智能供應(yīng)鏈管理項(xiàng)目

10、中航國際大綜貿(mào)易云計(jì)算規(guī)劃項(xiàng)目咨詢、培訓(xùn)講師

11、北京民生軟件SaaS平臺(tái)研發(fā)咨詢師

12、北京立達(dá)資本項(xiàng)目管理信息系統(tǒng)解決方案咨詢師

13、曾任大型ERP、電子商務(wù)、CRM、電子政務(wù)等多個(gè)項(xiàng)目的項(xiàng)目經(jīng)理

我要預(yù)訂

咨詢電話：027-5111 9925 , 027-5111 9926手機(jī)：18971071887郵箱：Service@mingketang.com