Spark在深度學(xué)習(xí)層面擁有 無以倫比的優(yōu)點，非常合適必須數(shù)次迭代計算的優(yōu)化算法。另外Spark的有著十分出色的容錯機制和生產(chǎn)調(diào)度體制，保證 系統(tǒng)軟件的平穩(wěn)運作，Spark現(xiàn)階段的發(fā)展戰(zhàn)略是根據(jù)一個測算架構(gòu)結(jié)合SQL、MachineLearning、GraphComputing、StreamingComputing等多種多樣作用于一個新項目中，具備的便捷性。
天
堂課：Spark的架構(gòu)設(shè)計
1.1Spark的速率為何這般的快？
1.2Spark生態(tài)體系
1.3Spark的架構(gòu)設(shè)計分析
1.4RDD測算步驟分析
1.5Spark的出色容錯糾錯機制
1.6Spark分布式架構(gòu)與單機版多核構(gòu)架的不同點
1.7Spark的企業(yè)級應(yīng)用
lSpark在Amazon中的運用
lSpark在Yahoo!的運用
lSpark在意大利電信網(wǎng)的運用
lSpark在淘寶網(wǎng)的運用
第二堂課：Spark集群的安裝和設(shè)定
2.1在一臺設(shè)備上運作Spark
2.2在Mesos上部署Spark
2.3在YARN上部署Spark
2.4根據(jù)SSH在諸多設(shè)備上部署Spark
2.5Spark集群設(shè)定
第三堂課：Spark開發(fā)工具配備及步驟
3.1Scala介紹、為何Spark會應(yīng)用Scala做為編程語言
3.2應(yīng)用Eclipse開發(fā)設(shè)計Spark程序流程
3.3深層次應(yīng)用SparkShell
3.4遠(yuǎn)程控制調(diào)節(jié)Spark程序流程
3.5Spark編譯程序
3.6配備Spark源代碼閱讀文章自然環(huán)境
3.6.1Maven
3.6.2
3.7Spark程序編寫實戰(zhàn)演練JavaScalaPython語言的實例
3.7.1SparkWordCount
3.7.2Spark排列
3.7.3.應(yīng)用Spark載入HDFSFile數(shù)據(jù)信息
第四堂課：迅速把握Scala
4.1Scala自變量申明、操作符、涵數(shù)的應(yīng)用實戰(zhàn)演練
4.2apply方式
4.3Scal的系統(tǒng)結(jié)構(gòu)和函數(shù)
4.4s店cala數(shù)字能量數(shù)組的操作、Map的操作
4.5Scala中的類
4.6Scala中目標(biāo)的應(yīng)用；
4.7Scala中的承繼
4.8Scala中的特性
4.9Scala中結(jié)合操作
第二天
第5堂課：SparkOnYarn
lSparkonYarn&Sparkasaservice
lSparkonYarn基本原理
lSparkonYarn實踐活動
lJobServer構(gòu)架
lJobServerAPI詳細(xì)介紹
lJobServer配備與部署
第六堂課：SparkContext分析和數(shù)據(jù)加載及其儲存
6.1源代碼分析SparkContext
6.2Scala、Java、Python應(yīng)用SparkContext
6.4載入數(shù)據(jù)信息變成RDD
6.5把數(shù)據(jù)信息有機化學(xué)
第7堂課：深層次實戰(zhàn)演練RDD
7.1DAG
7.2深層次實戰(zhàn)演練各種各樣ScalaRDDFunction
7.3SparkJavaRDDFunction
7.4RDD的優(yōu)化問題
第八堂課：Shark與SparkSQL
lShark與Hive及Shark數(shù)據(jù)庫系統(tǒng)
l安裝和配備Shark及Shark基本數(shù)據(jù)類型
l應(yīng)用Shark解決數(shù)據(jù)信息
l在Spark程序流程中應(yīng)用SharkQueries
lSharkServer
lSparkSQL構(gòu)架
lParquet適用
lDSL
lSQLonRDD&UDF&JDBCServer
lDataFrameAPI
lHive互動
l外界數(shù)據(jù)庫API
l與Spark別的部件的互動
lCatalyst查尋優(yōu)化器
第9堂課：Spark程序流程的檢測
9.1撰寫可檢測的Spark程序流程
9.2Spark檢測架構(gòu)分析
9.3Spark測試程序?qū)崙?zhàn)演練
第10堂課SparkStreaming
lSparkStreaming簡述
lSparkStreaming安裝
l和Storm特性數(shù)據(jù)分析
lDStream
lOperations
lPersistence
地理位置 Location
