第1章 Spark與大數據 1
1.1 大數據的發展及現狀 1
1.1.1 大數據時代所麵臨的問題 1
1.1.2 榖歌的大數據解決方案 2
1.1.3 Hadoop生態係統 3
1.2 Spark應時而生 4
1.2.1 Spark的起源 4
1.2.2 Spark的特點 5
1.2.3 Spark的未來發展 6
第2章 Spark基礎 8
2.1 Spark本地單機模式體驗 8
2.1.1 安裝虛擬機 8
2.1.2 安裝JDK 19
2.1.3 下載Spark預編譯包 21
2.1.4 本地體驗Spark 22
2.2 高可用Spark分布式集群部署 25
2.2.1 集群總覽 26
2.2.2 集群機器的型號選擇 28
2.2.3 初始化集群機器環境 29
2.2.4 部署ZooKeeper集群 33
2.2.5 編譯Spark 35
2.2.6 部署Spark Standalone集群 37
2.2.7 高可用Hadoop集群 40
2.2.8 讓Spark運行在YARN上 40
2.2.9 一鍵部署高可用Hadoop +Spark集群 42
2.3 Spark編程指南 43
2.3.1 交互式編程 43
2.3.2 RDD創建 44
2.3.3 RDD操作 47
2.3.4 使用其他語言開發Spark程序 54
2.4 打包和提交 54
2.4.1 編譯、鏈接、打包 54
2.4.2 提交 56
第3章 Spark工作機製 58
3.1 調度管理 58
3.1.1 集群概述及名詞解釋 58
3.1.2 Spark程序之間的調度 60
3.1.3 Spark程序內部的調度 63
3.2 內存管理 65
3.2.1 RDD持久化 65
3.2.2 共享變量 66
3.3 容錯機製 67
3.3.1 容錯體係概述 67
3.3.2 Master節點失效 68
3.3.3 Slave節點失效 69
3.4 監控管理 69
3.4.1 Web界麵 69
3.4.2 REST API 72
3.4.3 Metrics指標體係 73
3.4.4 其他監控工具 73
3.5 Spark程序配置管理 73
3.5.1 Spark程序配置加載過程 74
3.5.2 環境變量配置 74
3.5.3 Spark屬性項配置 74
3.5.4 查看當前的配置 76
3.5.5 配置Spark日誌 76
第4章 Spark內核講解 77
4.1 Spark核心數據結構RDD 77
4.1.1 RDD的定義 78
4.1.2 RDD的Transformation 80
4.1.3 RDD的Action 82
4.1.4 Shuffle 83
4.2 SparkContext 84
4.2.1 SparkConf配置 84
4.2.2 初始化過程 85
4.2.3 其他功能接口 87
4.3 DAG調度 87
4.3.1 DAGScheduler 87
4.3.2 TaskScheduler 90
第5章 Spark SQL與數據倉庫 92
5.1 Spark SQL基礎 93
5.1.1 分布式SQL引擎 93
5.1.2 支持的SQL語法 97
5.1.3 支持的數據類型 98
5.1.4 DataFrame 99
5.1.5 DataFrame數據源 103
5.1.6 性能調優 104
5.2 Spark SQL原理和運行機製 104
5.2.1 Spark SQL整體架構 105
5.2.2 Catalyst執行優化器 105
5.3 應用場景：基於淘寶數據建立電商數據倉庫 110
5.3.1 電商數據倉庫場景 111
5.3.2 數據準備和錶設計 111
5.3.3 用Spark SQL來完成日常運營數據分析 115
5.3.4 Spark SQL在大規模數據下的性能錶現 120
第6章 Spark流式計算 122
6.1 Spark Streaming基礎知識 123
6.1.1 入門簡單示例 123
6.1.2 基本概念 124
6.1.3 高級操作 129
6.2 深入理解Spark Streaming 132
6.2.1 DStream的兩類操作 132
6.2.2 容錯處理 134
6.2.3 性能調優 136
6.2.4 與Storm的對比 137
6.3 應用場景：一個類似百度統計的流式實時係統 139
6.3.1 Web log實時統計場景 139
6.3.2 日誌實時采集 140
6.3.3 流式分析係統實現 140
第7章 Spark圖計算 149
7.1 什麼是圖計算 149
7.1.1 圖的基本概念 149
7.1.2 圖計算的應用 150
7.2 Spark GraphX簡介 151
7.2.1 GraphX實現 151
7.2.2 GraphX常用API介紹 152
7.3 應用場景：基於新浪微博數據的社交網絡分析 153
7.3.1 社交網絡分析的主要應用 153
7.3.2 社區發現算法簡介 154
7.3.3 用GraphX實現Louvain算法 156
7.3.4 小試牛刀：誰是你的閨蜜 162
7.3.5 真實的場景：新浪微博關係
分析 164
第8章 Spark MLlib 169
8.1 機器學習簡介 169
8.1.1 什麼是機器學習 169
8.1.2 機器學習示例 171
8.1.3 機器學習的基本方法 172
8.1.4 機器學習的常見技巧 173
8.1.5 機器學習參考資料 174
8.2 MLlib庫簡介 174
8.2.1 基礎數據類型 174
8.2.2 主要的庫 175
8.2.3 附帶的示例程序 176
8.3 應用場景：搜索廣告點擊率預估係統 178
8.3.1 應用場景 178
8.3.2 邏輯迴歸 179
8.3.3 學習算法 181
8.3.4 模型評估 184
8.3.5 數據準備 186
8.3.6 模型訓練 187
8.3.7 模型調優 195
附錄 Scala語言參考 197
· · · · · · (
收起)
