第1章 成功運行Spark job 1
安裝所需組件 2
-- 原生安裝Spark Standalone集群 3
分布式計算的發展史 3
-- 步入雲時代 5
-- 理解資源管理 6
使用各種類型的存儲格式 9
-- 文本文件 11
-- Sequence文件 13
-- Avro文件 13
-- Parquet文件 13
監控和度量的意義 14
-- Spark UI 14
-- Spark Standalone UI 17
-- Metrics REST API 17
-- Metrics System 18
-- 外部監控工具 18
總結 19
第2章 集群管理 21
背景知識 23
Spark組件 26
-- Driver 27
-- workers與executors 28
-- 配置 30
Spark Standalone 33
-- 架構 34
-- 單節點設置場景 34
-- 多節點設置 36
YARN 36
-- 架構 38
-- 動態資源分配 41
-- 場景 43
Mesos 45
-- 安裝 46
-- 架構 47
-- 動態資源分配 49
-- 基本安裝場景 50
比較 52
總結 56
第3章 性能調優 59
Spark 執行模型 60
分區 62
-- 控製並行度 62
-- 分區器 64
shuffle數據 65
-- shuffle與數據分區 67
-- 算子與shuffle 70
-- shuffle並不總是壞事 75
序列化 75
-- Kryo注冊器 77
Spark緩存 77
-- SparkSQL 緩存 81
內存管理 82
-- 垃圾迴收 83
共享變量 84
-- 廣播變量 85
-- 纍加器 87
數據局部性 90
總結 91
第4章 安全 93
架構 94
-- Security Manager 94
-- 設定配置 95
ACL 97
-- 配置 97
-- 提交job 98
-- Web UI 99
網絡安全 107
加密 108
事件日誌 113
Kerberos 114
Apache Sentry 114
總結 115
第5章 容錯或job執行 117
Spark job的生命周期 118
-- Spark master 119
-- Spark driver 122
-- Spark worker 124
-- job生命周期 124
job調度 125
-- 應用程序內部調度 125
-- 用外部工具進行調度 133
容錯 135
-- 內部容錯與外部容錯 136
-- SLA 137
-- RDD 138
-- Batch vs Streaming 145
-- 測試策略 148
-- 推薦配置 155
總結 158
第6章 超越Spark 159
數據倉庫 159
-- SparkSQL CLI 161
-- Thrift JDBC/ODBC服務器 162
-- Hive on Spark 162
機器學習 164
-- DataFrame 165
-- MLlib和ML 167
-- Mahout on Spark 174
-- Hivemall On Spark 175
外部的框架 176
-- Spark Package 177
-- XGBoost 179
-- spark-jobserver 179
未來的工作 182
-- 與參數服務器集成 184
-- 深度學習 192
Spark在企業中的應用 200
-- 用Spark及Kafka收集用戶活動日誌 200
-- 用Spark做實時推薦 202
-- Twitter Bots的實時分類 204
總結 205
· · · · · · (收起)