前言 ...............................................................................................................XV
緻謝 ............................................................................................................XVII
關於本書 ..................................................................................................... XIX
第1 部分 背景和基本原理...............................................1
1 跳躍中的Hadoop....................................................................................... 3
1.1 什麼是Hadoop ................................................................................................. 4
1.1.1 Hadoop 的核心組件 ............................................................................ 5
1.1.2 Hadoop 生態圈 .................................................................................... 9
1.1.3 物理架構 ............................................................................................ 10
1.1.4 誰在使用Hadoop .............................................................................. 12
1.1.5 Hadoop 的局限性 .............................................................................. 13
1.2 運行Hadoop ................................................................................................... 14
1.2.1 下載並安裝Hadoop .......................................................................... 14
1.2.2 Hadoop 的配置 .................................................................................. 15
1.2.3 CLI 基本命令 ..................................................................................... 17
1.2.4 運行MapReduce 作業 ....................................................................... 18
1.3 本章小結 ........................................................................................................ 24
第2 部分 數據邏輯....................................................... 25
2 將數據導入導齣Hadoop.........................................................27
2.1 導入導齣的關鍵要素 .................................................................................... 29
2.2 將數據導入Hadoop ....................................................................................... 30
2.2.1 將日誌文件導入Hadoop .................................................................. 31
技術點1 使用Flume 將係統日誌文件導入HDFS ............................. 33
2.2.2 導入導齣半結構化和二進製文件 .................................................... 42
技術點2 自動復製文件到HDFS 的機製 ............................................ 43
技術點3 使用Oozie 定期執行數據導入活動 ..................................... 48
2.2.3 從數據庫中拉數據 ............................................................................ 52
技術點4 使用MapReduce 將數據導入數據庫 ................................... 53
技術點5 使用Sqoop 從MySQL 導入數據 ......................................... 58
2.2.4 HBase ................................................................................................. 68
技術點6 HBase 導入HDFS ................................................................. 68
技術點7 將HBase 作為MapReduce 的數據源 .................................. 70
2.3 將數據導齣Hadoop ....................................................................................... 73
2.3.1 將數據導入本地文件係統 ................................................................ 73
技術點8 自動復製HDFS 中的文件 .................................................... 73
2.3.2 數據庫 ................................................................................................ 74
技術點9 使用Sqoop 將數據導入MySQL .......................................... 75
2.3.3 Hbase .................................................................................................. 78
技術點10 將數據從HDFS 導入HBase .............................................. 78
技術點11 使用HBase 作為MapReduce 的數據接收器 .................... 79
2.4 本章小結 ........................................................................................................ 81
3 數據序列化——處理文本文件及其他格式的文件........................83
3.1 瞭解MapReduce 中的輸入和輸齣 ............................................................... 84
3.1.1 數據輸入 ............................................................................................ 85
3.1.2 數據輸齣 ............................................................................................ 89
3.2 處理常見的序列化格式 ................................................................................ 91
3.2.1 XML ................................................................................................... 91
技術點12 MapReduce 和XML ............................................................ 91
3.2.2 JSON ................................................................................................... 95
技術點13 MapReduce 和JSON ........................................................... 95
3.3 大數據的序列化格式 .................................................................................... 99
3.3.1 比較SequenceFiles、Protocol Buffers、Thrift 和 Avro .................. 99
3.3.2 Sequence File .................................................................................... 101
技術點14 處理SequenceFile .............................................................. 103
3.3.3 Protocol Buffers ................................................................................ 109
技術點15 整閤Protocol Buffers 和MapReduce ............................... 110
3.3.4 Thrift ................................................................................................. 117
技術點16 使用Thrift .......................................................................... 117
3.3.5 Avro .................................................................................................. 119
技術點17 MapReduce 的下一代數據序列化技術 ............................ 120
3.4 自定義文件格式 .......................................................................................... 127
3.4.1 輸入輸齣格式 .................................................................................. 127
技術點18 輸入和輸齣格式為CSV 的文件 ...................................... 128
3.4.2 output committing 的重要性 ........................................................... 136
3.5 本章小結 ...................................................................................................... 136
第3 部分 大數據模式..................................................137
4 處理大數據的MapReduce 模式............................................. 139
4.1 Join ................................................................................................................ 140
4.1.1 Repartition Join ................................................................................ 141
技術點19 優化repartition join ........................................................... 142
4.1.2 Replicated Join ................................................................................. 146
4.1.3 Semi-join .......................................................................................... 147
技術點20 實現semi-join .................................................................... 148
4.1.4 為你的數據挑選最優的閤並策略 .................................................. 154
4.2 排序 .............................................................................................................. 155
4.2.1 二次排序 .......................................................................................... 156
技術點21 二次排序的實現 ................................................................ 157
4.2.2 整體並行排序 .................................................................................. 162
技術點22 通過多個reducer 對key 進行排序 .................................. 162
4.3 抽樣 .............................................................................................................. 165
技術點23 蓄水池抽樣（reservoir 抽樣） ........................................... 165
4.4 本章小結 ...................................................................................................... 168
5 優化HDFS 處理大數據的技術............................................... 169
5.1 處理小文件 .................................................................................................. 170
技術點24 使用Avro 存儲大量小文件 .............................................. 170
5.2 通過壓縮提高數據存儲效率 ...................................................................... 178
技術點25 選擇閤適的壓縮解碼器 .................................................... 178
技術點26 在HDFS、MapReduce、Pig 和Hive 中使用數據壓縮 .. 182
技術點27 在MapReduce、Hive 和Pig 中處理可分割的LZOP ..... 187
5.3 本章小結 ...................................................................................................... 193
6 診斷和優化性能問題............................................................. 194
6.1 衡量MapReduce 和你的環境 ..................................................................... 195
6.1.1 提取作業統計信息的工具 .............................................................. 195
6.1.2 監控 .................................................................................................. 196
6.2 確定性能問題的原因 .................................................................................. 198
6.2.1 瞭解哪些因素會影響MapReduce 作業的性能 ............................. 198
6.2.2 map 端異常 ...................................................................................... 200
技術點28 發現輸入數據中的坑 ........................................................ 200
技術點29 確定map 端數據傾斜問題 ............................................... 201
技術點30 判定map 任務吞吐量 ....................................................... 203
技術點31 小文件 ................................................................................ 204
技術點32 不可切割的文件 ................................................................ 206
6.2.3 reduce 端問題 .................................................................................. 207
技術點33 reducer 任務數過大或過小 ............................................... 208
技術點34 定位reduce 端數據傾斜問題 ............................................ 209
技術點35 確定reduce 任務是否存在整體吞吐量過低 .................... 211
技術點36 緩慢的洗牌（shuffle）和排序 ......................................... 213
6.2.4 任務的一般性能問題 ...................................................................... 213
技術點37 作業競爭和調度器限製 .................................................... 215
技術點38 使用堆轉儲來查找未優化的用戶代碼 ............................ 216
6.2.5 硬件性能問題 .................................................................................. 218
技術點39 查找硬件的失效 ................................................................ 218
技術點40 CPU 競爭 ........................................................................... 219
技術點41 內存交換 ............................................................................ 220
技術點42 磁盤健康 ............................................................................ 222
技術點43 網絡 .................................................................................... 224
6.3 可視化 .......................................................................................................... 226
技術點44 提取並可視化任務執行時間 ............................................ 227
6.4 優化 ............................................................................................................. 229
6.4.1 剖析MapReduce 的用戶代碼 ......................................................... 230
技術點45 剖析map 和reduce 任務 ................................................... 230
6.4.2 參數配置 .......................................................................................... 232
6.4.3 優化 shuffle 和 sort 階段 ................................................................. 234
技術點46 避免reducer ....................................................................... 234
技術點47 過濾和投影 ........................................................................ 235
技術點48 使用 combiner .................................................................... 236
技術點49 超炫的使用比較器的快速排序 ........................................ 237
6.4.4 減輕傾斜 .......................................................................................... 241
技術點50 收集傾斜數據 .................................................................... 242
技術點51 減輕reducer 階段傾斜 ...................................................... 243
6.4.5 在MapReduce 中優化用戶的Java 代碼 ........................................ 244
6.4.6 數據序列化 ...................................................................................... 248
6.5 本章小結 ...................................................................................................... 249
第4 部分 數據科學.......................................................251
7 數據結構和算法的運用.......................................................... 253
7.1 使用圖進行數據建模和解決問題 .............................................................. 254
7.1.1 模擬圖 .............................................................................................. 255
7.1.2 最短路徑算法 .................................................................................. 255
技術點52 找齣兩個用戶間的最短距離 ............................................ 256
7.1.3 friends-of-friends（FoF） ................................................................. 263
技術點53 計算FoF ............................................................................. 263
7.1.4 PageRank .......................................................................................... 269
技術點54 通過Web 圖計算PageRank .............................................. 269
7.2 Bloom filter ................................................................................................... 275
技術點55 在MapReduce 中並行創建Bloom filter ......................... 277
技術點56 通過MapReduce 對Bloom filter 進行semi-join ............. 281
7.3 本章小結 ...................................................................................................... 284
8 結閤R 和Hadoop 進行數據統計............................................ 285
8.1 比較R 和MapReduce 集成的幾種方法 .................................................... 286
8.2 R 基礎知識 ................................................................................................... 288
8.3 R 和Streaming ............................................................................................. 290
8.3.1 Streaming 和map-only R ................................................................. 290
技術點57 計算股票日平均值 ............................................................ 290
8.3.2 Streaming、R 和完整的MapReduce .............................................. 293
技術點58 計算股票的纍積均值 ........................................................ 293
8.4 Rhipe——將客戶端R 和Hadoop 進行集成 ............................................. 297
技術點59 使用Rhipe 計算CMA ....................................................... 297
8.5 RHadoop——更簡單地在客戶端集成R 和Hadoop 的技術 .................... 301
技術點60 使用RHadoop 計算CMA ................................................. 302
8.6 本章小結 ...................................................................................................... 304
9 使用Mahout 進行預測分析................................................... 305
9.1 使用recommender 提供産品建議 .............................................................. 306
9.1.1 相似性度量的可視化 ...................................................................... 307
9.1.2 GroupLens 數據集 ........................................................................... 308
9.1.3 基於用戶的recommender ............................................................... 310
9.1.4 基於物品的recommender ............................................................... 310
技術點61 使用基於物品的recommender 進行電影評級 ................ 311
9.2 classification ................................................................................................. 314
9.2.1 編寫一個手動naïve Bayesian 分類器 ............................................ 315
9.2.2 可擴展的垃圾郵件偵測分類係統 .................................................. 321
技術點62 使用Mahout 訓練和測試垃圾郵件分類器 ...................... 321
9.2.3 其他分類算法 .................................................................................. 325
9.3 K-means clustering ....................................................................................... 325
9.3.1 簡單介紹 .......................................................................................... 326
9.3.2 並行執行K-means ........................................................................... 327
技術點63 K-means 處理閤成的二維數據集 ..................................... 327
9.3.3 K-means 和文本 ............................................................................... 331
9.3.4 其他Mahout clustering 算法 ........................................................... 332
9.4 本章小結 ...................................................................................................... 332
第5 部分 馴服大象......................................................333
10 深入解析 Hive.................................................................. 335
10.1 Hive 基礎 ................................................................................................ 336
10.1.1 安裝 .......................................................................................... 336
10.1.2 元存儲 ...................................................................................... 336
10.1.3 數據庫、錶、分區和存儲 ...................................................... 336
10.1.4 數據模型 .................................................................................. 337
10.1.5 查詢語言 .................................................................................. 337
10.1.6 交互式和非交互式Hive ......................................................... 337
10.2 使用Hive 進行數據分析 ....................................................................... 338
10.2.1 序列化和反序列化 .................................................................. 338
技術點64 載入日誌文件 .............................................................. 338
10.2.2 UDF、分區、分桶和壓縮 ...................................................... 344
技術點65 編寫UDF 和壓縮分區錶 ............................................ 344
10.2.3 數據閤並 .................................................................................. 350
技術點66 優化Hive 閤並 ............................................................ 350
10.2.4 分組、排序和explain ............................................................. 355
10.3 本章小結 ................................................................................................ 358
11 Pig 流管道......................................................................... 359
11.1 Pig 基礎 .................................................................................................. 360
11.1.1 安裝 .......................................................................................... 360
11.1.2 架構 .......................................................................................... 360
11.1.3 PigLatin..................................................................................... 360
11.1.4 數據類型 .................................................................................. 361
11.1.5 操作符和函數 .......................................................................... 361
11.1.6 交互式和非交互式的Pig ........................................................ 362
11.2 使用Pig 在日誌數據中發現惡意行為者 ............................................. 362
11.2.1 加載數據 .................................................................................. 363
技術點67 加載Apache 日誌文件 ................................................ 363
11.2.2 過濾和投影 .............................................................................. 368
技術點68 通過過濾和投影減少數據處理量 .............................. 368
11.2.3 分組和聚閤UDF ..................................................................... 370
技術點69 IP 地址的分組和計數 ................................................. 370
11.2.4 使用UDF 進行定位 ................................................................ 374
技術點70 使用分布式緩存進行IP 地理定位 ............................ 375
11.2.5 流 .............................................................................................. 378
技術點71 使用你的腳本閤並Pig ............................................... 378
11.2.6 閤並 .......................................................................................... 379
技術點72 在Pig 中閤並數據 ...................................................... 380
11.2.7 排序 .......................................................................................... 381
技術點73 元組排序 ...................................................................... 381
11.2.8 存儲數據 .................................................................................. 382
技術點74 在SequenceFiles 中存儲數據 ..................................... 382
11.3 使用Pig 優化用戶的工作流程 ............................................................. 385
技術點75 通過4 步快速處理大數據 .......................................... 385
11.4 性能 ......................................................................................................... 390
技術點76 Pig 優化 ....................................................................... 390
11.5 本章小結 ................................................................................................. 393
12 Crunch 及相關技術............................................................ 394
12.1 什麼是Crunch ........................................................................................ 395
12.1.1 背景和概念 .............................................................................. 395
12.1.2 基本原理 .................................................................................. 395
12.1.3 簡單示例 .................................................................................. 398
12.2 發現日誌中最熱門的URL .................................................................... 401
技術點77 使用Crunch 進行日誌解析和基本分析 .................... 402
12.3 閤並 ........................................................................................................ 405
技術點78 Crunch 的repartition join ............................................ 405
12.4 Cascading ................................................................................................ 407
12.5 本章小結 ................................................................................................ 409
13 測試和調試....................................................................... 410
13.1 測試 ........................................................................................................ 410
13.1.1 有效的單元測試的基本要素 .................................................. 411
13.1.2 MRUnit ..................................................................................... 413
技術點79 MapReduce 函數、作業和管道的單元測試 ............. 413
13.1.3 LocalJobRunner ........................................................................ 420
技術點80 用LocalJobRunner 進行重量級的作業測試 ............. 421
13.1.4 集成和QA 測試 ...................................................................... 423
13.2 調試用戶空間的問題 ............................................................................ 424
13.2.1 訪問任務日誌 .......................................................................... 424
技術點81 檢查任務日誌 .............................................................. 424
13.2.2 調試不可預期的輸入 .............................................................. 429
技術點82 定位input split 問題 .................................................... 429
13.2.3 調試JVM 配置 ........................................................................ 432
技術點83 解決任務的JVM 啓動參數 ........................................ 433
13.2.4 高效調試的編碼準則 .............................................................. 433
技術點84 調試和錯誤處理 .......................................................... 433
13.3 MapReduce 陷阱 .................................................................................... 437
技術點85 MapReduce 反模式 ..................................................... 438
13.4 本章小結 ................................................................................................ 441
附錄A 相關技術..................................................................... 443
附錄B Hadoop 內置的數據導入導齣工具.................................. 471
附錄C HDFS 解剖................................................................. 486
附錄D 優化MapReduce 閤並框架............................................ 493
索引.......................................................................................... 503
· · · · · · (
收起)
