第Ⅰ部分 Hadoop架構與Hadoop集群介紹
第1章 Hadoop與Hadoop環境介紹 3
Hadoop簡介 4
Hadoop 的特性 5
Hadoop 與大數據 5
Hadoop 的典型應用場景 6
傳統數據庫係統 7
數據湖 9
大數據、數據科學和Hadoop 10
Hadoop集群與集群計算 11
集群計算 11
Hadoop 集群 12
Hadoop組件和Hadoop生態 14
Hadoop管理員需要做些什麼 16
Hadoop 管理—新的範式 17
關於Hadoop 管理你需要知道的 18
Hadoop 管理員的工具集 19
Hadoop 1和Hadoop 2的關鍵區彆 19
架構區彆 20
高可用性 20
多計算引擎 21
分離處理和調度 21
Hadoop 1 和Hadoop 2 中的資源分配 22
分布式數據處理：MapReduce和Spark、Hive、Pig 22
MapReduce 22
Apache Spark 23
Apache Hive 24
Apache Pig 24
數據整閤：Apache Sqoop、Apache Flume和Apache Kafka 25
Hadoop管理中的關鍵領域 26
集群存儲管理 26
集群資源分配 26
作業調度 27
Hadoop 數據安全 27
總結 28
第2章 Hadoop架構介紹 31
Hadoop與分布式計算 31
Hadoop 架構 32
Hadoop 集群 33
主節點和工作節點 33
Hadoop 服務 34
數據存儲—Hadoop分布式文件係統 35
HDFS 特性 35
HDFS 架構 36
HDFS 文件係統 38
NameNode 操作 41
利用YARN（Hadoop操作係統）進行數據處理 45
YARN 的架構 46
ApplicationMaster 如何與ResourceManager 協作進行資源分配 51
總結 54
第3章 創建和配置一個簡單的Hadoop集群 55
Hadoop發行版本和安裝類型 56
Hadoop 發行版本 56
Hadoop 安裝類型 57
設置一個僞分布式Hadoop集群 58
滿足操作係統的要求 58
修改內核參數 59
設置SSH 64
Java 需求 65
安裝Hadoop 66
創建必要的Hadoop 用戶 66
創建必要的目錄 67
Hadoop初始配置 67
環境變量配置文件 69
隻讀默認配置文件 70
site 專用配置文件 70
其他Hadoop 相關的配置文件 71
配置文件的優先級 72
可變擴展和配置參數 74
配置Hadoop 守護進程環境變量 74
配置Hadoop 的核心屬性（使用core-site.xml 文件） 76
配置MapReduce（使用mapred-site.xml 文件） 78
配置YARN（使用yarn-site.xml 文件） 79
配置HDFS（使用hdfs-site.xml 文件） 80
操作新的Hadoop集群 82
格式化分布式文件係統 82
設置環境變量 82
啓動HDFS 和YARN 服務 83
驗證服務啓動 85
關閉服務 85
總結 86
第4章 規劃和創建一個完全分布式集群 87
規劃Hadoop集群 88
集群規劃注意事項 88
安排服務器 90
節點選擇的標準 90
從單機架到多機架 91
調整Hadoop 集群 91
CPU、內存和存儲選擇的一般性原則 92
主節點的特殊要求 95
關於服務器大小的幾點建議 96
集群增長 97
大型集群指南 97
創建一個多節點集群 98
如何設置測試集群 98
修改Hadoop的配置 102
更改HDFS 的配置（hdfs-site.xml 文件） 102
更改YARN 的配置 105
修改MapReduce 的配置 109
啓動集群 110
使用腳本啓動和關閉集群 112
快速檢查新集群的文件係統 113
配置Hadoop服務、Web界麵和端口 114
服務配置和Web 界麵 115
設置Hadoop 服務的端口 117
Hadoop 客戶端 120
總結 122
第Ⅱ部分 Hadoop應用架構
第5章 在集群上運行一個應用—MapReduce框架和Hive、Pig 125
MapReduce框架 125
MapReduce 模型 126
MapReduce 怎樣工作 127
MapReduce 作業處理 129
一個簡單的MapReduce 程序 130
通過運行WordCount 程序理解Hadoop 作業的處理過程 132
MapReduce 輸入/ 輸齣目錄 133
Hadoop 如何展示作業細節 133
Hadoop Streaming 135
Apache Hive 137
Hive 數據組織 138
使用Hive 錶 138
將數據導入Hive 138
使用Hive 查詢 139
Apache Pig 139
Pig 執行模型 140
一個簡單的Pig 示例 140
總結 141
第6章 集群上的應用—Spark框架介紹 143
Spark是什麼 144
為什麼使用Spark 145
速度 145
易用性 147
通用框架 148
Spark 和Hadoop 148
Spark技術棧 149
安裝Spark 151
Spark 示例 152
Spark 的主要文件和目錄 153
編譯Spark 二進製文件 153
減少Spark 日誌 153
Spark運行模式 154
本地模式 154
集群模式 154
集群管理器 154
獨立集群管理器 155
基於Apache Mesos 的Spark 157
基於YARN 的Spark 158
YARN 和Spark 如何協同閤作 159
設置基於Hadoop 集群的Spark 159
Spark和數據獲取 159
從Linux 文件係統加載數據 160
從HDFS 加載數據 160
從關係型數據庫獲取數據 161
總結 162
第7章 運行Spark應用程序 163
Spark編程模型 163
Spark 編程和RDD 164
Spark 編程 166
Spark應用程序 167
RDD 基礎 168
創建RDD 168
RDD 操作 171
RDD 持久化 173
Spark應用的結構 174
Spark 術語 174
Spark 應用程序的組件 174
交互式運行Spark應用程序 175
Spark shell 和Spark 應用程序 176
Spark shell 176
使用Spark shell 176
Spark 集群執行概述 179
創建和提交Spark應用 180
構建Spark 應用 180
在獨立的Spark 集群上運行應用 180
使用spark-submit 執行應用 181
在Mesos 上運行Spark 應用 183
在Hadoop YARN 集群上運行Spark 應用 183
使用JDBC/ODBC 服務 186
配置Spark應用 187
Spark 的配置屬性 187
運行spark-submit 時的配置 187
監控Spark應用 188
使用Spark Streaming處理流式計算 189
Spark Streaming 如何工作 189
Spark Streaming 示例，又是WordCount 191
使用Spark SQL 處理結構化數據 192
數據框架 192
HiveContext 和SQLContext 193
使用Spark SQL 193
創建DataFrames 195
總結 195
第Ⅲ部分 管理和保護Hadoop數據和高可用性
第8章 NameNode的作用和HDFS的工作原理 199
HDFS—NameNode與DataNode之間的交互 200
客戶端和HDFS 之間的交互 200
NameNode 與DataNode 之間的通信 201
機架感知與拓撲邏輯 203
如何在集群中配置機架感知策略 204
找齣集群的機架信息 204
HDFS 數據副本 206
HDFS 數據組織和數據塊 207
數據復製 207
文件塊和副本狀態 209
客戶端如何讀寫HDFS數據 213
客戶端如何讀取HDFS 數據 213
客戶端如何嚮HDFS 寫數據 214
瞭解HDFS恢復過程 217
生成戳 218
租約恢復 218
塊恢復 219
管道恢復 219
HDFS中的集中式緩存管理 220
Hadoop 和OS 的頁麵緩存 221
集中式緩存管理的關鍵原則 221
集中式緩存管理如何工作 221
配置緩存 222
緩存指令 223
緩存池 223
使用緩存 223
Hadoop歸檔存儲、SSD和內存（異構存儲） 225
不同存儲類型的性能特點 225
對異構HDFS 存儲的需求 226
存儲體係結構的變化 227
文件的存儲首選項 228
設置歸檔存儲 228
管理存儲策略 232
移動數據 232
實現歸檔 233
總結 234
第9章 HDFS命令、HDFS權限和HDFS存儲 235
使用HDFS Shell命令管理HDFS 235
使用hdfs dfs 實用程序來管理HDFS 237
列齣HDFS 文件和目錄 239
創建HDFS 目錄 241
刪除HDFS 文件和目錄 242
更改文件和目錄所有權和組 242
使用dfsadmin實用程序執行HDFS操作 243
dfsadmin -report 命令 245
管理HDFS權限和用戶 247
HDFS 文件權限 247
HDFS 用戶和超級用戶 249
管理HDFS存儲 252
檢查HDFS 磁盤使用情況 252
分配HDFS 空間配額 255
重新均衡HDFS數據 259
HDFS 數據不均衡的原因 260
運行均衡器以均衡HDFS 數據 260
使用hdfs dfsadmin 使事情更簡單 263
何時運行均衡器 265
迴收HDFS空間 266
刪除文件和目錄 266
降低復製因子 266
總結 268
第10章 數據保護、文件格式和訪問HDFS 269
保護數據 270
使用HDFS 迴收站防止意外數據刪除 270
使用HDFS 快照保護重要數據 272
通過文件係統檢查確保數據完整性 276
數據壓縮 281
常用壓縮格式 282
評估各種壓縮方案 282
MapReduce 的各個階段的壓縮 283
Spark 的壓縮 286
數據序列化 286
Hadoop文件格式 287
確定正確文件格式的標準 288
Hadoop 支持的文件格式 289
理想文件格式 294
Hadoop 小文件問題和閤並文件 294
使用NameNode 聯閤架構剋服小文件問題 295
使用Hadoop Archives 管理小文件 295
減小小文件的性能影響 298
使用Hadoop WebHDFS和HttpFS 299
WebHDFS—Hadoop REST API 299
使用WebHDFS API 300
瞭解WebHDFS 命令 301
使用HttpFS 網關從防火牆後麵訪問HDFS 304
總結 306
第11章 NameNode操作、高可用性和聯閤 307
瞭解NameNode操作 308
HDFS 元數據 309
NameNode 啓動過程 311
NameNode 和DataNode 如何協同工作 311
檢查點操作 313
Secondary NameNode、檢查點節點、備份節點和Standby NameNode 314
配置檢查點操作頻率 315
管理檢查點性能 316
檢查點的機製 317
NameNode安全模式操作 319
自動安全模式操作 319
將NameNode 置於安全模式 320
NameNode 如何進行模式轉換 321
備份和恢復NameNode 元數據 322
配置HDFS高可用性 324
NameNode HA 架構（QJM） 325
設置HDFS HA Quorum 集群 327
部署高可用性NameNode 331
管理HA NameNode 設置 335
HA 手動和自動故障轉移 336
HDFS聯閤 338
聯閤NameNode 的體係結構 339
總結 340
第Ⅳ部分 數據遷移、資源分配、作業調度及安全
第12章 將數據導入和導齣Hadoop 343
Hadoop數據傳輸工具簡介 343
通過命令行將數據加載到HDFS 344
使用-cat 命令轉儲文件的內容 344
檢測HDFS 文件 345
從HDFS 或嚮HDFS 復製或移動文件 346
使用-get 命令移動文件 347
嚮HDFS 或從HDFS 移動文件 348
使用-tail 和head 命令 348
使用DistCp在HDFS集群之間復製數據 349
如何使用DistCp 命令移動數據 349
DistCp 選項 351
使用Sqoop從關係型數據庫獲取數據 353
Sqoop 架構 354
部署Sqoop 355
使用Sqoop 移動數據 356
使用Sqoop 導入數據 356
將數據導入Hive 367
使用Sqoop 導齣數據 369
通過Flume從外部來源采集數據 376
Flume 架構簡介 376
配置Flume agent 378
簡單的Flume 示例 379
使用Flume 將數據移動到HDFS 381
更復雜的Flume 示例 383
與Kafka交互數據 385
Kafka 的優點 386
Kafka 是如何工作的 386
設置Apache Kafka 集群 388
將Kafka 與Hadoop 和Storm 集成 392
總結 393
第13章 Hadoop集群中的資源分配 395
Hadoop中的資源分配 395
管理集群的工作負載 396
Hadoop 的資源調度器 397
FIFO調度器 398
容量調度器 399
隊列和子隊列 400
集群如何分配資源 405
搶占申請 408
啓用容量調度器 409
一個典型的容量調度器 409
公平調度器 413
隊列 414
配置公平調度器 415
作業是如何被放置到隊列中的 417
公平調度器中的應用搶占 418
安全和資源池 419
一個fair-scheduler.xml 示例文件 419
將作業提交到調度器 421
在隊列之間移動應用程序 421
監控公平調度器 422
容量調度器和公平調度器的對比 422
兩個調度器之間的相似之處 422
兩個調度器之間的差異 422
總結 423
第14章 使用Oozie管理作業工作流 425
使用Apache Oozie調度作業 425
Oozie架構 427
Oozie 服務器 427
Oozie 客戶端 428
Oozie 數據庫 428
在集群中部署Oozie 429
安裝和配置Oozie 430
為Oozie 配置Hadoop 432
瞭解Oozie工作流 434
工作流、控製流和節點 434
使用workflow.xml 文件定義工作流 435
Oozie如何運行一個動作 436
配置動作節點 437
創建Oozie工作流 442
配置控製節點 443
配置作業 448
運行Oozie工作流作業 449
指定作業屬性 449
部署Oozie 作業 451
創建動態工作流 451
Oozie 協調器 452
基於時間的協調器 453
基於數據的協調器 455
基於時間和數據的協調器 456
從命令行提交Oozie 協調器 457
管理和治理Oozie 458
常見的Oozie 命令 458
Oozie 故障排除 460
Oozie cron 調度和Oozie SLA 461
總結 462
第15章 Hadoop安全 463
Hadoop安全概覽 464
認證、授權和審計 466
使用Kerberos進行Hadoop認證 467
Kerberos 及其工作原理 467
Kerberos 認證過程 469
Kerberos 互信 470
一個特殊主體 471
將Kerberos 添加到集群中 471
Hadoop 相關的Kerberos 設置 476
使用Kerberos 保護Hadoop 集群 480
Kerberos 如何驗證用戶和服務 486
管理Kerberized Hadoop 集群 487
Hadoop授權 490
HDFS 權限 491
服務級授權 495
基於角色的Apache Sentry 權限設置 497
Hadoop審計 503
審計HDFS 操作 504
審計YARN 操作 504
Hadoop數據安全 505
HDFS 透明加密 505
加密轉換中的數據 508
其他Hadoop安全舉措 509
使用Apache Knox 網關保護Hadoop 基礎設施 509
Apache Ranger 安全管理 509
總結 510
第Ⅴ部分 監控、優化和故障排除
第16章 管理作業、使用Hue和執行常規任務 513
使用YARN命令管理Hadoop作業 514
查看YARN 應用程序 515
檢查應用程序的狀態 516
Kill 正在執行的作業 516
檢查節點狀態 517
檢查YARN 的隊列狀態 517
獲取作業的日誌 517
YARN 管理命令 518
下綫和上綫節點 519
包含和剔除主機 520
下綫DataNodes 和NodeManagers 521
重新上綫節點 522
關於下綫和重新上綫的注意事項 523
添加新的DataNode 和NodeManager 524
高可用性ResourceManager 524
高可用性ResourceManager 架構 525
設置高可用性ResourceManager 525
ResourceManager 故障轉移 526
使用ResourceManager 高可用性命令 528
執行常規管理任務 529
將NameNode 移動到不同的主機 529
管理高可用性NameNode 529
使用關閉/ 啓動腳本來管理集群 530
均衡HDFS 530
均衡DataNodes 上存儲 531
管理MySQL數據庫 532
配置MySQL 數據庫 532
配置高可用性MySQL 533
備份重要集群數據 535
備份HDFS 元數據 535
備份Metastore 數據庫 537
使用Hue管理集群 537
允許用戶使用Hue 538
安裝Hue 538
配置集群以使用Hue 540
管理Hue 544
使用Hue 544
使用HDFS的附加功能 545
在多宿主網絡中部署HDFS 和YARN 545
短路本地讀取 546
可掛載的HDFS 548
使用NFS 網關將HDFS 掛載到本地文件係統 549
總結 551
第17章 監控、指標和Hadoop日誌 553
監控Linux服務器 554
Linux 係統監控基礎 554
Linux 係統監控工具 556
Hadoop指標 559
Hadoop 指標類型 560
使用Hadoop 指標 561
收集文件係統的指標 561
使用Ganglia進行監測 563
Ganglia 架構 563
Ganglia 和Hadoop 整閤 564
設置Hadoop 指標 565
Hadoop日誌記錄 566
Hadoop 日誌消息 566
守護進程和應用程序日誌以及如何查看這些日誌 568
應用程序日誌記錄的工作原理 568
Hadoop 如何使用HDFS 目錄和本地目錄 570
NodeManager 如何使用本地目錄 571
通過日誌聚閤將作業日誌存儲在HDFS 中 576
使用Hadoop 守護程序日誌 580
使用Hadoop的Web UI進行監控 582
使用ResourceManager Web UI 監控作業 583
JobHistoryServer Web UI 589
使用NameNode Web UI 進行監控 591
監控其他Hadoop組件 592
監控Hive 592
監控Spark 593
總結 593
第18章 調優集群資源，優化MapReduce作業和基準測試 595
如何分配YARN內存和CPU 596
分配內存 596
配置CPU 內核數量 604
內存與CPU 之間的關係 605
配置高性能 605
推測執行 605
減少係統上的I/O 負載 608
調整map和reduce任務，管理員可以做什麼 608
map 任務調優 609
輸入和輸齣 610
reduce 任務調優 613
MapReduce shuffle 進程調優 615
優化Pig和Hive作業 617
優化Hive 作業 618
優化pig 作業 619
對集群進行基準測試 621
使用TestDFSIO 測試I / O 性能 621
使用TeraSort 進行基準測試 623
使用Hadoop 的Rumen 和GridMix 進行基準測試 625
Hadoop計數器 629
文件係統計數器 629
作業計數器 631
MapReduce 框架計數器 632
自定義Java 計數器 633
限製計數器數量 633
優化MapReduce 633
map-only 與map 及reduce 作業 634
使用combiners 提升MapReduce 性能 634
使用partitioner 提高性能 635
在MapReduce 過程中壓縮數據 636
太多的map 和reduce 任務 637
總結 639
第19章 在YARN上配置和調優Apache Spark 641
在YARN上配置Spark的資源分配 642
分配CPU 642
分配內存 642
如何把資源分配給Spark 642
Spark 應用程序的資源分配限製 643
將資源分配給驅動程序 645
為執行器配置資源 648
Spark 如何使用內存 652
要注意的事情 654
集群或客戶端模式 656
配置Spark 相關網絡參數 657
YARN Spark動態資源分配 658
動態和靜態資源分配 658
如何管理動態資源分配 658
啓用動態資源分配 659
存儲格式和壓縮數據 660
存儲格式 660
文件大小 662
壓縮 662
監控Spark應用程序 663
使用Spark Web UI 瞭解性能 663
Spark 係統和Metrics REST API 666
YARN 上的Spark 曆史記錄服務器 666
從命令行跟蹤作業 668
調優垃圾迴收 668
垃圾迴收機製 668
如何收集GC 統計數據 669
調優Spark Streaming應用程序 670
減少批處理時間 670
設置正確的批次間隔 670
調優內存和垃圾迴收 671
總結 671
第20章 優化Spark應用程序 673
重新審視Spark執行模型 674
Spark 執行模型 674
shuffle操作以及如何減少shuffle操作 676
WordCount 示例（再一次展示） 676
shuffle 操作的影響 678
配置shuffle 參數 679
分區和並行性（任務數） 684
並行度 685
極少數任務的問題 687
設置默認分區數 687
如何增加分區數量 688
使用Repartition（重新分區）和Coalesce（閤並）
操作來更改RDD 中的分區數 689
兩種類型的分區器 690
數據分區和如何避免shuffle 690
數據的序列化和壓縮優化 691
數據序列化 691
配置壓縮 692
Spark的SQL查詢優化器 693
優化步驟 693
Spark 的推測執行功能 695
數據本地化的重要性 696
緩存數據 698
緩存容錯 699
如何指定緩存 699
總結 704
第21章 Hadoop故障排除—樣例 705
空間相關問題 705
處理Linux 文件係統100% 使用的情況 706
HDFS 空間問題 707
本地目錄以及日誌目錄空間超齣 707
磁盤容錯 709
處理卡住的YARN作業 710
JVM內存分配與垃圾迴收策略 712
理解JVM 垃圾迴收 712
優化垃圾迴收 713
Analyzing Memory Usage 713
內存不足問題 714
ApplicationMaster 內存問題 715
處理不同類型的錯誤 716
處理守護進程失敗的情況 716
啓動Hadoop 守護進程失敗 717
任務和作業失敗 718
Spark作業故障排除 719
Spark 的容錯機製 720
殺死Spark 作業 720
一個作業的最大嘗試次數 720
一個作業最大的失敗次數 720
調試Spark應用 720
通過日誌聚閤訪問日誌 720
當日誌聚閤未開啓時訪問日誌 721
重新審視啓動環境 721
總結 722
附錄A 安裝VirtualBox和Linux以及虛擬機的剋隆 723
· · · · · · (收起)