第1章 概論 1
1.1 引子 2
1.2 大數據挑戰 3
1.3 大數據的存儲和管理 5
1.3.1 並行數據庫 5
1.3.2 NoSQL數據管理係統 6
1.3.3 NewSQL數據管理係統 8
1.3.4 雲數據管理 11
1.4 大數據的處理和分析 11
1.5 小結 13
參考文獻 13
理 論 篇
第2章 數據一緻性理論 16
2.1 CAP理論 17
2.2 數據一緻性模型 21
2.3 ACID與BASE 22
2.4 數據一緻性實現技術 23
2.4.1 Quorum係統NRW策略 23
2.4.2 兩階段提交協議 24
2.4.3 時間戳策略 27
2.4.4 Paxos 30
2.4.5 嚮量時鍾 38
2.5 小結 43
參考文獻 43
第3章 數據存儲模型 45
3.1 總論 46
3.2 鍵值存儲 48
3.2.1 Redis 49
3.2.2 Dynamo 49
3.3 列式存儲 50
3.3.1 Bigtable 51
3.3.2 Cassandra與HBase 51
3.4 文檔存儲 52
3.4.1 MongoDB 53
3.4.2 CouchDB 53
3.5 圖形存儲 54
3.5.1 Neo4j 55
3.5.2 GraphDB 55
3.6 本章小結 56
參考文獻 56
第4章 數據分區與放置策略 58
4.1 分區的意義 59
4.1.1 為什麼要分區 59
4.1.2 分區的優點 60
4.2 範圍分區 61
4.3 列錶分區 62
4.4 哈希分區 63
4.5 三種分區的比較 64
4.6 放置策略 64
4.6.1 一緻性哈希算法 65
4.6.2 容錯性與可擴展性分析 66
4.6.3 虛擬節點 68
4.7 小結 69
參考文獻 69
第5章 海量數據處理方法 70
5.1 MapReduce簡介 71
5.2 MapReduce數據流 72
5.3 MapReduce數據處理 75
5.3.1 提交作業 76
5.3.2 初始化作業 78
5.3.3 分配任務 78
5.3.4 執行任務 79
5.3.5 更新任務執行進度和狀態 80
5.3.6 完成作業 81
5.4 Dryad簡介 81
5.4.1 DFS Cosmos介紹 82
5.4.2 Dryad執行引擎 84
5.4.3 DryadLINQ解釋引擎 86
5.4.4 DryadLINQ編程 88
5.5 Dryad數據處理步驟 90
5.6 MapReduce vs Dryad 92
5.7 小結 94
參考文獻 95
第6章 數據復製與容錯技術 96
6.1 海量數據復製的作用和代價 97
6.2 海量數據復製的策略 97
6.2.1 Dynamo的數據庫復製策略 97
6.2.2 CouchDB的復製策略 99
6.2.3 PNUTS的復製策略 99
6.3 海量數據的故障發現與處理 101
6.3.1 Dynamo的數據庫的故障發現與處理 101
6.3.2 CouchDB的故障發現與處理 103
6.3.3 PNUTS的故障發現與處理 103
6.4 小結 104
參考文獻 104
第7章 數據壓縮技術 105
7.1 數據壓縮原理 106
7.1.1 數據壓縮的定義 106
7.1.2 數據為什麼可以壓縮 107
7.1.3 數據壓縮分類 107
7.2 傳統壓縮技術[1] 108
7.2.1 霍夫曼編碼 108
7.2.2 LZ77算法 109
7.3 海量數據帶來的3V挑戰 112
7.4 Oracle混閤列壓縮 113
7.4.1 倉庫壓縮 114
7.4.2 存檔壓縮 114
7.5 Google數據壓縮技術 115
7.5.1 尋找長的重復串 115
7.5.2 壓縮算法 116
7.6 Hadoop壓縮技術 118
7.6.1 LZO簡介 118
7.6.2 LZO原理[5] 119
7.7 小結 121
參考文獻 121
第8章 緩存技術 122
8.1 分布式緩存簡介 123
8.1.1 分布式緩存的産生 123
8.1.2 分布式緩存的應用 123
8.1.3 分布式緩存的性能 124
8.1.4 衡量可用性的標準 125
8.2 分布式緩存的內部機製 125
8.2.1 生命期機製 126
8.2.2 一緻性機製 126
8.2.3 直讀與直寫機製 129
8.2.4 查詢機製 130
8.2.5 事件觸發機製 130
8.3 分布式緩存的拓撲結構 130
8.3.1 復製式拓撲 131
8.3.2 分割式拓撲 131
8.3.3 客戶端緩存拓撲 131
8.4 小結 132
參考文獻 132
係 統 篇
第9章 key-value數據庫 134
9.1 key-value模型綜述 134
9.2 Redis 135
9.2.1 Redis概述 135
9.2.2 Redis下載與安裝 135
9.2.3 Redis入門操作 136
9.2.4 Redis在業內的應用 143
9.3 Voldemort 143
9.3.1 Voldemort概述 143
9.3.2 Voldemort下載與安裝 144
9.3.3 Voldemort配置 145
9.3.4 Voldemort開發介紹[3] 147
9.4 小結 149
參考文獻 149
第10章 Column-Oriented數據庫 150
10.1 Column-Oriented數據庫簡介 151
10.2 Bigtable數據庫 151
10.2.1 Bigtable數據庫簡介 151
10.2.2 Bigtable數據模型 152
10.2.3 Bigtable基礎架構 154
10.3 Hypertable數據庫 157
10.3.1 Hypertable簡介 157
10.3.2 Hypertable安裝 157
10.3.3 Hypertable架構 163
10.3.4 基本概念和原理 164
10.3.5 Hypertable的查詢 168
10.4 Cassandra數據庫 175
10.4.1 Cassandra簡介 175
10.4.2 Cassandra配置 175
10.4.3 Cassandra數據庫的連接 177
10.4.4 Cassandra集群機製 180
10.4.5 Cassandra的讀/寫機製 182
10.5 小結 183
參考文獻 183
第11章 文檔數據庫 185
11.1 文檔數據庫簡介 186
11.2 CouchDB數據庫 186
11.2.1 CouchDB簡介 186
11.2.2 CouchDB安裝 188
11.2.3 CouchDB入門 189
11.2.4 CouchDB查詢 200
11.2.5 CouchDB的存儲結構 207
11.2.6 SQL和CouchDB 209
11.2.7 分布式環境中的CouchDB 210
11.3 MongoDB數據庫 211
11.3.1 MongoDB簡介 211
11.3.2 MongoDB的安裝 212
11.3.3 MongoDB入門 215
11.3.4 MongoDB索引 224
11.3.5 SQL與MongoDB 226
11.3.6 MapReduce與MongoDB 229
11.3.7 MongoDB與CouchDB對比 234
11.4 小結 236
參考文獻 237
第12章 圖存數據庫 238
12.1 圖存數據庫的由來及基本概念 239
12.1.1 圖存數據庫的由來 239
12.1.2 圖存數據庫的基本概念 239
12.2 Neo4j圖存數據庫 240
12.2.1 Neo4j簡介 240
12.2.2 Neo4j使用教程 241
12.2.3 分布式Neo4j——Neo4j HA 251
12.2.4 Neo4j工作機製及優缺點淺析 256
12.3 GraphDB 258
12.3.1 GraphDB簡介 258
12.3.2 GraphDB的整體架構 260
12.3.3 GraphDB的數據模型 264
12.3.4 GraphDB的安裝 266
12.3.5 GraphDB的使用 268
12.4 OrientDB 276
12.4.1 背景 276
12.4.2 OrientDB是什麼 276
12.4.3 OrientDB的原理及相關技術 277
12.4.4 Windows下OrientDB的安裝與使用 282
12.4.5 相關Web應用 286
12.5 三種圖存數據庫的比較 288
12.5.1 特徵矩陣 288
12.5.2 分布式模式及應用比較 289
12.6 小結 289
參考文獻 290
第13章 基於Hadoop的數據管理係統 291
13.1 Hadoop簡介 292
13.2 HBase 293
13.2.1 HBase體係結構 293
13.2.2 HBase數據模型 297
13.2.3 HBase的安裝和使用 298
13.2.4 HBase與RDBMS 303
13.3 Pig 304
13.3.1 Pigr的安裝和使用 304
13.3.2 Pig Latin語言 306
13.3.3 Pig實例 311
13.4 Hive 315
13.4.1 Hive的數據存儲 316
13.4.2 Hive的元數據存儲 316
13.4.3 安裝Hive 317
13.4.4 HiveQL簡介 318
13.4.5 Hive的網絡接口（WebUI） 328
13.4.6 Hive的JDBC接口 328
13.5 小結 330
參考文獻 331
第14章 NewSQL數據庫 332
14.1 NewSQL數據庫簡介 333
14.2 MySQL Cluster 333
14.2.1 概述 334
14.2.2 MySQL Cluster的層次結構 336
14.2.3 MySQL Cluster的優勢和應用 337
14.2.4 海量數據處理中的sharding技術 339
14.2.5 單機環境下MySQL Cluster的安裝 343
14.2.6 MySQL Cluster的分布式安裝與配置指導 348
14.3 VoltDB 350
14.3.1 傳統關係數據庫與VoltDB 351
14.3.2 VoltDB的安裝與配置 351
14.3.3 VoltDB組件 354
14.3.4 Hello World 355
14.3.5 使用Generate腳本 361
14.3.6 Eclipse集成開發 362
14.4 小結 365
參考文獻 365
第15章 分布式緩存係統 366
15.1 Memcached緩存技術 367
15.1.1 背景介紹 367
15.1.2 Memcached緩存技術的特點 368
15.1.3 Memcached安裝[3] 374
15.1.4 Memcached中的數據操作 375
15.1.5 Memcached的使用 376
15.2 Microsoft Velocity分布式緩存係統 378
15.2.1 Microsoft Velocity簡介 378
15.2.2 數據分類 379
15.2.3 Velocity核心概念 380
15.2.4 Velocity安裝 382
15.2.5 一個簡單的Velocity客戶端應用 385
15.2.6 擴展型和可用性 387
15.3 小結 388
參考文獻 388
應 用 篇
第16章 企業應用 392
16.1 Instagram 393
16.1.1 Instagram如何應對數據的急劇增長 395
16.1.2 Instagram的數據分片策略 398
16.2 Facebook對Hadoop以及HBase的應用 400
16.2.1 工作負載類型 401
16.2.2 為什麼采用Apache Hadoop和HBase 403
16.2.3 實時HDFS 405
16.2.4 Hadoop HBase的實現 409
16.3 淘寶大數據解決之道 411
16.3.1 淘寶數據分析 412
16.3.2 淘寶大數據挑戰 413
16.3.3 淘寶OceanBase數據庫 414
16.3.4 淘寶將來的工作 422
16.4 小結 423
參考文獻 423
· · · · · · (收起)