第1章 混沌初開——存儲係統的前世今生 1
1.1 存儲曆史 2
1.2 信息、數據和數據存儲 6
1.2.1 信息 6
1.2.2 什麼是數據 7
1.2.3 數據存儲 8
1.3 用計算機來處理信息、保存數據 9
第2章 IO大法——走進計算機IO世界 11
2.1 IO的通路——總綫 12
2.2 計算機內部通信 13
2.2.1 IO總綫是否可以看作網絡 14
2.2.2 CPU、內存和磁盤之間通過網絡來通信 15
2.3 網中之網 16
第3章 磁盤大挪移——磁盤原理與技術詳解 19
3.1 硬盤結構 20
3.1.1 盤片上的數據組織 21
3.1.2 硬盤控製電路簡介 27
3.1.3 磁盤的IO單位 28
3.2 磁盤的通俗演繹 29
3.3 磁盤相關高層技術 31
3.3.1 磁盤中的隊列技術 31
3.3.2 無序傳輸技術 32
3.3.3 幾種可控磁頭掃描方式概論 32
3.3.4 關於磁盤緩存 34
3.3.5 影響磁盤性能的因素 35
3.4 硬盤接口技術 36
3.4.1 IDE硬盤接口 36
3.4.2 SATA硬盤接口 39
3.5 SCSI硬盤接口 42
3.6 磁盤控製器、驅動器控製電路和磁盤控製器驅動程序 50
3.6.1 磁盤控製器 50
3.6.2 驅動器控製電路 50
3.6.3 磁盤控製器驅動程序 50
3.7 內部傳輸速率和外部傳輸速率 51
3.7.1 內部傳輸速率 51
3.7.2 外部傳輸速率 52
3.8 並行傳輸和串行傳輸 52
3.8.1 並行傳輸 52
3.8.2 串行傳輸 54
3.9 磁盤的IOPS和傳輸帶寬（吞吐量） 54
3.9.1 IOPS 54
3.9.2 傳輸帶寬 56
3.10 固態存儲介質和固態硬盤 56
3.10.1 SSD固態硬盤的硬件組成 57
3.10.2 從Flash芯片讀取數據的過程 60
3.10.3 嚮Flash芯片中寫入數據的過程 61
3.10.4 Flash芯片的通病 63
3.10.5 NAND與NOR 64
3.10.6 SSD給自己開的五劑良藥 65
3.10.7 SSD如何處理Cell損壞 68
3.10.8 SSD的前景 68
3.11 Memblaze閃存産品介紹 69
3.11.1 技術能力 70
3.11.2 産品能力 73
3.12 小結：網中有網，網中之網 75
第4章 七星北鬥——大話/詳解七種RAID 77
4.1 大話七種RAID武器 78
4.1.1 RAID 0陣式 78
4.1.2 RAID 1陣式 80
4.1.3 RAID 2陣式 82
4.1.4 RAID 3陣式 85
4.1.5 RAID 4陣式 88
4.1.6 RAID 5陣式 90
4.1.7 RAID 6陣式 94
4.2 七種RAID技術詳解 96
4.2.1 RAID 0技術詳析 99
4.2.2 RAID 1技術詳析 100
4.2.3 RAID 2技術詳析 102
4.2.4 RAID 3技術詳析 104
4.2.5 RAID 4技術詳析 106
4.2.6 RAID 5技術詳析 109
4.2.7 RAID 6技術詳析 113
第5章 降龍傳說——RAID、虛擬磁盤、捲和文件係統實戰 115
5.1 操作係統中RAID的實現和配置 116
5.1.1 Windows Server 2003高級磁盤管理 116
5.1.2 Linux下軟RAID配置示例 121
5.2 RAID卡 123
5.3 磁盤陣列 134
5.3.1 RAID 50 134
5.3.2 RAID 10和RAID 01 135
5.4 虛擬磁盤 136
5.4.1 RAID組的再劃分 136
5.4.2 同一通道存在多種類型的RAID組 137
5.4.3 操作係統如何看待邏輯磁盤 137
5.4.4 RAID控製器如何管理邏輯磁盤 137
5.5 捲管理層 138
5.5.1 有瞭邏輯盤就萬事大吉瞭麼？ 138
5.5.2 深入捲管理層 140
5.5.3 Linux下配置LVM實例 141
5.5.4 捲管理軟件的實現 143
5.5.5 低級VM和高級VM 144
5.5.6 VxVM捲管理軟件配置簡介 146
5.6 大話文件係統 149
5.6.1 成何體統——沒有規矩的倉庫 149
5.6.2 慧眼識人——交給下一代去設計 150
5.6.3 無孔不入——不浪費一點空間 150
5.6.4 一箭雙雕——一張圖解決兩個難題 151
5.6.5 寬容似海——設計也要像心胸一樣寬 153
5.6.6 老將齣馬——權威發布 153
5.6.7 一統江湖——所有操作係統都在用 154
5.7 文件係統中的IO方式 154
第6章 陣列之行——大話磁盤陣列 157
6.1 初露端倪——外置磁盤櫃應用探索 158
6.2 精益求精——結閤RAID卡實現外置磁盤陣列 159
6.3 獨立宣言——獨立的外部磁盤陣列 161
6.4 雙龍戲珠——雙控製器的高安全性磁盤陣列 163
6.5 龍頭鳳尾——連接多個擴展櫃 165
6.6 錦上添花——完整功能的模塊化磁盤陣列 166
6.7 一脈相承——主機和磁盤陣列本是一傢 167
6.8 天羅地網——SAN 169
第7章 熟讀寶典——係統與係統之間的語言OSI 171
7.1 人類模型與計算機模型的對比剖析 172
7.1.1 人類模型 172
7.1.2 計算機模型 173
7.1.3 個體間交流是群體進化的動力 174
7.2 係統與係統之間的語言——OSI初步 174
7.3 OSI模型的七個層次 176
7.3.1 應用層 176
7.3.2 錶示層 176
7.3.3 會話層 176
7.3.4 傳輸層 177
7.3.5 網絡層 177
7.3.6 數據鏈路層 178
7.3.7 物理層 181
7.4 OSI與網絡 182
第8章 勇破難關——Fibre Channel協議詳解 185
8.1 FC網絡——極佳的候選角色 186
8.1.1 物理層 186
8.1.2 鏈路層 186
8.1.3 網絡層 188
8.1.4 傳輸層 194
8.1.5 上三層 195
8.1.6 小結 195
8.2 FC協議中的七種端口類型 196
8.2.1 N端口和F端口 196
8.2.2 L端口 196
8.2.3 NL端口和FL端口 197
8.2.4 E端口 199
8.2.5 G端口 199
8.3 FC適配器 200
8.4 改造盤陣前端通路——SCSI遷移到FC 201
8.5 引入FC之後 202
8.6 多路徑訪問目標 206
8.7 FC交換網絡節點4次Login過程簡析 210
第9章 天翻地覆——FC協議的巨大力量 211
9.1 FC交換網絡替代並行SCSI總綫的必然性 212
9.1.1 麵嚮連接與麵嚮無連接 212
9.1.2 串行和並行 213
9.2 不甘示弱——後端也升級換代為FC 213
9.3 FC革命——完整的盤陣解決方案 215
9.3.1 FC磁盤接口結構 215
9.3.2 一個磁盤同時連入兩個控製器的Loop中 216
9.3.3 共享環路還是交換——SBOD芯片級詳解 217
9.4 SAS大革命 228
9.4.1 SAS物理層 228
9.4.2 SAS鏈路層 230
9.4.3 SAS網絡層 232
9.4.4 SAS傳輸層和應用層 234
9.4.5 SAS的應用設計和實際應用示例 237
9.4.6 SAS目前的優勢和麵臨的挑戰 238
9.5 中高端磁盤陣列整體架構簡析 239
9.5.1 IBM DS4800和DS5000控製器架構簡析 240
9.5.2 NetApp FAS係列磁盤陣列控製器簡析 249
9.5.3 IBM DS8000簡介 250
9.5.4 富士通ETERNUS DX8000磁盤陣列控製器結構簡析 251
9.5.5 EMC公司Clariion CX/CX3及DMX係列盤陣介紹 254
9.5.6 HDS公司AMS2000和USP係列盤陣介紹 260
9.5.7 HP公司MSA2000和EVA8000存儲係統架構簡介 264
9.5.8 傳統磁盤陣列架構總結 265
9.6 磁盤陣列配置實踐 266
9.6.1 基於IBM的DS4500盤陣的配置實例 266
9.6.2 基於EMC的CX700磁盤陣列配置實例 272
9.7 HBA卡邏輯架構詳析與SAN Boot示例 275
9.7.1 HBA卡邏輯架構 275
9.7.2 支持Boot的HBA卡訪問流程 277
9.8 國産中高端FC磁盤陣列 280
9.8.1 Infortrend中低端ESDS係列存儲係統 281
9.8.2 Infortrend中高端ESVA係列存儲係統 284
9.8.3 Infortrend存儲軟件特性及配置界麵 284
9.9 小結 287
第10章 三足鼎立——DAS、SAN和NAS 289
10.1 NAS也瘋狂 290
10.1.1 另闢蹊徑——亂談NAS的起傢 290
10.1.2 雙管齊下——兩種方式訪問的後端存儲網絡 293
10.1.3 萬物歸一——網絡文件係統 293
10.1.4 美其名曰——NAS 302
10.2 龍爭虎鬥——NAS與SAN之爭 303
10.2.1 SAN快還是NAS快 303
10.2.2 SAN好還是NAS好 305
10.2.3 與SAN設備的通信過程 305
10.2.4 與NAS設備的通信過程 306
10.2.5 文件提供者 307
10.2.6 NAS的本質 308
10.3 DAS、SAN和NAS 308
10.4 最終幻想——將文件係統語言承載於FC網絡傳輸 309
10.5 長路漫漫——存儲係統架構演化過程 309
10.5.1 第一階段：全整閤階段 310
10.5.2 第二階段：磁盤外置階段 310
10.5.3 第三階段：外部獨立磁盤陣列階段 310
10.5.4 第四階段：網絡化獨立磁盤陣列階段 310
10.5.5 第五階段：瘦服務器主機、獨立NAS階段 311
10.5.6 第六階段：全分離式階段 311
10.5.7 第七階段：統一整閤階段 312
10.5.8 第八階段：迅速膨脹階段 312
10.5.9 第九階段：收縮階段 313
10.5.10 第十階段：強烈坍縮階段 313
10.6 泰山北鬥——NetApp的NAS産品 314
10.6.1 WAFL配閤RAID 4 314
10.6.2 Data ONTAP利用瞭數據庫管理係統的設計 315
10.6.3 利用NVRAM來記錄操作日誌 315
10.6.4 WAFL從不覆寫數據 316
10.7 初露鋒芒——BlueArc公司的NAS産品 316
10.8 寶刀未老——Infortrend公司NAS産品 318
第11章 大師之作——大話以太網和TCP/IP協議 321
11.1 共享總綫式以太網 322
11.1.1 連起來 322
11.1.2 找目標 322
11.1.3 發數據 323
11.2 網橋式以太網 324
11.3 交換式以太網 325
11.4 TCP/IP協議 326
11.4.1 TCP/IP協議中的IP 326
11.4.2 IP的另外一個作用 327
11.4.3 TCP/IP協議中的TCP和UDP 327
11.5 TCP/IP和以太網的關係 330
第12章 異軍突起——存儲網絡的新軍IP SAN 331
12.1 橫眉冷對——TCP/IP與FC 332
12.2 自嘆不如——為何不是以太網+TCP/IP 332
12.3 天生我纔必有用——攻陷Disk SAN陣地 333
12.4 iSCSI交互過程簡析 334
12.4.1 實例一：初始化磁盤過程 334
12.4.2 實例二：新建一個文本文檔 337
12.4.3 實例三：文件係統位圖 340
12.5 iSCSI磁盤陣列 342
12.6 IP SAN 343
12.7 增強以太網和TCP/IP的性能 344
12.8 FC SAN節節敗退 346
12.9 iSCSI配置應用實例 346
12.9.1 第一步：在存儲設備上創建LUN 346
12.9.2 第二步：在主機端掛載LUN 349
12.10 iSCSI卡Boot配置示例 351
12.11 10Gb以太網的威力初顯 352
12.12 小結 353
第13章 握手言和——IP與FC融閤的結果 355
13.1 FC的窘境 356
13.2 協議融閤的迫切性 357
13.3 網絡通信協議的四級結構 360
13.4 協議融閤的三種方式 362
13.5 Tunnel和Map融閤方式各論 362
13.5.1 Tunnel方式 363
13.5.2 Map方式 364
13.6 FC與IP協議之間的融閤 366
13.7 無處不在的協議融閤 367
13.8 交叉融閤 367
13.9 IFCP和FCIP的具體實現 368
13.10 局部隔離/全局共享的存儲網絡 370
13.11 多協議混雜的存儲網絡 371
13.12 IP Over FC 372
13.13 FCoE 374
13.13.1 FCoE的由來 374
13.13.2 FcoE的設計框架 374
13.13.3 FcoE卡 375
13.13.4 FCoE交換機 376
13.13.5 解剖FCoE交換機 377
13.13.6 存儲陣列設備端的改動 380
13.13.7 FCoE與iSCSI 380
13.13.8 FcoE的前景 380
13.13.9 Open FCoE 381
第14章 變幻莫測——虛擬化 383
14.1 操作係統對硬件的虛擬化 384
14.2 計算機存儲子係統的虛擬化 385
14.3 帶內虛擬化和帶外虛擬化 389
14.4 硬網絡與軟網絡 392
14.5 用多颱獨立的計算機模擬成一颱虛擬計算機 393
14.6 用一颱獨立的計算機模擬齣多颱虛擬計算機 393
14.7 用磁盤陣列來虛擬磁帶庫 394
14.8 用控製器來虛擬其他磁盤陣列 402
14.9 飛康NSS存儲虛擬化係統 404
14.9.1 存儲虛擬化相關技術 405
14.9.2 數據保護相關技術和産品 409
14.9.3 異構遷移和容災相關技術和産品 409
第15章 眾誌成城——存儲集群 413
15.1 集群概述 414
15.1.1 高可用性集群（HAC） 414
15.1.2 負載均衡集群（LBC） 414
15.1.3 高性能集群（HPC） 414
15.2 集群的適用範圍 415
15.3 係統路徑上的集群各論 415
15.3.1 硬件層麵的集群 415
15.3.2 軟件層麵的集群 416
15.4 實例：Microsoft MSCS軟件實現應用集群 417
15.4.1 在Microsoft Windows Server 2003上安裝MSCS 417
15.4.2 配置心跳網絡 419
15.4.3 測試安裝 419
15.4.4 測試故障轉移 420
15.5 實例：SQL Server集群安裝配置 420
15.5.1 安裝SQL Server 420
15.5.2 驗證SQL 數據庫集群功能 423
15.6 塊級集群存儲係統 425
15.6.1 IBM XIV集群存儲係統 427
15.6.2 3PAR公司Inserv-T800集群存儲係統 436
15.6.3 EMC公司Symmetrix V-MAX集群存儲係統 439
15.7 集群NAS係統和集群文件係統 446
15.7.1 HP公司的Ibrix集群NAS係統 446
15.7.2 Panasas和pNFS 449
15.7.3 此“文件係統”非彼“文件係統” 450
15.7.4 什麼是Single Name Space 451
15.7.5 Single Filesystem Image與Single Path Image 452
15.7.6 集群中的分布式鎖機製 453
15.7.7 集群文件係統的緩存一緻性 454
15.7.8 集群NAS的本質 455
15.7.9 塊級集群與NAS集群的融閤猜想 456
15.8 對象存儲係統 456
15.9 當前主流的集群文件係統架構分類與對比 462
15.9.1 共享與非共享存儲型集群 462
15.9.2 對稱式與非對稱式集群 463
15.9.3 自助型與服務型集群 464
15.9.4 SPI與SFI型集群 465
15.9.5 串行與並行集群 466
15.9.6 集群/並行/分布式/共享文件係統各論 467
15.9.7 集群NAS係統的三層架構 468
15.9.8 實際中的各種集群拓撲一覽 468
15.10 帶外共享SAN文件係統 471
15.10.1 SAN共享文件係統 471
15.10.2 針對NAS和SAN文件係統的並行化改造 472
15.10.3 SAN FS實例分析 473
15.11 集群的本質——一種自組自控輪迴的Raid 475
15.11.1 三統理論 476
15.11.2 並行的不僅可以是文件 478
15.11.3 集群底層與上層解耦 479
15.11.4 雲基礎架構 480
15.12 純軟Scale-Out SAN 480
15.13 互聯網運營商的特殊集群——NoSQL 481
第16章 未雨綢繆——數據保護和備份技術 485
16.1 數據保護 486
16.1.1 文件級備份 486
16.1.2 塊級備份 487
16.2 高級數據保護方法 487
16.2.1 遠程文件復製 487
16.2.2 遠程磁盤（捲）鏡像 487
16.2.3 快（塊）照數據保護 488
16.2.4 捲Clone 516
16.2.5 Continuous Data Protect（CDP，連續數據保護） 522
16.2.6 VSS公共快照服務 566
16.2.7 快照、剋隆、CDP與平行宇宙 567
16.2.8 高幀率IO級數據錄像 568
16.3 數據備份係統的基本要件 576
16.3.1 備份目標 576
16.3.2 備份通路 579
16.3.3 備份引擎 581
16.3.4 三種備份方式 585
16.3.5 數據備份係統案例一 586
16.3.6 數據備份係統案例二 587
16.3.7 NetBackup配置指南 588
16.3.8 配置DB2數據庫備份 599
16.4 與業務應用相結閤的快照備份和容災 606
第17章 愚公移山——大話數據容災 609
17.1 容災概述 610
17.2 生産資料容災——原始數據的容災 611
17.2.1 通過主機軟件實現前端專用網絡或者前端公用網絡同步 612
17.2.2 案例：DB2數據的HADR組件容災 615
17.2.3 通過主機軟件實現後端專用網絡同步 621
17.2.4 通過數據存儲設備軟件實現專用網絡同步 625
17.2.5 案例：IBM公司Remote Mirror容災實施 626
17.2.6 小結 629
7.3 容災中數據的同步復製和異步復製 630
17.3.1 同步復製例解 630
17.3.2 異步復製例解 631
17.4 容災係統數據一緻性保證與故障恢復機製 632
17.4.1 數據一緻性問題的産生 632
17.4.2 對異步數據復製過程中一緻性保證的實現方式 634
17.4.3 災難後的切換與迴切同步過程 645
17.4.4 周期性異步復製與連續異步復製 646
17.5 四大廠商的數據容災係統方案概述 646
17.5.1 IBM公司的PPRC 646
17.5.2 EMC公司的MirrorView、SanCopy和SRDF 647
17.5.3 HDS公司的Truecopy 649
17.5.4 NetApp公司的Snapmirror 649
17.6 生産者的容災——服務器應用程序的容災 650
17.6.1 生産者容災概述 651
17.6.2 案例一：基於Symantec公司的應用容災産品VCS① 655
17.6.3 案例二：基於Symantec公司的應用容災産品VCS② 658
17.7 虛擬容災技術 660
17.8 一體化先行軍——愛數一體化備份存儲櫃 660
17.8.1 愛數備份存儲櫃3.5産品架構分析 661
17.8.2 愛數備份存儲櫃v3.5獨特技術 663
17.8.3 國産存儲的方嚮 665
17.9 Infortrend RR遠程復製技術 666
17.10 飛康RecoverTrac容災管理係統 667
17.11 帶寬、延遲及其影響 674
第18章 鬼斧神工——數據前處理與後處理 677
18.1 數據存儲和數據管理 678
18.2 存儲係統之虛實陰陽論 678
18.3 Data Cooker各論 679
18.3.1 Thin Provision/Over Allocation 679
18.3.2 LUN Space Reclaiming（Unprovision/Deprovision，Get Thin） 686
18.3.3 Tier（分級）/Migrating（遷移） 689
18.3.4 Deduplication（重復數據刪除） 721
18.3.5 磁盤數據一緻性保護及錯誤恢復 736
第19章 過關斬將——係統IO路徑及優化 745
19.1 理解並記憶主機端IO路徑架構圖 747
19.1.1 應用程序層 748
19.1.2 文件係統層 787
19.1.3 捲管理層 795
19.1.4 層與層之間的調度員：IO Manager 806
19.1.5 底層設備驅動層 814
19.2 理解並記憶存儲端IO路徑架構圖 843
19.2.1 物理磁盤層 843
19.2.2 物理磁盤組織層 844
19.2.3 後端磁盤控製器/適配器層 845
19.2.4 RAID管理層 845
19.2.5 LUN管理層 848
19.2.6 前端接口設備及驅動層 856
19.2.7 緩存管理層 856
19.2.8 數據前處理和後處理層 865
19.2.9 存儲係統處理一個IO的一般典型流程 865
19.3 IO性能問題診斷總論 866
19.3.1 所謂“優化”的含義 867
19.3.2 如何發現係統癥狀 868
19.3.3 六劑良藥治愈IO性能低下 868
19.3.4 麵嚮SSD的IO處理過程優化 873
19.4 小結：再論機器世界與人類世界 874
第20章 騰雲駕霧——大話雲存儲 875
20.1 太始之初——“雲”的由來 876
20.1.1 觀點1：雲即設備 876
20.1.2 觀點2：雲即集群 877
20.1.3 觀點3：雲即IT係統 877
20.1.4 觀點4：雲即服務 877
20.1.5 雲目前最主流的定義 878
20.2 混沌初開——是誰催生瞭雲 878
20.2.1 一切皆以需求為導嚮 878
20.2.2 雲對外錶現為一種商業模式 879
20.3 落地生根——以需求為導嚮的係統架構變化 880
20.3.1 雲對內錶現為一種技術架構 880
20.3.2 雲到底是模式還是技術 882
20.3.3 公有雲和私有雲 883
20.4 撥雲見日——雲係統架構及其組成部分 885
20.4.1 物理支撐層 885
20.4.2 基礎IT架構層 885
20.4.3 基礎架構/集群管理層 886
20.4.4 資源部署層 886
20.4.5 中間件層 886
20.4.6 應用引擎層 887
20.4.7 業務展現與運營層 887
20.5 真相大白——實例說雲 889
20.5.1 3Tera Applogic 889
20.5.2 IBM Blue Could 898
20.6 乘風破浪——睏難還是非常多的 903
20.6.1 雲的優點 903
20.6.2 雲目前存在的問題 904
20.7 韆年之夢——雲今後的發展 905
20.7.1 雲本質思考 905
20.7.2 身邊的各種雲服務 907
20.7.3 進化還是退化 908
20.7.4 雲發展展望 908
20.7.5 Micro、Mini、Normal、Huge、Gird彈性數據中心 909
20.7.6 彈性層的齣現將會讓數據中心擁有兩套性能指標 910
20.8 塵埃落定——雲所體現齣來的哲學思想 911
20.8.1 輪迴往復——雲的哲學形態 911
20.8.2 智慧之雲——雲的最終境界 911
20.8.3 雲在哲學上所具有的性質 912
20.8.4 雲基礎架構的藝術與哲學意境 912
20.8.5 縱觀存儲發展時代——雲發展預測 914
20.9 結束語 917
附錄1 存儲係統問與答精華集錦 919
附錄2 IP硬盤——玩玩還是來真的？ 979
附錄3 新技術將如何影響數據中心存儲係統 983
後記 989
· · · · · · (收起)