第1章 深度學習基礎 1
1.1 數學基礎 2
1.1.1 矩陣論 2
1.1.2 概率論 3
1.1.3 優化分析 5
1.1.4 框架分析 6
1.2 稀疏錶示 8
1.2.1 稀疏錶示初步 8
1.2.2 稀疏模型 20
1.2.3 稀疏認知學習、計算與識彆的範式 24
1.3 機器學習與神經網絡 31
1.3.1 機器學習 31
1.3.2 神經網絡 36
參考文獻 38
第2章 深度前饋神經網絡 41
2.1 神經元的生物機理 42
2.1.1 生物機理 42
2.1.2 單隱層前饋神經網絡 43
2.2 多隱層前饋神經網絡 45
2.3 反嚮傳播算法 47
2.4 深度前饋神經網絡的學習範式 48
參考文獻 51
第3章 深度捲積神經網絡 54
3.1 捲積神經網絡的生物機理及數學刻畫 55
3.1.1 生物機理 55
3.1.2 捲積流的數學刻畫 56
3.2 深度捲積神經網絡 61
3.2.1 典型網絡模型與框架 61
3.2.2 學習算法及訓練策略 69
3.2.3 模型的優缺點分析 71
3.3 深度反捲積神經網絡 73
3.3.1 捲積稀疏編碼 74
3.3.2 深度反捲積神經網絡 75
3.3.3 網絡模型的性能分析與應用舉例 77
3.4 全捲積神經網絡 77
3.4.1 網絡模型的數學刻畫 77
3.4.2 網絡模型的性能分析及應用舉例 79
參考文獻 80
第4章 深度堆棧自編碼網絡 83
4.1 自編碼網絡 84
4.1.1 逐層學習策略 84
4.1.2 自編碼網絡 84
4.1.3 自編碼網絡的常見範式 87
4.2 深度堆棧網絡 90
4.3 深度置信網絡/深度玻爾茲曼機網絡 93
4.3.1 玻爾茲曼機/受限玻爾茲曼機 93
4.3.2 深度玻爾茲曼機/深度置信網絡 94
參考文獻 96
第5章 稀疏深度神經網絡 99
5.1 稀疏性的生物機理 100
5.1.1 生物視覺機理 100
5.1.2 稀疏性響應與數學物理描述 102
5.2 稀疏深度網絡模型及基本性質 102
5.2.1 數據的稀疏性 103
5.2.2 稀疏正則 103
5.2.3 稀疏連接 104
5.2.4 稀疏分類器設計 106
5.2.5 深度學習中關於稀疏的技巧與策略 108
5.3 網絡模型的性能分析 110
5.3.1 稀疏性對深度學習的影響 110
5.3.2 對比實驗及結果分析 110
參考文獻 111
第6章 深度融閤網絡 113
6.1 深度SVM網絡 114
6.1.1 從神經網絡到SVM 114
6.1.2 網絡模型的結構 115
6.1.3 訓練技巧 117
6.2 深度PCA網絡 117
6.3 深度ADMM網絡 119
6.4 深度極限學習機 121
6.4.1 極限學習機 121
6.4.2 深度極限學習機 123
6.5 深度多尺度幾何網絡 125
6.5.1 深度脊波網絡 125
6.5.2 深度輪廓波網絡 127
6.6 深度森林 130
6.6.1 多分辨特性融閤 131
6.6.2 級聯特徵深度處理 131
參考文獻 133
第7章 深度生成網絡 136
7.1 生成式對抗網絡的基本原理 137
7.1.1 網絡模型的動機 137
7.1.2 網絡模型的數學物理描述 139
7.2 深度捲積對抗生成網絡 141
7.2.1 網絡模型的基本結構 141
7.2.2 網絡模型的性能分析 144
7.2.3 網絡模型的典型應用 146
7.3 深度生成網絡模型的新範式 151
7.3.1 生成式對抗網絡的新範式 151
7.3.2 網絡框架的性能分析與改進 154
7.4 應用驅動下的兩種新生成式對抗網絡 155
7.4.1 堆棧生成式對抗網絡 155
7.4.2 對偶學習範式下的生成式對抗網絡 158
7.5 變分自編碼器 160
參考文獻 162
第8章 深度復捲積神經網絡與深度二值神經網絡 167
8.1 深度復捲積神經網絡 168
8.1.1 網絡模型構造的動機 168
8.1.2 網絡模型的數學物理描述 168
8.2 深度二值神經網絡 172
8.2.1 網絡基本結構 172
8.2.2 網絡的數學物理描述 173
8.2.3 討論 176
參考文獻 177
第9章 深度循環和遞歸神經網絡 180
9.1 深度循環神經網絡 181
9.1.1 循環神經網絡的生物機理 181
9.1.2 簡單的循環神經網絡 181
9.1.3 深度循環神經網絡的數學物理描述 183
9.2 深度遞歸神經網絡 188
9.2.1 簡單的遞歸神經網絡 188
9.2.2 深度遞歸神經網絡的優勢 189
9.3 長短時記憶神經網絡 190
9.3.1 改進動機分析 190
9.3.2 長短時記憶神經網絡的數學分析 191
9.4 典型應用 192
9.4.1 深度循環神經網絡的應用舉例 193
9.4.2 深度遞歸神經網絡的應用舉例 194
參考文獻 194
第10章 深度強化學習 197
10.1 深度強化學習基礎 198
10.1.1 深度強化學習的基本思路 198
10.1.2 發展曆程 198
10.1.3 應用的新方嚮 200
10.2 深度Q網絡 201
10.2.1 網絡基本模型與框架 201
10.2.2 深度Q網絡的數學分析 202
10.3 應用舉例—AlphaGo 204
10.3.1 AlphaGo原理分析 205
10.3.2 深度強化學習性能分析 206
參考文獻 207
第11章 深度學習軟件仿真平颱及開發環境 209
11.1 Caffe平颱 210
11.1.1 Caffe平颱開發環境 210
11.1.2 AlexNet神經網絡學習 210
11.1.3 AlexNet神經網絡應用於圖像分類 212
11.2 TensorFlow平颱 215
11.2.1 TensorFlow平颱開發環境 215
11.2.2 深度捲積生成式對抗網DCGAN 216
11.2.3 DAN應用於樣本擴充 217
11.3 MXNet平颱 220
11.3.1 MXNet平颱開發環境 220
11.3.2 VGG-NET深度神經網絡學習 222
11.3.3 圖像分類應用任務 225
11.4 Torch 7平颱 226
11.4.1 Torch 7平颱開發環境 226
11.4.2 二值神經網絡 227
11.4.3 二值神經網絡應用於圖像分類 239
11.5 Theano平颱 233
11.5.1 Theano平颱開發環境 233
11.5.2 遞歸神經網絡 234
11.5.3 LSTM應用於情感分類任務 237
參考文獻 238
第12章 基於深度神經網絡的SAR/PolSAR影像地物分類 240
12.1 數據集及研究目的 241
12.1.1 數據集特性分析 241
12.1.2 基本數據集 244
12.1.3 研究目的 247
12.2 基於深度神經網絡的SAR影像地物分類 251
12.2.1 基於自適應自編碼和超像素的SAR圖像分類 251
12.2.2 基於捲積中層特徵學習的SAR圖像分類 257
12.3 基於第一代深度神經網絡的PolSAR影像地物分類 263
12.3.1 基於稀疏極化DBN的極化SAR地物分類 263
12.3.2 基於深度PCA網絡的極化SAR影像地物分類 267
12.4 基於第二代深度神經網絡的PolSAR影像地物分類 271
12.4.1 基於深度復捲積網絡的極化PolSAR影像地物分類 271
12.4.2基於生成式對抗網的極化PolSAR影像地物分類 274
12.4.3基於深度殘差網絡的極化PolSAR影像地物分類 278
參考文獻 280
第13章 基於深度神經網絡的SAR影像變化檢測 284
13.1 數據集特點及研究目的 285
13.1.1 研究目的 285
13.1.2 數據基本特性 288
13.1.3 典型數據集 291
13.2 基於深度學習和SIFT特徵的SAR圖像變化檢測 293
13.2.1 基本方法與實現策略 284
13.2.2 對比實驗結果分析 295
13.3基於SAE的SAR圖像變化檢測 299
13.3.1 基本方法與實現策略 299
13.3.2 對比實驗結果分析 303
13.4基於CNN的SAR圖像變化檢測 305
13.4.1基本方法與實現策略 305
13.4.2對比實驗結果分析 307
參考文獻 309
第14章 基於深度神經網絡的高光譜圖像分類與壓縮 311
14.1 數據集及研究目的 312
14.1.1 高光譜遙感技術 312
14.1.2 高光譜遙感的研究目的 313
14.1.3 常用的高光譜數據集 314
14.2 基於深度神經網絡的高光譜影像的分類 318
14.2.1 基於堆棧自編碼的高光譜影像的分類 319
14.2.2 基於捲積神經網絡的高光譜影像的分類 325
14.3基於深度神經網絡的高光譜影像的壓縮 333
14.3.1 基於深度自編碼網絡的高光譜圖像壓縮方法 334
14.3.2 實驗設計及分類結果 336
參考文獻 338
第15章 基於深度神經網絡的目標檢測與識彆 340
15.1 數據特性及研究目的 341
15.1.1 研究目的 341
15.1.2 常用數據集 343
15.2 基於快速CNN的目標檢測與識彆 345
15.2.1 R-CNN 346
15.2.2 Fast R-CNN 348
15.2.3 Faster R-CNN 349
15.2.4 對比實驗結果與分析 352
15.3 基於迴歸學習的目標檢測與識彆 353
15.3.1 YOLO 353
15.3.2 SSD 356
15.3.3 對比實驗結果分析 359
15.4 基於學習搜索的目標檢測與識彆 360
15.4.1 基於深度學習的主動目標定位 360
15.4.2 AttentionNet 363
15.4.3 對比實驗結果分析 365
參考文獻 366
第16章 總結與展望 368
16.1 深度學習發展曆史圖 369
16.1.1 從機器學習、稀疏錶示學習到深度學習 370
16.1.2 深度學習、計算與認知的範式演進 371
16.1.3 深度學習形成脈絡 375
16.2 深度學習的典型應用 375
16.2.1 目標檢測與識彆 375
16.2.2 超分辨 376
16.2.3 自然語言處理 376
16.3 深度神經網絡的可塑性 377
16.3.1 鏇轉不變性 377
16.3.2 平移不變性 378
16.3.3 多尺度、多分辨和多通路特性 378
16.3.4 稀疏性 379
16.4 基於腦啓發式的深度學習前沿方嚮 380
16.4.1 生物神經領域關於認知、識彆、注意等的最新研究進展 380
16.4.2 深度神經網絡的進一步研究方嚮 382
16.4.3 深度學習的可拓展性 383
參考文獻 383
附錄A 基於深度學習的常見任務處理介紹 386
附錄B 代碼介紹 393
· · · · · · (收起)