第1章 深度学习基础 1
1.1 数学基础 2
1.1.1 矩阵论 2
1.1.2 概率论 3
1.1.3 优化分析 5
1.1.4 框架分析 6
1.2 稀疏表示 8
1.2.1 稀疏表示初步 8
1.2.2 稀疏模型 20
1.2.3 稀疏认知学习、计算与识别的范式 24
1.3 机器学习与神经网络 31
1.3.1 机器学习 31
1.3.2 神经网络 36
参考文献 38
第2章 深度前馈神经网络 41
2.1 神经元的生物机理 42
2.1.1 生物机理 42
2.1.2 单隐层前馈神经网络 43
2.2 多隐层前馈神经网络 45
2.3 反向传播算法 47
2.4 深度前馈神经网络的学习范式 48
参考文献 51
第3章 深度卷积神经网络 54
3.1 卷积神经网络的生物机理及数学刻画 55
3.1.1 生物机理 55
3.1.2 卷积流的数学刻画 56
3.2 深度卷积神经网络 61
3.2.1 典型网络模型与框架 61
3.2.2 学习算法及训练策略 69
3.2.3 模型的优缺点分析 71
3.3 深度反卷积神经网络 73
3.3.1 卷积稀疏编码 74
3.3.2 深度反卷积神经网络 75
3.3.3 网络模型的性能分析与应用举例 77
3.4 全卷积神经网络 77
3.4.1 网络模型的数学刻画 77
3.4.2 网络模型的性能分析及应用举例 79
参考文献 80
第4章 深度堆栈自编码网络 83
4.1 自编码网络 84
4.1.1 逐层学习策略 84
4.1.2 自编码网络 84
4.1.3 自编码网络的常见范式 87
4.2 深度堆栈网络 90
4.3 深度置信网络/深度玻尔兹曼机网络 93
4.3.1 玻尔兹曼机/受限玻尔兹曼机 93
4.3.2 深度玻尔兹曼机/深度置信网络 94
参考文献 96
第5章 稀疏深度神经网络 99
5.1 稀疏性的生物机理 100
5.1.1 生物视觉机理 100
5.1.2 稀疏性响应与数学物理描述 102
5.2 稀疏深度网络模型及基本性质 102
5.2.1 数据的稀疏性 103
5.2.2 稀疏正则 103
5.2.3 稀疏连接 104
5.2.4 稀疏分类器设计 106
5.2.5 深度学习中关于稀疏的技巧与策略 108
5.3 网络模型的性能分析 110
5.3.1 稀疏性对深度学习的影响 110
5.3.2 对比实验及结果分析 110
参考文献 111
第6章 深度融合网络 113
6.1 深度SVM网络 114
6.1.1 从神经网络到SVM 114
6.1.2 网络模型的结构 115
6.1.3 训练技巧 117
6.2 深度PCA网络 117
6.3 深度ADMM网络 119
6.4 深度极限学习机 121
6.4.1 极限学习机 121
6.4.2 深度极限学习机 123
6.5 深度多尺度几何网络 125
6.5.1 深度脊波网络 125
6.5.2 深度轮廓波网络 127
6.6 深度森林 130
6.6.1 多分辨特性融合 131
6.6.2 级联特征深度处理 131
参考文献 133
第7章 深度生成网络 136
7.1 生成式对抗网络的基本原理 137
7.1.1 网络模型的动机 137
7.1.2 网络模型的数学物理描述 139
7.2 深度卷积对抗生成网络 141
7.2.1 网络模型的基本结构 141
7.2.2 网络模型的性能分析 144
7.2.3 网络模型的典型应用 146
7.3 深度生成网络模型的新范式 151
7.3.1 生成式对抗网络的新范式 151
7.3.2 网络框架的性能分析与改进 154
7.4 应用驱动下的两种新生成式对抗网络 155
7.4.1 堆栈生成式对抗网络 155
7.4.2 对偶学习范式下的生成式对抗网络 158
7.5 变分自编码器 160
参考文献 162
第8章 深度复卷积神经网络与深度二值神经网络 167
8.1 深度复卷积神经网络 168
8.1.1 网络模型构造的动机 168
8.1.2 网络模型的数学物理描述 168
8.2 深度二值神经网络 172
8.2.1 网络基本结构 172
8.2.2 网络的数学物理描述 173
8.2.3 讨论 176
参考文献 177
第9章 深度循环和递归神经网络 180
9.1 深度循环神经网络 181
9.1.1 循环神经网络的生物机理 181
9.1.2 简单的循环神经网络 181
9.1.3 深度循环神经网络的数学物理描述 183
9.2 深度递归神经网络 188
9.2.1 简单的递归神经网络 188
9.2.2 深度递归神经网络的优势 189
9.3 长短时记忆神经网络 190
9.3.1 改进动机分析 190
9.3.2 长短时记忆神经网络的数学分析 191
9.4 典型应用 192
9.4.1 深度循环神经网络的应用举例 193
9.4.2 深度递归神经网络的应用举例 194
参考文献 194
第10章 深度强化学习 197
10.1 深度强化学习基础 198
10.1.1 深度强化学习的基本思路 198
10.1.2 发展历程 198
10.1.3 应用的新方向 200
10.2 深度Q网络 201
10.2.1 网络基本模型与框架 201
10.2.2 深度Q网络的数学分析 202
10.3 应用举例—AlphaGo 204
10.3.1 AlphaGo原理分析 205
10.3.2 深度强化学习性能分析 206
参考文献 207
第11章 深度学习软件仿真平台及开发环境 209
11.1 Caffe平台 210
11.1.1 Caffe平台开发环境 210
11.1.2 AlexNet神经网络学习 210
11.1.3 AlexNet神经网络应用于图像分类 212
11.2 TensorFlow平台 215
11.2.1 TensorFlow平台开发环境 215
11.2.2 深度卷积生成式对抗网DCGAN 216
11.2.3 DAN应用于样本扩充 217
11.3 MXNet平台 220
11.3.1 MXNet平台开发环境 220
11.3.2 VGG-NET深度神经网络学习 222
11.3.3 图像分类应用任务 225
11.4 Torch 7平台 226
11.4.1 Torch 7平台开发环境 226
11.4.2 二值神经网络 227
11.4.3 二值神经网络应用于图像分类 239
11.5 Theano平台 233
11.5.1 Theano平台开发环境 233
11.5.2 递归神经网络 234
11.5.3 LSTM应用于情感分类任务 237
参考文献 238
第12章 基于深度神经网络的SAR/PolSAR影像地物分类 240
12.1 数据集及研究目的 241
12.1.1 数据集特性分析 241
12.1.2 基本数据集 244
12.1.3 研究目的 247
12.2 基于深度神经网络的SAR影像地物分类 251
12.2.1 基于自适应自编码和超像素的SAR图像分类 251
12.2.2 基于卷积中层特征学习的SAR图像分类 257
12.3 基于第一代深度神经网络的PolSAR影像地物分类 263
12.3.1 基于稀疏极化DBN的极化SAR地物分类 263
12.3.2 基于深度PCA网络的极化SAR影像地物分类 267
12.4 基于第二代深度神经网络的PolSAR影像地物分类 271
12.4.1 基于深度复卷积网络的极化PolSAR影像地物分类 271
12.4.2基于生成式对抗网的极化PolSAR影像地物分类 274
12.4.3基于深度残差网络的极化PolSAR影像地物分类 278
参考文献 280
第13章 基于深度神经网络的SAR影像变化检测 284
13.1 数据集特点及研究目的 285
13.1.1 研究目的 285
13.1.2 数据基本特性 288
13.1.3 典型数据集 291
13.2 基于深度学习和SIFT特征的SAR图像变化检测 293
13.2.1 基本方法与实现策略 284
13.2.2 对比实验结果分析 295
13.3基于SAE的SAR图像变化检测 299
13.3.1 基本方法与实现策略 299
13.3.2 对比实验结果分析 303
13.4基于CNN的SAR图像变化检测 305
13.4.1基本方法与实现策略 305
13.4.2对比实验结果分析 307
参考文献 309
第14章 基于深度神经网络的高光谱图像分类与压缩 311
14.1 数据集及研究目的 312
14.1.1 高光谱遥感技术 312
14.1.2 高光谱遥感的研究目的 313
14.1.3 常用的高光谱数据集 314
14.2 基于深度神经网络的高光谱影像的分类 318
14.2.1 基于堆栈自编码的高光谱影像的分类 319
14.2.2 基于卷积神经网络的高光谱影像的分类 325
14.3基于深度神经网络的高光谱影像的压缩 333
14.3.1 基于深度自编码网络的高光谱图像压缩方法 334
14.3.2 实验设计及分类结果 336
参考文献 338
第15章 基于深度神经网络的目标检测与识别 340
15.1 数据特性及研究目的 341
15.1.1 研究目的 341
15.1.2 常用数据集 343
15.2 基于快速CNN的目标检测与识别 345
15.2.1 R-CNN 346
15.2.2 Fast R-CNN 348
15.2.3 Faster R-CNN 349
15.2.4 对比实验结果与分析 352
15.3 基于回归学习的目标检测与识别 353
15.3.1 YOLO 353
15.3.2 SSD 356
15.3.3 对比实验结果分析 359
15.4 基于学习搜索的目标检测与识别 360
15.4.1 基于深度学习的主动目标定位 360
15.4.2 AttentionNet 363
15.4.3 对比实验结果分析 365
参考文献 366
第16章 总结与展望 368
16.1 深度学习发展历史图 369
16.1.1 从机器学习、稀疏表示学习到深度学习 370
16.1.2 深度学习、计算与认知的范式演进 371
16.1.3 深度学习形成脉络 375
16.2 深度学习的典型应用 375
16.2.1 目标检测与识别 375
16.2.2 超分辨 376
16.2.3 自然语言处理 376
16.3 深度神经网络的可塑性 377
16.3.1 旋转不变性 377
16.3.2 平移不变性 378
16.3.3 多尺度、多分辨和多通路特性 378
16.3.4 稀疏性 379
16.4 基于脑启发式的深度学习前沿方向 380
16.4.1 生物神经领域关于认知、识别、注意等的最新研究进展 380
16.4.2 深度神经网络的进一步研究方向 382
16.4.3 深度学习的可拓展性 383
参考文献 383
附录A 基于深度学习的常见任务处理介绍 386
附录B 代码介绍 393
· · · · · · (收起)