第1章 数学准备 001
1.1 偏微分 001
1.1.1 导函数和偏导函数 001
1.1.2 微分系数与偏微分系数 003
1.1.3 偏微分的基本公式 006
1.1.4 复合函数的偏微分 007
1.1.5 拓展全微分 009
1.2 线性代数 011
1.2.1 向量 011
1.2.1.1 向量的基础知识 011
1.2.1.2 向量的和与标量倍数 011
1.2.1.3 向量的内积 012
1.2.2 矩阵 013
1.2.2.1 矩阵的基础知识 013
1.2.2.2 矩阵的和与标量倍数 014
1.2.2.3 矩阵的乘积 014
1.2.2.4 正则矩阵与逆矩阵 016
1.2.2.5 转置矩阵 017
1.3 小结 018
第2章 Python准备 019
2.1 Python 2和Python 3 020
2.2 Anaconda发行版 021
2.3 Python的基础知识 025
2.3.1 Python程序的执行 025
2.3.2 数据类型 026
2.3.2.1 类型是什么 026
2.3.2.2 字符串类型 027
2.3.2.3 数值类型 028
2.3.2.4 布尔类型 030
2.3.3 变量 031
2.3.3.1 变量是什么 031
2.3.3.2 变量与类型 032
2.3.4 数据结构 033
2.3.4.1 列表 033
2.3.4.2 字典 034
2.3.5 运算 035
2.3.5.1 运算符与操作数 035
2.3.5.2 算术运算的运算符 036
2.3.5.3 赋值运算符 036
2.3.6 基本结构 038
2.3.6.1 if语句 038
2.3.6.2 while语句 039
2.3.6.3 for语句 041
2.3.7 函数 043
2.3.8 类 045
2.3.9 库 048
2.4 NumPy 049
2.4.1 NumPy数组 049
2.4.2 使用NumPy进行向量和矩阵的计算 051
2.4.3 数组和多维数组的生成 053
2.4.4 切片 054
2.4.5 广播 056
2.5 面向深度学习的库 058
2.5.1 TensorFlow 058
2.5.2 Keras 059
2.5.3 参考Theano 060
2.6 小结 063
第3章 神经网络 065
3.1 什么是神经网络 065
3.1.1 脑和神经元 065
3.1.2 深度学习和神经网络 066
3.2 作为电路的神经网络 067
3.2.1 简单的模型化 067
3.2.2 逻辑电路 069
3.2.2.1 逻辑门 069
3.2.2.2 与门 069
3.2.2.3 或门 072
3.2.2.4 非门 074
3.3 简单感知机 075
3.3.1 模型化 075
3.3.2 实现 077
3.4 逻辑回归 081
3.4.1 阶跃函数与sigmoid函数 081
3.4.2 模型化 082
3.4.2.1 似然函数与交叉熵误差函数 082
3.4.2.2 梯度下降法 084
3.4.2.3 随机梯度下降法与小批量梯度下降法 085
3.4.3 实现 086
3.4.3.1 使用TensorFlow的实现 086
3.4.3.2 使用Keras的实现 092
3.4.4 拓展sigmoid函数与概率密度函数、累积分布函数 096
3.4.5 拓展梯度下降法和局部最优解 099
3.5 多分类逻辑回归 101
3.5.1 softmax函数 101
3.5.2 模型化 102
3.5.3 实现 106
3.5.3.1 使用TensorFlow的实现 106
3.5.3.2 使用Keras的实现 110
3.6 多层感知机 111
3.6.1 非线性分类 111
3.6.1.1 异或门 111
3.6.1.2 逻辑门的组合 113
3.6.2 模型化 115
3.6.3 实现 119
3.6.3.1 使用TensorFlow的实现 119
3.6.3.2 使用Keras的实现 122
3.7 模型的评估 123
3.7.1 从分类到预测 123
3.7.2 预测的评估 124
3.7.3 简单的实验 126
3.8 小结 131
第4章 深度神经网络 133
4.1 进入深度学习之前的准备 133
4.2 训练过程中的问题 138
4.2.1 梯度消失问题 138
4.2.2 过拟合问题 141
4.3 训练的高效化 142
4.3.1 激活函数 143
4.3.1.1 双曲正切函数 143
4.3.1.2 ReLU 145
4.3.1.3 Leaky ReLU 147
4.3.1.4 Parametric ReLU 149
4.3.2 Dropout 152
4.4 代码的设计 157
4.4.1 基本设计 157
4.4.1.1 使用TensorFlow的实现 157
4.4.1.2 使用Keras的实现 160
4.4.1.3 拓展对TensorFlow模型进行类封装 161
4.4.2 训练的可视化 166
4.4.2.1 使用TensorFlow的实现 167
4.4.2.2 使用Keras的实现 172
4.5 高级技术 176
4.5.1 数据的正则化与权重的初始化 176
4.5.2 学习率的设置 179
4.5.2.1 动量 179
4.5.2.2 Nesterov动量 180
4.5.2.3 Adagrad 181
4.5.2.4 Adadelta 182
4.5.2.5 RMSprop 184
4.5.2.6 Adam 185
4.5.3 早停法 187
4.5.4 Batch Normalization 190
4.6 小结 195
第5章 循环神经网络 197
5.1 基本概念 197
5.1.1 时间序列数据 197
5.1.2 过去的隐藏层 199
5.1.3 基于时间的反向传播算法 202
5.1.4 实现 204
5.1.4.1 准备时间序列数据 205
5.1.4.2 使用TensorFlow的实现 207
5.1.4.3 使用Keras的实现 214
5.2 LSTM 215
5.2.1 LSTM 块 215
5.2.2 CEC、输入门和输出门 217
5.2.2.1 稳态误差 217
5.2.2.2 输入权重冲突和输出权重冲突 219
5.2.3 遗忘门 220
5.2.4 窥视孔连接 222
5.2.5 模型化 223
5.2.6 实现 227
5.2.7 长期依赖信息的训练评估——Adding Problem 229
5.3 GRU 232
5.3.1 模型化 232
5.3.2 实现 233
5.4 小结 235
第6章 循环神经网络的应用 237
6.1 双向循环神经网络 237
6.1.1 未来的隐藏层 237
6.1.2 前向、后向传播 239
6.1.3 MNIST的预测 241
6.1.3.1 转换为时间序列数据 241
6.1.3.2 使用TensorFlow的实现 242
6.1.3.3 使用Keras的实现 245
6.2 循环神经网络编码器- 解码器 246
6.2.1 序列到序列模型 246
6.2.2 简单的问答系统 247
6.2.2.1 设置问题——加法的训练 247
6.2.2.2 数据的准备 248
6.2.2.3 使用TensorFlow的实现 251
6.2.2.4 使用Keras的实现 260
6.3 注意力模型 261
6.3.1 时间的权重 261
6.3.2 LSTM中的注意力机制 263
6.4 记忆网络 265
6.4.1 记忆外部化 265
6.4.2 应用于问答系统 266
6.4.2.1 bAbi任务 266
6.4.2.2 模型化 267
6.4.3 实现 269
6.4.3.1 数据的准备 269
6.4.3.2 使用TensorFlow的实现 272
6.5 小结 276
附录 279
A.1 模型的保存和读取 279
A.1.1 使用TensorFlow时的处理 279
A.1.2 使用Keras时的处理 284
A.2 TensorBoard 285
A.3 tf.contrib.learn 292
· · · · · · (
收起)
