目錄

第1章 深度學習簡介：為什麼應該學習深度學習 1
1.1　歡迎閱讀《深度學習圖解》 1
1.2　為什麼要學習深度學習 2
1.3　這很難學嗎? 3
1.4　為什麼要閱讀本書 3
1.5　準備工作 4
1.6　你可能需要掌握一部分Python知識 5
1.7　本章小結 6
第2章 基本概念：機器該如何學習？ 7
2.1　什麼是深度學習? 7
2.2　什麼是機器學習？ 8
2.3　監督機器學習 9
2.4　無監督機器學習 10
2.5　參數學習和非參數學習 10
2.6　監督參數學習 11
2.7　無監督參數學習 13
2.8　非參數學習 14
2.9　本章小結 15
第3章 神經網絡預測導論：前嚮傳播 17
3.1　什麼是預測 17
3.2　能夠進行預測的簡單神經網絡 19
3.3　什麼是神經網絡? 20
3.4　這個神經網絡做瞭什麼? 21
3.5　使用多個輸入進行預測 23
3.6　多個輸入：這個神經網絡做瞭什麼? 24
3.7　多個輸入：完整的可運行代碼 29
3.8　預測多個輸齣 30
3.9　使用多個輸入和輸齣進行預測 32
3.10　多輸入多輸齣神經網絡的工作原理 33
3.11　用預測結果進一步預測 35
3.12　NumPy快速入門 37
3.13　本章小結 40
第4章 神經網絡學習導論：梯度下降 41
4.1　預測、比較和學習 41
4.2　什麼是比較 42
4.3　學習 42
4.4　比較：你的神經網絡是否做齣瞭好的預測？ 43
4.5　為什麼需要測量誤差？ 44
4.6　最簡單的神經學習形式是什麼？ 45
4.7　冷熱學習 46
4.8　冷熱學習的特點 47
4.9　基於誤差調節權重 48
4.10　梯度下降的一次迭代 50
4.11　學習就是減少誤差 52
4.12　迴顧學習的步驟 54
4.13　權重增量到底是什麼? 55
4.14　狹隘的觀點 57
4.15　插著小棍的盒子 58
4.16　導數：兩種方式 59
4.17　你真正需要知道的 60
4.18　你不需要知道的 60
4.19　如何使用導數來學習 61
4.20　看起來熟悉嗎? 62
4.21　破壞梯度下降 63
4.22　過度修正的可視化 64
4.23　發散 65
4.24　引入α 66
4.25　在代碼中實現α 66
4.26　記憶背誦 67
第5章 通用梯度下降：一次學習多個權重 69
5.1　多輸入梯度下降學習 69
5.2　多輸入梯度下降詳解 71
5.3　迴顧學習的步驟 75
5.4　單項權重凍結：它有什麼作用? 77
5.5　具有多個輸齣的梯度下降學習 79
5.6　具有多個輸入和輸齣的梯度下降 81
5.7　這些權重學到瞭什麼? 83
5.8　權重可視化 85
5.9　點積(加權和)可視化 86
5.10　本章小結 87
第6章 建立你的第一個深度神經網絡：反嚮傳播 89
6.1　交通信號燈問題 89
6.2　準備數據 91
6.3　矩陣和矩陣關係 92
6.4　使用Python創建矩陣 95
6.5　建立神經網絡 96
6.6　學習整個數據集 97
6.7　完全、批量和隨機梯度下降 97
6.8　神經網絡對相關性的學習 98
6.9　嚮上與嚮下的壓力 99
6.10　邊界情況：過擬閤 101
6.11　邊界情況：壓力衝突 101
6.12　學習間接相關性 103
6.13　創建關聯 104
6.14　堆疊神經網絡：迴顧 105
6.15　反嚮傳播：遠程錯誤歸因 106
6.16　反嚮傳播：為什麼有效? 107
6.17　綫性與非綫性 107
6.18　為什麼神經網絡仍然不起作用 109
6.19　選擇性相關的秘密 110
6.20　快速衝刺 111
6.21　你的第一個深度神經網絡 111
6.22　反嚮傳播的代碼 112
6.23　反嚮傳播的一次迭代 114
6.24　整閤代碼 116
6.25　為什麼深度網絡這麼重要? 117
第7章 如何描繪神經網絡：在腦海裏，在白紙上 119
7.1　到瞭簡化的時候瞭 119
7.2　關聯抽象 120
7.3　舊的可視化方法過於復雜 121
7.4　簡化版可視化 122
7.5　進一步簡化 123
7.6　觀察神經網絡是如何進行預測的 124
7.7　用字母而不是圖片來進行可視化 125
7.8　連接變量 126
7.9　信息整閤 127
7.10　可視化工具的重要性 127
第8章 學習信號，忽略噪聲：正則化和批處理介紹 129
8.1　用在MNIST上的三層網絡 129
8.2　好吧，這很簡單 131
8.3　記憶與泛化 132
8.4　神經網絡中的過擬閤 133
8.5　過擬閤從何而來 134
8.6　最簡單的正則化：提前停止 135
8.7　行業標準正則化：dropout 136
8.8　為什麼dropout有效：整閤是有效的 137
8.9　dropout的代碼 137
8.10　在MNIST數據集上對dropout進行測試 139
8.11　批量梯度下降 140
8.12　本章小結 143
第9章 概率和非綫性建模：激活函數 145
9.1　什麼是激活函數? 145
9.2　標準隱藏層激活函數 148
9.3　標準輸齣層激活函數 149
9.4　核心問題：輸入具有
相似性 151
9.5　計算softmax 152
9.6　激活函數使用說明 153
9.7　將增量與斜率相乘 156
9.8　將輸齣轉換為斜率(導數) 157
9.9　升級MNIST網絡 157
第10章 捲積神經網絡概論：關於邊與角的神經學習 161
10.1　在多個位置復用權重 161
10.2　捲積層 162
10.3　基於NumPy的簡單實現 164
10.4　本章小結 167
第11章 能夠理解自然語言的神經網絡：國王-男人+女人=？ 169
11.1　理解語言究竟是指什麼? 170
11.2　自然語言處理(NLP) 170
11.3　監督NLP學習 171
11.4　IMDB電影評論數據集 172
11.5　在輸入數據中提取單詞相關性 173
11.6　對影評進行預測 174
11.7　引入嵌入層 175
11.8　解釋輸齣 177
11.9　神經網絡結構 178
11.10　單詞嵌入錶達的對比 180
11.11　神經元是什麼意思? 181
11.12　完形填空 182
11.13　損失函數的意義 183
11.14　國王-男人+女人~=女王 186
11.15　單詞類比 187
11.16　本章小結 188
第12章 像莎士比亞一樣寫作的神經網絡：變長數據的遞歸層 189
12.1　任意長度的挑戰 189
12.2　做比較真的重要嗎？ 190
12.3　平均詞嚮量的神奇力量 191
12.4　信息是如何存儲在這些嚮量嵌入中的？ 192
12.5　神經網絡是如何使用嵌入的？ 193
12.6　詞袋嚮量的局限 194
12.7　用單位嚮量求詞嵌入之和 195
12.8　不改變任何東西的矩陣 196
12.9　學習轉移矩陣 197
12.10　學習創建有用的句子嚮量 198
12.11　Python下的前嚮傳播 199
12.12　如何反嚮傳播？ 200
12.13　讓我們訓練它！ 201
12.14　進行設置 201
12.15　任意長度的前嚮傳播 202
12.16　任意長度的反嚮傳播 203
12.17　任意長度的權重更新 204
12.18　運行代碼，並分析輸齣 205
12.19　本章小結 207
第13章 介紹自動優化：搭建深度學習框架 209
13.1　深度學習框架是什麼？ 209
13.2　張量介紹 210
13.3　自動梯度計算(autograd)介紹 211
13.4　快速檢查 213
13.5　多次使用的張量 214
13.6　升級autograd以支持多次使用的張量 215
13.7　加法的反嚮傳播如何工作？ 217
13.8　增加取負值操作的支持 218
13.9　添加更多函數的支持 219
13.10　使用autograd訓練神經網絡 222
13.11　增加自動優化 224
13.12　添加神經元層類型的支持 225
13.13　包含神經元層的神經元層 226
13.14　損失函數層 227
13.15　如何學習一個框架 228
13.16　非綫性層 228
13.17　嵌入層 230
13.18　將下標操作添加到
autograd 231
13.19　再看嵌入層 232
13.20　交叉熵層 233
13.21　遞歸神經網絡層 235
13.22　本章小結 238
第14章 像莎士比亞一樣寫作：長短期記憶網絡 239
14.1　字符語言建模 239
14.2　截斷式反嚮傳播的必要性 240
14.3　截斷式反嚮傳播 241
14.4　輸齣樣例 244
14.5　梯度消失與梯度激增 245
14.6　RNN反嚮傳播的小例子 246
14.7　長短期記憶(LSTM)元胞 247
14.8　關於LSTM門限的直觀理解 248
14.9　長短期記憶層 249
14.10　升級字符語言模型 250
14.11　訓練LSTM字符語言模型 251
14.12　調優LSTM字符語言模型 252
14.13　本章小結 253
第15章 在看不見的數據上做深度學習：聯邦學習導論 255
15.1　深度學習的隱私問題 255
15.2　聯邦學習 256
15.3　學習檢測垃圾郵件 257
15.4　讓我們把它聯邦化 259
15.5　深入聯邦學習 260
15.6　安全聚閤 261
15.7　同態加密 262
15.8　同態加密聯邦學習 263
15.9　本章小結 264
第16章 往哪裏去：簡要指引 265
· · · · · · (收起)