第1章 引言 1
1.1 學習與智能優化：燎原之火 1
1.2 尋找黃金和尋找伴侶 3
1.3 需要的隻是數據 5
1.4 超越傳統的商業智能 5
1.5 LION方法的實施 6
1.6 “動手”的方法 6
第2章 懶惰學習：最近鄰方法 9
第3章 學習需要方法 14
3.1 從已標記的案例中學習：最小化和泛化 16
3.2 學習、驗證、測試 18
3.3 不同類型的誤差 21
第一部分 監督學習
第4章 綫性模型 26
4.1 綫性迴歸 27
4.2 處理非綫性函數關係的技巧 28
4.3 用於分類的綫性模型 29
4.4 大腦是如何工作的 30
4.5 綫性模型為何普遍，為何成功 31
4.6 最小化平方誤差和 32
4.7 數值不穩定性和嶺迴歸 34
第5章 廣義綫性最小二乘法 37
5.1 擬閤的優劣和卡方分布 38
5.2 最小二乘法與最大似然估計 42
5.2.1 假設檢驗 42
5.2.2 交叉驗證 44
5.3 置信度的自助法 44
第6章 規則、決策樹和森林 50
6.1 構造決策樹 52
6.2 民主與決策森林 56
第7章 特徵排序及選擇 59
7.1 特徵選擇：情境 60
7.2 相關係數 62
7.3 相關比 63
7.4 卡方檢驗拒絕統計獨立性 64
7.5 熵和互信息 64
第8章 特定非綫性模型 67
8.1 logistic 迴歸 67
8.2 局部加權迴歸 69
8.3 用LASSO來縮小係數和選擇輸入值 72
第9章 神經網絡：多層感知器 76
9.1 多層感知器 78
9.2 通過反嚮傳播法學習 80
9.2.1 批量和bold driver反嚮傳播法 81
9.2.2 在綫或隨機反嚮傳播 82
9.2.3 訓練多層感知器的高級優化 83
第10章 深度和捲積網絡 84
10.1 深度神經網絡 85
10.1.1 自動編碼器 86
10.1.2 隨機噪聲、屏蔽和課程 88
10.2 局部感受野和捲積網絡 89
第11章 統計學習理論和支持嚮量機 94
11.1 經驗風險最小化 96
11.1.1 綫性可分問題 98
11.1.2 不可分問題 100
11.1.3 非綫性假設 100
11.1.4 用於迴歸的支持嚮量 101
第12章 最小二乘法和健壯內核機器 103
12.1 最小二乘支持嚮量機分類器 104
12.2 健壯加權最小二乘支持嚮量機 106
12.3 通過修剪恢復稀疏 107
12.4 算法改進：調諧QP、原始版本、無補償 108
第13章 機器學習中的民主 110
13.1 堆疊和融閤 111
13.2 實例操作帶來的多樣性：裝袋法和提升法 113
13.3 特徵操作帶來的多樣性 114
13.4 輸齣值操作帶來的多樣性：糾錯碼 115
13.5 訓練階段隨機性帶來的多樣性 115
13.6 加性logistic迴歸 115
13.7 民主有助於準確率－拒絕的摺中 118
第14章 遞歸神經網絡和儲備池計算 121
14.1 遞歸神經網絡 122
14.2 能量極小化霍普菲爾德網絡 124
14.3 遞歸神經網絡和時序反嚮傳播 126
14.4 遞歸神經網絡儲備池學習 127
14.5 超限學習機 128
第二部分 無監督學習和聚類
第15章 自頂嚮下的聚類：K均值 132
15.1 無監督學習的方法 134
15.2 聚類：錶示與度量 135
15.3 硬聚類或軟聚類的K均值方法 137
第16章 自底嚮上（凝聚）聚類 142
16.1 閤並標準以及樹狀圖 142
16.2 適應點的分布距離：馬氏距離 144
16.3 附錄：聚類的可視化 146
第17章 自組織映射 149
17.1 將實體映射到原型的人工皮層 150
17.2 使用成熟的自組織映射進行分類 153
第18章 通過綫性變換降維（投影） 155
18.1 綫性投影 156
18.2 主成分分析 158
18.3 加權主成分分析：結閤坐標和關係 160
18.4 通過比值優化進行綫性判彆 161
18.5 費希爾綫性判彆分析 163
第19章 通過非綫性映射可視化圖與網絡 165
19.1 最小應力可視化 166
19.2 一維情況：譜圖繪製 168
19.3 復雜圖形分布標準 170
第20章 半監督學習 174
20.1 用部分無監督數據進行學習 175
20.1.1 低密度區域中的分離 177
20.1.2 基於圖的算法 177
20.1.3 學習度量 179
20.1.4 集成約束和度量學習 179
第三部分 優化：力量之源
第21章 自動改進的局部方法 184
21.1 優化和學習 185
21.2 基於導數技術的一維情況 186
21.2.1 導數可以由割綫近似 190
21.2.2 一維最小化 191
21.3 求解高維模型（二次正定型） 191
21.3.1 梯度與最速下降法 194
21.3.2 共軛梯度法 196
21.4 高維中的非綫性優化 196
21.4.1 通過綫性查找的全局收斂 197
21.4.2 解決不定黑塞矩陣 198
21.4.3 與模型信賴域方法的關係 199
21.4.4 割綫法 200
21.4.5 縮小差距：二階方法與綫性復雜度 201
21.5 不涉及導數的技術：反饋仿射振蕩器 202
21.5.1 RAS：抽樣區域的適應性 203
21.5.2 為健壯性和多樣化所做的重復 205
第22章 局部搜索和反饋搜索優化 211
22.1 基於擾動的局部搜索 212
22.2 反饋搜索優化：搜索時學習 215
22.3 基於禁忌的反饋搜索優化 217
第23章 閤作反饋搜索優化 222
23.1 局部搜索過程的智能協作 223
23.2 CoRSO：一個政治上的類比 224
23.3 CoRSO的例子：RSO與RAS閤作 226
第24章 多目標反饋搜索優化 232
24.1 多目標優化和帕纍托最優 233
24.2 腦－計算機優化：循環中的用戶 235
第四部分 應用精選
第25章 文本和網頁挖掘 240
25.1 網頁信息檢索與組織 241
25.1.1 爬蟲 241
25.1.2 索引 242
25.2 信息檢索與排名 244
25.2.1 從文檔到嚮量：嚮量－空間模型 245
25.2.2 相關反饋 247
25.2.3 更復雜的相似性度量 248
25.3 使用超鏈接來進行網頁排名 250
25.4 確定中心和權威：HITS 254
25.5 聚類 256
第26章 協同過濾和推薦 257
26.1 通過相似用戶結閤評分 258
26.2 基於矩陣分解的模型 260
參考文獻 263
索引 269
· · · · · · (收起)