緒論 1 第1講 K-means 11 1.1 基本原理 11 1.2 算法改進 13 1.3 仿真實驗 16 1.4 算法特點 18 第 2 講 KNN學習 20 2.1 基本原理 20 2.2 算法改進 23 2.3 仿真實驗 24 2.4 算法特點 26 第 3 講 迴歸學習 28 3.1 基本原理 28 3.1.1 參數迴歸 29 3.1.2 非參數迴歸 30 3.1.3 半參數迴歸 30 3.2 算法改進 30 3.2.1 綫性迴歸模型 30 3.2.2 多項式迴歸模型 31 3.2.3 主成分迴歸模型 32 3.2.4 自迴歸模型 33 3.2.5 核迴歸模型 33 3.3 仿真實驗 37 3.3.1 迴歸學習流程 37 3.3.2 基於迴歸學習的直綫邊緣提取 37 3.3.3 基於迴歸學習的圖像插值 39 3.4 算法特點 41 第 4 講 決策樹學習 42 4.1 基本原理 42 4.1.1 分類與聚類 42 4.1.2 決策樹 43 4.1.3 信息增益的度量標準 43 4.1.4 信息增益度量期望的熵降低 44 4.1.5 悲觀錯誤剪枝PEP 46 4.1.6 基本決策樹算法 47 4.2 算法改進 47 4.2.1 ID3算法 47 4.2.2 C4.5算法 48 4.2.3 SLIQ算法 49 4.2.4 SPRINT算法 49 4.3 仿真實驗 50 4.3.1 用於學習布爾函數的ID3算法僞代碼 50 4.3.2 C4.5算法構造決策樹的僞代碼 51 4.4 算法特點 53 第 5 講 Random Forest學習 54 5.1 基本原理 54 5.1.1 決策樹 55 5.1.2 Bagging集成學習 55 5.1.3 Random Forest方法 56 5.2 算法改進 57 5.3 仿真實驗 58 5.3.1 Random Forest分類與迴歸流程 58 5.3.2 Forest-RI和Forest-RC 59 5.3.3 基於Random Forest的頭部姿態估計 59 5.4 算法特點 60 第 6 講 貝葉斯學習 62 6.1 基本原理 62 6.2 算法改進 63 6.2.1 樸素貝葉斯模型 63 6.2.2 層級貝葉斯模型 65 6.2.3 增廣貝葉斯學習模型 66 6.2.4 基於Boosting技術的樸素貝葉斯模型 66 6.2.5 貝葉斯神經網絡模型 66 6.3 仿真實驗 66 6.3.1 Learn_Bayse(X,V) 67 6.3.2 Classify_Bayse(X) 67 6.4 算法特點 68 第 7 講 EM算法 70 7.1 基本原理 70 7.2 算法改進 71 7.2.1 EM算法的快速計算 71 7.2.2 未知分布函數的選取 74 7.2.3 EM算法收斂性的改進 75 7.3 仿真實驗 77 7.3.1 EM算法流程 77 7.3.2 EM算法的僞代碼 77 7.3.3 EM算法應用——高斯混閤模型 77 7.4 算法特點 79 第 8 講 Adaboost 81 8.1 基本原理 81 8.1.1 Boosting方法 81 8.1.2 Adaboost方法 82 8.2 算法改進 83 8.2.1 權值更新方法的改進 83 8.2.2 Adaboost並行算法 83 8.3 仿真實驗 83 8.3.1 Adaboost算法實現流程 83 8.3.2 Adaboost算法示例 84 8.4 算法特點 86 8.4.1 Adaboost算法的優點 86 8.4.2 Adaboost算法的缺點 87 第 9 講 SVM方法 88 9.1 基本原理 88 9.2 算法改進 90 9.3 仿真實驗 94 9.4 算法特點 100 第 10 講 增強學習 102 10.1 基本原理 102 10.2 算法改進 105 10.2.1 部分感知模型 105 10.2.2 增強學習中的函數估計 105 10.2.3 分層增強學習 106 10.2.4 多Agent增強學習 107 10.3 仿真實驗 107 10.4 算法特點 109 第 11 講 流形學習 111 11.1 算法原理 111 11.1.1 ISOMAP 112 11.1.2 LLE 113 11.1.3 LE 113 11.1.4 HE 115 11.2 算法改進 115 11.2.1 LPP 116 11.2.2 MFA 117 11.3 算法仿真 119 11.4 算法特點 123 第 12 講 RBF學習 126 12.1 基本原理 126 12.1.1 基於RBF函數的內插方法 126 12.1.2 RBF神經網絡 129 12.1.3 數據中心的計算方法 130 12.2 算法改進 132 12.2.1 針對完全內插問題的改進方法 132 12.2.2 針對不適定問題的改進方法 133 12.2.3 廣義RBF神經網絡 134 12.3 仿真實驗 134 12.3.1 基於高斯函數的RBF學習 134 12.3.2 RBF學習算法流程 135 12.4 算法特點 136 第 13 講 稀疏錶示 138 13.1 基本原理 138 13.1.1 信號稀疏錶示 138 13.1.2 貪婪求解算法 140 13.1.3 凸優化求解算法 141 13.2 算法改進 142 13.2.1 組閤Lasso（Group Lasso） 142 13.2.2 混閤Lasso（Fused Lasso） 143 13.2.3 彈性網絡（Elastic net） 143 13.3 仿真實驗 143 13.3.1 OMP算法 143 13.3.2 APG算法 144 13.3.3 基於稀疏錶示的人臉識彆 145 13.4 算法特點 147 13.4.1 算法優點 147 13.4.2 算法缺點 147 第 14 講 字典學習 149 14.1 基本原理 149 14.2 算法改進 151 14.2.1 最優方嚮法（MOD） 151 14.2.2 K-SVD法 151 14.2.3 在綫字典學習法 151 14.3 仿真實驗 152 14.3 基於字典學習的視頻圖像降噪方法 153 14.4 算法特點 154 14.4.1 算法優點 154 14.4.2 算法缺點 155 第 15 講 BP學習 156 15.1 基本原理 156 15.1.1 人工神經網絡 156 15.1.2 BP學習原理 157 15.2 算法改進 162 15.2.1 改進學習速率 163 15.2.2 改進訓練樣本 164 15.2.3 改進損失函數 164 15.2.4 改進連接方式 165 15.3 仿真實驗 165 15.4 算法特點 167 第 16 講 CNN學習 170 16.1 基本原理 170 16.1.1 神經認知機模型 170 16.1.2 CNN算法思想 171 16.1.3 CNN網絡結構 171 16.1.4 CNN網絡學習 174 16.2 算法改進 178 16.2.1 設計新的捲積神經網絡訓練策略 178 16.2.2 使用GPU加速捲積運算過程 178 16.2.3 使用並行計算提高網絡訓練和測試速度 179 16.2.4 采用分布式計算提高網絡訓練和測試速度 179 16.2.5 硬件化捲積神經網絡 179 16.3 仿真實驗 179 16.3.1 捲積神經網絡訓練算法仿真 179 16.3.2 捲積神經網絡實際應用實例 181 16.4 算法特點 183 16.4.1 算法優點 183 16.4.2 算法缺點 183 第 17 講 RBM學習 185 17.1 基本原理 185 17.1.1 RBM學習思想 185 17.1.2 RBM模型基礎 186 17.1.3 RBM模型學習 189 17.2 算法改進 195 17.2.1 方差RBM 195 17.2.2 均值方差RBM 196 17.2.3 稀疏RBM 196 17.2.4 稀疏組RBM 197 17.2.5 分類RBM 197 17.3 仿真實驗 198 17.4 算法特點 199 17.4.1 算法優點 199 17.4.2 算法缺點 200 第 18 講 深度學習 203 18.1 基本原理 203 18.2 算法改進 212 18.3 仿真實驗 214 18.4 算法特點 215 第 19 講 遺傳算法 218 19.1 算法原理 218 19.2 算法改進 220 19.2.1 適應度函數設計 220 19.2.2 初始群體的選取 221 19.3 算法仿真 221 19.3.1 圖像預處理 222 19.3.2 車牌特徵選取 222 19.3.3 基於遺傳算法的車牌定位 223 19.4 算法特點 225 19.4.1 遺傳算法的優點 226 19.4.2 遺傳算法的不足 226 第 20 講 蟻群方法 228 20.1 基本原理 228 20.1.1 群智能 228 20.1.2 螞蟻尋找食物源方法 229 20.1.3 蟻群算法的規則 230 20.1.4 蟻群算法的實現 231 20.2 算法改進 232 20.2.1 基於遺傳學的改進蟻群算法 232 20.2.2 蟻群係統 232 20.2.3 精英蟻群係統 233 20.2.4 最大最小蟻群係統 233 20.2.5 排序蟻群係統 234 20.2.6 最優-最差螞蟻係統 235 20.3 仿真實驗 235 20.3.1 蟻群算法實例 235 20.3.2 蟻群算法實現流程 236 20.3.3 蟻群算法僞代碼 237 20.4 算法特點 238
· · · · · · (收起)