第1章　机器学习理论简述　　1
1.1 经验误差最小化 　　2
1.1.1 假设与定义　　2
1.1.2 原理陈述 　　4
1.2 经验风险最小化原理的一致性　　4
1.2.1 在测试集上估计泛化误差　　6
1.2.2 泛化误差的一致边界　　7
1.2.3 结构风险最小化　　15
1.3 依赖于数据的泛化误差界　　17
1.3.1 Rademacher 复杂度　　17
1.3.2 Rademacher 复杂度和VC 维的联系　　17
1.3.3 利用Rademacher 复杂度获取泛化界的步骤　　19
1.3.4 Rademacher 复杂度的性质　　23
第2章　无约束凸优化算法　　26
2.1 梯度法　　29
2.1.1 批处理模式　　29
2.1.2 在线模式　　31
2.2 拟牛顿法　　32
2.2.1 牛顿方向　　32
2.2.2 Broyden-Fletcher-Goldfarb-Shanno 公式　　33
2.3 线搜索　　36
2.3.1 Wolfe 条件　　37
2.3.2 基于回溯策略的线搜索　　41
2.4 共轭梯度法　　43
2.4.1 共轭方向　　43
2.4.2 共轭梯度算法　　46
第3章　二类分类　　48
3.1 感知机　　48
3.1.1 感知机的收敛性定理　　51
3.1.2 带间隔感知机及其与经验风险最小化原理的联系　　53
3.2 Adaline　　54
3.2.1 与线性回归和经验风险最小化原理的联系　　54
3.3 Logistic 回归 　　56
3.3.1 与经验风险最小化原理的联系　　57
3.4 支持向量机　　58
3.4.1 硬间隔　　58
3.4.2 软间隔　　63
3.4.3 基于间隔的泛化误差界　　66
3.5 AdaBoost　　68
3.5.1 与经验风险最小化原理的联系　　70
3.5.2 拒绝法抽样　　72
3.5.3 理论研究　　73
第4章　多类分类　　76
4.1 形式表述　　76
4.1.1 分类误差　　77
4.1.2 泛化误差界　　77
4.2 单一法　　80
4.2.1 多类支持向量机　　80
4.2.2 多类AdaBoost　　84
4.2.3 多层感知机　　87
4.3 组合二类分类算法的模型　　91
4.3.1 一对全　　91
4.3.2 一对一　　92
4.3.3 纠错码　　93
第5章　半监督学习　　95
5.1 无监督框架和基本假设　　95
5.1.1 混合密度模型　　96
5.1.2 估计混合参数　　96
5.1.3 半监督学习的基本假设　　102
5.2 生成法　　104
5.2.1 似然准则在半监督学习情形的推广　　104
5.2.2 半监督CEM 算法　　105
5.2.3 应用：朴素贝叶斯分类器的半监督学习　　106
5.3 判别法　　108
5.3.1 自训练算法 　　109
5.3.2 转导支持向量机　　111
5.3.3 贝叶斯分类器误差的转导界　　113
5.3.4 基于伪标注的多视角学习　　116
5.4 图法　　118
5.4.1 标注的传播 　　119
5.4.2 马尔可夫随机游动　　121
第6章　排序学习　　123
6.1 形式表述　　123
6.1.1 排序误差函数　　124
6.1.2 样例排序　　127
6.1.3 备择排序　　128
6.2 方法　　130
6.2.1 单点法 　　130
6.2.2 成对法 　　135
6.3 互相关数据的学习 　　144
6.3.1 测试界 　　146
6.3.2 泛化界 　　146
6.3.3 一些具体例子中的界的估计　　151
附录　回顾和补充　　155
附录A　概率论回顾　　156
A.1 概率测度　　156
A.1.1 可概率化空间　　156
A.1.2 概率空间　　157
A.2 条件概率　　158
A.2.1 贝叶斯公式　　158
A.2.2 独立性　　159
A.3 实随机变量 　　159
A.3.1 分布函数　　160
A.3.2 随机变量的期望和方差　　161
A.3.3 集中不等式　　162
附录B　程序代码　　166
B.1 数据结构　　166
B.1.1 数据集　　166
B.1.2 超参数结构　　167
B.2 稀疏表示　　168
B.3 程序运行　　170
B.4 代码　　172
B.4.1 BGFS 算法（2.2.2 节）　　172
B.4.2 线搜索（2.3 节） 　　175
B.4.3 共轭梯度法（2.4 节）　　178
B.4.4 感知机（3.1 节） 　　180
B.4.5 Adaline 算法（3.2 节）　　181
B.4.6 Logistic 回归（3.3 节）　　182
B.4.7 AdaBoost 算法（3.5 节）　　184
B.4.8 AdaBoost M2 算法（4.2.2 节）　　188
B.4.9 多层感知机（4.2.3 节）　　192
B.4.10 K-均值算法（5.1.2 节）　　195
B.4.11 半监督朴素贝叶斯（5.2.3 节） 　　197
B.4.12 自学习（5.3.1 节） 　　201
B.4.13 一次性自学习（5.3.1 节） 　　204
B.4.14 PRank 算法（6.2.1 节）　　205
B.4.15 RankBoost 算法（6.2.2 节）　　207
参考文献　　211
· · · · · · (收起)