1. 线性可分支持向量机
- 线性可分条件：给定训练数据集T，通过间隔最大化学习得到分离超平面：
，以及决策函数：
称为线性可分支持向量机。实际上就是用超平面可以进行分类的数据集。
- 函数间隔：
- 几何间隔：
在二维中就是点到直线的距离
- 最大化几何间隔：
化简为
- 线性可分支持向量机学习算法——最大间隔法
输入：训练数据集
输出：超平面
（1）求解上述条件极值的极值点（上面的优化问题）
（2）得到超平面和决策函数
- 定理：最大间隔分离超平面存在且唯一
支持向量：离超平面距离最近的点
- 对偶问题
拉格朗日函数：
对偶问题：
（1）求
（2）求
（3）解出
- 支持向量：训练数据集中对应于
的样本点
的实例
称为支持向量机
2.（线性不可分）支持向量
- 支持向量机的原始问题
- 对偶问题
- 解出
，
（已由对偶问题解得
，为对应的） - 支持向量：同样
对应的
为支持向量
（1）
（2）
（3）
（4）
- 合页损失函数
定义：
合页损失函数：
经验风险函数：
定理：最小化经验风险与支持向量机的原始问题等价
3. 核函数
- 定义核函数：输入空间
，特征空间
，有映射
- 核技巧：观察到目标函数和决策函数
其中只有向量之间的内积，因此只需要知道核函数而不需要解出映射函数
- 正定核的充要条件：设
是对称函数，则
为正定函数的充要条件是
对应的Gram矩阵
是半正定矩阵
- 常用核函数
（1）多项式核函数：
决策函数：
（2）高斯核函数：
决策函数：
（3）字符串核函数
假设
例：
则
核函数：
4. 序列最小化算法SMO
- 序列最小化思想
解决问题：
选择2个变量，固定其他变量，针对这2个变量构建二次规划问题
- 2个变量的二次规划问题
考虑
已知
记
则
由定理知
其中
剪辑后：
- 选择两个
的方法以及计算
的方法
（1）第一个变量：检验训练样本点
（2）第二个变量：找
（3）更新b
有参考代码为《机器学习实战》的代码，以后更新代码的分析。
