![0b0bd014457c1a7f1bb2ec50d53d9a8a.png](https://img-blog.csdnimg.cn/img_convert/0b0bd014457c1a7f1bb2ec50d53d9a8a.png)
1. 线性可分支持向量机
- 线性可分条件:给定训练数据集T,通过间隔最大化学习得到分离超平面:
,以及决策函数:
称为线性可分支持向量机。实际上就是用超平面可以进行分类的数据集。
- 函数间隔:
- 几何间隔:
在二维中就是点到直线的距离
- 最大化几何间隔:
化简为
- 线性可分支持向量机学习算法——最大间隔法
输入:训练数据集
输出:超平面
(1)求解上述条件极值的极值点(上面的优化问题)
(2)得到超平面和决策函数
- 定理:最大间隔分离超平面存在且唯一
支持向量:离超平面距离最近的点
- 对偶问题
拉格朗日函数:
对偶问题:
(1)求
(2)求
(3)解出
- 支持向量:训练数据集中对应于
的样本点
的实例
称为支持向量机
2.(线性不可分)支持向量
- 支持向量机的原始问题
- 对偶问题
- 解出
(已由对偶问题解得
- 支持向量:同样
对应的
为支持向量
(1)
(2)
(3)
(4)
- 合页损失函数
定义:
合页损失函数:
经验风险函数:
定理:最小化经验风险与支持向量机的原始问题等价
3. 核函数
- 定义核函数:输入空间
,特征空间
,有映射
- 核技巧:观察到目标函数和决策函数
其中只有向量之间的内积,因此只需要知道核函数而不需要解出映射函数
- 正定核的充要条件:设
是对称函数,则
为正定函数的充要条件是
对应的Gram矩阵
是半正定矩阵
- 常用核函数
(1)多项式核函数:
决策函数:
(2)高斯核函数:
决策函数:
(3)字符串核函数
假设
例:
则
核函数:
4. 序列最小化算法SMO
- 序列最小化思想
解决问题:
选择2个变量,固定其他变量,针对这2个变量构建二次规划问题
- 2个变量的二次规划问题
考虑
已知
记
则
由定理知
其中
剪辑后:
- 选择两个
的方法以及计算
的方法
(1)第一个变量:检验训练样本点
(2)第二个变量:找
(3)更新b
有参考代码为《机器学习实战》的代码,以后更新代码的分析。