九乡新闻网鹤峰县招聘信息:SVM的分类原理(1)
来源：百度文库 编辑：九乡新闻网 时间：2024/04/28 20:56:25
SVM的主要思想可以概括为两点: (1) 它是针对线性可分情况进行分析,对于线性不可分的情况,
通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分,从而
使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能; (2) 它基于结构风险最小
化理论之上在特征空间中建构最优分割超平面,使得学习器得到全局最优化,并且在整个样本空间的期
望风险以某个概率满足一定上界。
支持向量机的目标就是要根据结构风险最小化原理,构造一个目标函数将两类模式尽可能地区分开来, 通常分为两类情况来讨论, (1) 线性可分,(2) 线性不可分。
1. 1 线性可分情况
在线性可分的情况下,就会存在一个超平面使得训练样本完全分开,该超平面可描述为:
w ·x + b = 0 (1)
其中,“·”是点积, w 是n 维向量, b 为偏移量。
最优超平面是使得每一类数据与超平面距离最近的向量与超平面之间的距离最大的这样的平面.
最优超平面可以通过解下面的二次优化问题来获得：
满足约束条件： 
, i = 1 ,2 ,3 ,......, n. (3)
在特征数目特别大的情况,可以将此二次规划问题转化为其对偶问题：
(4)
(5)
(6)
满足约束条件: 
(7)
这里 
是Lagrange 乘子, 
是最优超平面的法向量, 
是最优超平面的偏移量,在这类
优化问题的求解与分析中, KKT条件将起到很重要的作用,在(7) 式中,其解必须满足：
(8)
从式(5) 可知,那些
= 0 的样本对分类没有任何作用,只有那些
> 0 的样本才对分类起作用,这些样
本称为支持向量,故最终的分类函数为：
(9)
根据f ( x) 的符号来确定X 的归属。