在线支持向量机

2024-06-30

在线支持向量机（精选12篇）

在线支持向量机第1篇

由于工业过程中采样数据源源不断, 为了跟踪系统动态特性, 应不断加入新样本。然而最小二乘支持向量机 (LS-SVM) 计算复杂度随样本个数的增大呈线性递增, 最终导致计算资源的耗尽, 这影响着支持向量机模型的在线使用。因此在线LS-SVM建模必须有一个新陈代谢的过程:既吸纳新信息, 又保证样本规模。

自Suykens等人提出LS-SVM[1]后, 近年来有不少学者针对其在线建模问题进行研究[2,3,4,5,6,7,8], 基本思路均采用滑动时窗策略, 吸收最新样本, 删除最老样本, 保持规模不变。常规滑动时窗认为系统新样本一定带来新信息, 然而实际过程中新样本未必对过程模型产生新信息。为此, 本文提出一种基于优选样本的改进滑动时窗策略。训练样本长度仍然是固定的, 区别在于在吸收过程中并非直接将最新样本吸纳, 而是先判断该样本是否带来新信息:如果没有带来新信息, 则保持回归模型不变;否则, 将最新样本与已有的训练样本组成新训练样本集, 并从中筛选出一个较差的样本将其删除, 保持训练样本容量的一致性。这样得到的模型更能反映系统的动态过程。

1常规滑动时窗策略[9]

常规滑动时窗策略示意图如图1所示, 常规滑动时窗表示参训样本简单地随时间逐步移动, 时窗每一次移动, 参训样本也随最新观测窗移动, t为采样时刻, v为采样样本, nsv为时窗宽度, 正比于样本个数。

在此定义特征矩阵QL=ΩL+ (1/γ) I, 其中QL∈RL×L;ΩL∈RL×L为核矩阵, Ωi, j=K (xi, xj) =φ (xi) φ (xj) , i, j=1, 2, …, L。由上述推导公式可知, 建立最小二乘支持向量回归模型关键在于求解Q $_{L}^{- 1}$ , 因此滑动时窗策略的在线建模问题就转化为不断吸收新样本, 削减老样本, 更新Q $_{L}^{- 1}$ 的过程。

1.1新样本吸纳

设前一时刻特征矩阵为QL, 设增加当前采集样本 (xnew, ynew) , 相对于QL, 有:

其中kL+1=[K (xnew, x1) , K (xnew, x2) , …, K (xnew, xL) ]T;k $_{n e w}^{*}$ =1/γ+K (xnew, xnew) ;当核函数采用RBF核函数时, $k_{n e w}^{*} = \frac{1}{γ} + 1$ , 由矩阵求逆引理可以求出Q $_{n e w}^{´ - 1}$ 。根据分块矩阵求逆引理可得Q $_{n e w}^{´ - 1}$ 如下:

其中ρ-1=k $_{n e w}^{*}$ -k $_{L + 1}^{Τ}$ Q $_{L}^{- 1}$ kL+1。由于计算过程中, Q $_{L}^{- 1}$ 在上一步骤中是已知的, 因此增加一维后, 这种分块计算方式减轻了计算量。在增加样本后, 为了保持样本规模, 应该将老样本剔除。

1.2老样本删减

在增加一个最新样本后, 余下涉及的计算就是削减最老样本的影响。在上一步的基础上, 增加最新样本的Q $_{n e w}^{´ - 1}$ 已经计算出, 因此, 将Q′new进行重新表述, 其新的表达形式如下:

其中Qnew∈RL×L为最新的有限观测窗的样本计算核矩阵, $k_{1}^{*} = \frac{1}{γ} + k (x_{1}, x_{1})$ , 当选择RBF核函数时, $k_{1}^{*} = \frac{1}{γ} + 1, k_{1} = [Κ (x_{1}, x_{2}), Κ (x_{1}, x_{3}), \dots, Κ (x_{1}, x_{Ν}), Κ (x_{1}, x_{n e w})] ‚ Q_{n e w} = Ω_{n e w} + \frac{1}{γ} Ι_{Ν \times Ν} ‚ Ω_{n e w} \in R^{L \times L}$ , 且 (Ωnew) i, j=K (xi+1, xj+1) , i, j=1, 2, …, L-1, (Ωnew) L, L=K (xnew, xnew) 。

同样应用矩阵分块求逆引理, 可知:

其中ρ-1=k $_{1}^{*}$ -k $_{1}^{Τ}$ Q $_{n e w}^{- 1}$ k1。因此可以求出:

Q $_{n e w}^{- 1}$ =Q′-ppT/q (5)

因此, 新的观测窗矩阵Q $_{n e w}^{- 1}$ ∈RL×L已经求出。由于系统加入了新样本, 削除了老样本, 因此实现了对系统动态特性的跟踪。

2在线最小二乘支持向量回归模型辨识算法

以时间预测为例, 在线LS-SVM回归模型算法如下描述[10]:

Step1 指定时间窗观测长度L, 离线得到最初的L个样本, 由LS-SVM训练过程, 得到函数模型 $y (x) = \sum_{i = 1}^{L} α_{i} Κ (x, x_{i}) + b$ , 用于预报, 当输入为xL+1时, 得到预报输出为 $\tilde{y}_{L + 1}$ ;记录下Q $_{L}^{- 1}$ 、ei;

Step2 通过采样得到新的输入向量xnew, 预报 $\tilde{y}_{n e w}$ ;

Step3 提取系统输出ynew, 得到新样本 (xnew, ynew) , 计算误差 $e_{n e w} = y_{n e w} - \tilde{y}_{n e w}$ , 如果是加权计算, 可以根据样本误差分布进行各个样本权重的计算;

Step4 吸收新样本:计算Q′new, 并将所得矩阵重新描述, 得到Q′、q、p等;

Step5 削减老样本:计算Q $_{n e w}^{- 1}$ , Q $_{n e w}^{- 1}$ 对应为最新的L个样本, 已经吸纳了 (xnew, ynew) 样本的最新样本;

Step6 将Q $_{n e w}^{- 1}$ 代入求解公式, 得到αnew、bnew, 从而得到新的函数回归模型, $y (x) = \sum_{i = 1}^{L} α_{n e w} Κ (x, x_{i}) + b_{n e w}$ ;

Step7 将样本集和误差集移位, xi=xi+1, yi=yi+1, ei=ei+1, i=1, 2, …, L-1;xL=xnew, yL=ynew, eL=enew;如果是加权模型, 根据各个样本对应误差重新计算权重;

Step8 移位Q $_{L}^{- 1}$ =Q $_{n e w}^{- 1}$ ;跳转Step2。

以上的过程是一个循环往复过程, 随着采样的进行, 建模采用的样本则始终是最新的L个样本, 即实现了滑动时间窗的在线移动。

3基于优选样本的改进滑动时窗策略

提出一种基于优选样本的改进滑动时窗策略, 其流程跟踪示意图如图2所示。

在该方法中, 如何判定新样本带来新信息很重要, 下面介绍两种典型策略。

3.1模型预测误差法

即设置模型预测阈值的方法, 根据上一时刻的回归拟合模型和当前的输入xnew, 依据模型可以得到预测输出 $\tilde{y}_{n e w} = \sum_{i = 1}^{n s v} α_{i} Κ (x_{n e w}, x_{i}) + b$ , 同样根据实际系统的采样ynew, 如果实际输出与预测输出之间的误差很小, 即 $∥ y_{n e w} - \tilde{y}_{n e w} ∥ < ε$ (此处ε代表一个较小的数, 即阈值) , 表明新样本没有产生新信息, 因此无需进行下一步的计算;反之, 新样本产生了新信息。

3.2样本的相关度检测法

除了对模型影响计算之外, 还可以采取新样本与已有训练样本集的相关度进行比较。如果新样本在映射空间能够被已有训练样本集描述, 则新样本无需参训。样本在映射空间的相关描述定义如下:

新样本的输入仍为xnew, 上一时刻的训练样本分别为xi, i=1, 2, …, nsv;如果存在如下的描述关系, $Κ (x, x_{n e w}) = \sum_{i = i}^{n s v} c_{i} Κ (x, x_{i})$ , ci为常系数, 则新样本映射到高维映射空间后, 线性依赖于nsv个 (x1, x2, ..., xnsv) 样本的支持向量, 因此新样本对系统动态过程模型没有新影响, 即其影响完全可以由上一时刻的训练样本描述。

在理论上采用上式计算新样本与已有训练样本集的线性相关性, 有可能导致数值计算不稳定。因此, 采用如下的近似条件判断:

$Δ n e w = ∥ φ (x_{n e w}) - \sum_{i = 1}^{n s v} c_{i} φ (x_{i}) ∥^{2} \leq ε_{n e w}$ (6)

其中, εnew为当前时刻界限值。因此, 上式展开可描述如下:

$\begin{array}{l} Δ n e w = ∥ φ (x_{n e w}) - \sum_{i = 1}^{n s v} c_{i} φ (x_{i}) ∥^{2} \\ = φ (x_{n e w}) φ (x_{n e w}) - 2 φ (x_{n e w}) (\sum_{i = 1}^{n s v} c_{i} φ (x_{i})) + \\ \sum_{i = 1}^{n s v} c_{i} \sum_{j = 1}^{n s v} c_{j} φ (x_{j}) φ (x_{i}) \\ = Κ (x_{n e w}, x_{n e w}) - 2 \sum_{i = 1}^{n s v} c_{i} Κ (x_{i}, x_{n e w}) + \sum_{i = 1}^{n s v} c_{i} \sum_{j = 1}^{n s v} c_{j} Κ (x_{i}, x_{j}) \\ \leq ε_{n e w} (7) \end{array}$

最小化Δnew上式, 即可以求出训练样本对应的系数ci, i=1, 2, …, nsv, 为了适当放宽影响, 因此适当降低ci的精度, 在上式中加入l2范数正则项ρ‖c‖2, 这样上式的最小化的左边就变成:

$\begin{array}{l} \min {Κ (x_{n e w}, x_{n e w}) - 2 \sum_{i = 1}^{n s v} c_{i} Κ (x_{i}, x_{n e w}) + \\ \sum_{i = 1}^{n s v} c_{i} \sum_{j = 1}^{n s v} c_{j} Κ (x_{i}, x_{j}) + ρ ∥ c ∥^{2}} (8) \end{array}$

其中ρ为正的实常数。令[K]i, j=K (xi, xj) , Knew=K (xnew, xnew) , (Knew) i=K (xnew, xi) , i=1, 2, …, nsv, 则上式可以重写为:

$\begin{array}{l} \min {Κ_{n e w, n e w} - 2 c \tilde{Κ}_{n e w} + c^{Τ} c \tilde{Κ} + ρ ∥ c ∥^{2} \\ = c^{Τ} (\tilde{Κ} + ρ Ι) c - 2 c \tilde{Κ}_{n e w} + Κ_{n e w, n e w}} (9) \end{array}$

为使上式最小化, 则:

$c = (\tilde{Κ} + ρ Ι)^{- 1} \tilde{Κ}_{n e w}$ (10)

将式 (10) 代入式 (9) 可知:

$Δ = Κ_{n e w, n e w} - \tilde{Κ}_{n e w} c = Κ_{n e w, n e w} - \tilde{Κ}_{n e w} ((\tilde{Κ} + ρ Ι)^{- 1} \tilde{Κ}_{n e w})$ (11)

因此, 在每一步中计算出最小值, 然后判断是否将样本加入到下一阶段的训练样本。通过上面的判断, 可以知道新样本是否加入。如果带来新信息, 则加入新样本, 然后删除旧样本, 此时可以采用删除最老样本的方法, 当然也可以采用删除最劣样本的策略。此时将新样本与上一时刻训练样本集组合重新训练, 至于删除方法, 可以采用上面提到的改进正交化算法, 只是实现策略有所改变, 只选择其中最重要的l个样本, 当然采用删除最不重要的那一个样本更为简单。

4实例分析

${\begin{cases} x_{1} (k) = 1.01 \times x_{1} (k - 1) + 0.008 \times x_{2} (k - 1) \\ x_{2} (k) = 0.9 \times x_{2} (k - 1) - 0.01 \times x_{1} (k - 1)^{3} - 0.1 \times u (k) \\ y (k) = x_{1} (k) - 0.1 \times x_{2} (k) + n o i (k) \\ u (k) = 2 \times \sin (i / 200) + \sin (i / 100) + \sin (2 \times i / 100) \end{cases}$

以上述非线性模型为例, 其中u (k) 为输入变量, x1 (k) 、x2 (k) 分别为状态变量, y (k) 为输出变量, noi (k) 为输出干扰变量, 干扰强度为输入变量的0.01。

在线仿真过程中设置输入为[u (k) , x1 (k) , x2 (k) ], 输出为y (k+1) , 样本个数为100个, 预测样本为1个。输入样本的选择分成两类:一类为直接选择当前时刻之前的100个样本, 以此训练进行下一步的预测;另一类为采用本文提出的选择方法选出的100个样本, 这100个样本可能不是当前时刻前的100个样本, 有可能包含前些时刻的优胜样本, 基于选出的100个样本进行训练得到预测模型并对当前时刻进行预测。根据所述方法进行仿真, 其预测值、真实值以及误差对比分别如图3和图4所示, 在图5中给出了误差的对比结果。

从误差结果对比图中可以看出, 基于优选样本训练所得的在线预测模型预测精度要比固定视窗训练模型的预测精度要高。

5结论

本文所提出的方法基于优选样本的改进滑动时窗策略, 较好地解决了在线最小二乘支持向量机建模中样本有效性的问题, 提高了模型精度, 使模型更能反映系统的动态过程。

参考文献

[1]Suykens J A K.Vandewale J.Least squares support vector machineclassifiers.Neural Processing Letters, 1999, 9 (3) :293-300.

[2]王克奇, 杨少春, 戴天虹, 等.采用遗传算法优化最小二乘支持向量机参数的方法[J].计算机应用与软件, 2009, 26 (7) :109-111.

[3]张浩然, 汪晓东.回归最小二乘支持向量机的增量和在线式学习算法[J].计算机学报, 2006, 29 (3) :400-406.

[4]蔡艳宁, 胡昌华.一种基于Cholesky分解的动态无偏LS-SVM学习算法[J].控制与决策, 2008, 23 (12) :1363-1367.

[5]刘斌, 王立梅.一种在线向量机增强学习算法[J].微电子学与计算机, 2008, 25 (11) :94-100.

[6]叶美盈, 汪晓东, 张浩然.基于在线最小二乘支持向量机回归的混沌时间序列预测[J].物理学报, 2005, 54 (6) :2568-2573.

[7]雷必成, 王万良, 李祖欣.基于在线LS-SVM的网络预测控制系统[J].信息与控制, 2009, 38 (2) :163-169.

[8]范玉刚, 李平, 宋执环.动态加权最小二乘支持向量机[J].控制与决策, 2006, 21 (10) :1129-1134.

[9]王海涛.航空发动机非线性动态过程辨识技术研究[D].西安:空军工程大学, 2010.

一种改进的支持向量机模式分类方法第2篇

一种改进的支持向量机模式分类方法

支持向量机(Support Vector Machine,SVM)是在统计学习理论基础上发展起来的一种新的机器学习方法,已成为目前研究的热点,并在模式识别领域有了广泛的应用.首先分析了支持向量机原理,随后引入一种改进的径向基核函数,在此基础上,提出了一种改进核函数的SVM模式分类方法.与基于IRIS数据,进行了计算机仿真实验,与基干模糊k-近邻的.模式分类仿真结果比较,结果表明改进的SVM方法分类性能比模糊k-近邻算法(Fuzzy k-Nearest Neighbor,FKNN)的分类性能更好,运算时间更短,更易于实时实现.

作者：姜斌和湘孙月光黎湘 JIANG Bin HE Xiang SUN Yue-guang LI Xiang 作者单位：姜斌,黎湘,JIANG Bin,LI Xiang(国防科技大学四院空间信息技术研究所,长沙,410073)

和湘,孙月光,HE Xiang,SUN Yue-guang(通信指挥学院,武汉,430010)

刊名：电光与控制 ISTIC PKU英文刊名：ELECTRONICS OPTICS & CONTROL 年，卷(期)： 14(4) 分类号：V271.4 TN95 关键词：支持向量机径向基核函数模糊k-近邻模式分类模式识别统计学习理论

在线支持向量机第3篇

摘要：针对支持向量机在分类过程中的特征选择问题，提出了一种改进的遗传算法。在演化进程中运用Meteopolis准则通过合理选群来防止进化陷入局部极值区域。最后针对ucI数据库中的数据，通过将该算法与其他几种方法进行了比较，证明了本文算法具有较优的特征选择效果，并已成功应用在基于支持向量机的数字电路板故障诊断中。

关键词：支持向量机；互敏感度信息量；独立敏感度信息量；自适应变异率；Meteopolis准则

引言

支持向量机是一种在统计学习理论的基础上发展而来的机器学习方法，通过学习类别之间分界面附近的精确信息，可以自动寻找那些对分类有较好区分能力的支持向量，由此构造出的分类器可以使类与类之间的间隔最大化，因而有较好的泛化性能和较高的分类准确率。由于支持向量机具有小样本、非线性、高维数、避免局部最小点以及过学习现象等优点，所以被广泛运用于故障诊断、图像识别、回归预测等领域。但是如果缺少了对样本进行有效地特征选择，支持向量机在分类时往往会出现训练时间过长以及较低的分类准确率，这恰恰是由于支持向量机无法利用混乱的样本分类信息而引起的，因此特征选择是分类问题中的一个重要环节。特征选择的任务是从原始的特征集合中去除对分类无用的冗余特征以及那些具有相似分类信息的重复特征，因而可以有效降低特征维数，缩短训练时间，提高分类准确率。

目前特征选择的方法主要有主成分分析法、最大熵原理、粗糙集理论等。然而由于这些方法主要依据繁复的数学理论，在计算过程中可能存在求导和函数连续性等客观限定条件，在必要时还需要设定用来指导寻优搜索方向的搜索规则。遗传算法作为一种鲁棒性极强的智能识别方法，直接对寻优对象进行操作，不存在特定数学条件的限定，具有极好的全局寻优能力和并行性；而由于遗传算法采用概率化的寻优方法，所以在自动搜索的过程中可以自主获取与寻优有关的线索，并在加以学习之后可以自适应地调整搜索方向，不需要确定搜索的规则。因此遗传算法被广泛应用在知识发现、组合优化、机器学习、信号处理、自适应控制和人工生命等领域。

基于改进遗传算法的特征选择

遗传算法是一种新近发展起来的搜索最优化算法。遗传算法从任意一个的初始生物种群开始，通过随机的选择、交叉和变异操作，产生一群拥有更适应自然界的新个体的新一代种群，使得种群的进化趋势向着最，优的方向发展。图1中所示的是标准的遗传算法的流程框图。

传统的遗传算法存在早熟收敛、非全局收敛以及后期收敛速度慢的缺点，为此本文提出了一种能够在进化过程中自适应调节变异率，以及利用模拟退火防止早熟的改进遗传算法，同时该算法利用敏感度信息可以有效地控制遗传操作。图2是改进遗传算法的流程框图。

染色体编码和适应度函数

所谓编码是指将问题的解空间转换成遗传算法所能处理的搜索空间。在特征选择问题中，常常使用二进制的编码形式，使得每个二进制就是一个染色体，其位数长度等于特征的个数。每一位代表一个特征，每位上的1表示选中该特征，0则表示不选中。每一代种群都由若干个染色体组成。

适应度函数是整个遗传算法中极为重要的部分，好的适应度函数能使染色体进化到最优个体，它决定了在整个寻优过程中是否能够合理地协调好过早收敛和过慢结束这对矛盾。由于本文针对的是支持向量机的特征选择问题，所以考虑以分类正确率和未选择的特征个数这两个参数作为函数的自变量。将分类正确率作为主要衡量标准，未选择的特征个数为次要标准。由此建立以下的适应度函数：式中c为分类正确率。为未选择的特征个数，a是调节系数，用来平衡分类正确率和未选择的特征个数对适应度函数的影响程度，同时该系数也体现了用最少的特征得到较大分类正确率的原则，在本文中a取0.00077。由上式可知，分类正确率越高，未选的特征个数越多，染色体的适应度就越大。

选择操作

选择操作需要按照一定的规则从原有的种群中选择部分优秀个体用来交叉和变异。选择原则建立在对个体适应度进行评价的基础上，目的是避免基因损失，提高全局收敛性和计算效率。本文首先将整个种群中最优的前40％的个体保留下来，以确保有足够的优良个体进入下一代，对剩下的60％的个体采用轮盘算法进行选择，这样做可以弥补保留前40％个体而带来的局部最优解不易被淘汰的不利影响，有利于保持种群的多样性。

基于敏感度信息量的交叉、变异操作

独立敏感度信息量Q(i)指的是对在所有特征都被选中时计算所得到的适应度值Allfitness以及只有特征i未被选中时计算得到的适应度值Wfitness(i)按式(2)进行计算得到的数值。独立敏感度信息量刻画了适应度对特征是否被选择的敏感程度。

互敏感度信息量R(i，j)由(3)式可得，互敏感度信息量体现了特征与特征之间对适应度的近似影响程度。

交叉操作的作用是通过交换两个染色体之间的若干位从而生成含有部分原始优良基因的新个体。由式(3)可知互敏感度信息量可作为不同特征之间含有相似分类信息的一种度量，所以可以将互敏感度信息量代入式(4)计算出染色体在第一位发生交叉的几率β(j)，在式(4)中i和j分别代表特征和特征j，是染色体的长度。β(i)是特征，相对于其他所有特征在互敏感度信息量上的归一量，反映了特征与其余特征在相似信息量上的总和。由此对应到染色体上，β(i)就可以认为是染色体的第i位与整个染色体在基因信息上的相关性，β(i)越小则说明相关性越大，第i位与整个染色体所含的基因信息越接近，此位为分裂点的几率越小。由于β(i)是归一化量，故可采用轮盘算法来选择一个交叉点。

变异操作是引入新物种的重要手段，可以有效地增加种群个体的多样性。本文中的变异率Pm采用相邻两代之间的最优适应度增幅比作为自变量进行自适应调节，如式(5)所示。当适应度增幅比正向增大时，较小的增幅比可以使变异率维持在中等水平，并且变异率随着增幅比的增大而缓慢降低，这样既能够拥有一定数量的新个体也可以抑制过多不良染色体的产生，保证优秀染色体的进化足够稳定；而当适应度增幅比反向增大时，由较小增幅比则可以获得较高的变异率。并且变异率也伴随增幅比同比缓慢升高，确保有足够的染色体发生变异，稳定地加快进化速度。式中dis指新生种群的最优适应度相对于原种群的最优适应度的增幅比，尚k均是区间(0，1)上的调节系数。文中的j与k分别取0.65和0.055。

独立敏感度信息量在一定程度上体现了单个特征所含有的分类信息量，如果独立敏感度信息量小，则说

明该特征所含信息大部分对分类没有帮助，即该基因位发生突变后对整个染色体的优异性影响不大，突变的概率也就相应减小。因此将独立敏感度信息量归一化后所得到的q(i)作为特征i被选为变异点的概率。变异点的具体选择方法为：针对一个染色体按照染色体的位数进行循环遍历，在该循环中由变异率Pm判定是否产生变异位。若需要产生变异位，则依据q(i)按照轮盘算法进行选择。

模拟退火选群

在每一轮进化完成后都需要决定进入下一轮进化的种群。如果过多地将较优种群作为父代，就会使算法过早收敛或搜索缓慢。文献中指出模拟退火算法能够以一定的概率接受劣解从而跳出局部极值区域并最终趋于全局最优解。因此可以将上文提到的最优适应度增幅比作为能量函数，运用模拟退火的Meteopolis准则来选择待进化的种群。为了使每个种群得到充分地进化，预防最优解的丢失，这里采用设置退火步长的策略来实现模拟退火选群。该策略具体为：使退火步长对同一种群作为父代的次数进行计数，一旦产生更优种群则退火步长就置零并重新计数。若退火步长累计超过一定的阈值时，就进入模拟退火选群阶段。退火步长累计到一定数量意味着原有种群的进化已经停滞，需要用模拟退火算法摆脱这种停滞状态。如果增幅比大于零，则说明新生种群优于原有种群。这时完全接受新种群进入下一轮进化：否则新生种群劣于原有种群，并以一定的概率p接受较劣的新生种群进入下一轮进化。接受概率lp由式(6)和式(7)共同决定，其中dis为增幅比，T(s)指温度参数，To和s分别是初始温度和迭代次数。

以上两式的参数要满足进化对接受概率的要求。即增幅比负增长越大，接受概率降低越迅速，但接受概率随迭代次数的增加应缓慢下降。这样做能够保证在有限的迭代次数内有一个适应度较优的新生种群进入下一轮进化，以达到减少计算量和优选待进化种群的目的。在本文中To=0.2，A=0.9，m=0.5。

实例的验证与分析

UCI数据库常用来比较各种方法的分类效果，因此可以用其验证本算法对支持向量机作用后的分类效果。文献㈨采用了UCI数据库中的German、Ionosphere和Sonar三种数据作为实验对象，为了便于与文献中所用的几种方法进行对比，本文也采用这三种数据进行实验，并按照文献中所述的比例将各类数据分成相应的训练样本和测试样本。

在种群规模为30，交叉率为0.8、起始变异率为0.1的条件下使用支持向量机作为分类器(惩罚参数为13.7，径向基核函数参数为10.6)对所选数据进行分类，表1中显示了本文算法与文献中几种算法在分类效果上的对比，表2给出了三种数据的最终选择结果。表1中共出现了四种方法：方法1：使用本文算法：方法2：使用NGA／PCA方法；方法3：使用PCA方法；方法4：使用简单遗传算法。

由于本文算法旨在用最少的特征个数最大化分类正确率，因此从表1中可以看出本文算法在特征选择个数和分类正确率上均比其他三种方法更具优势。由于NGA／PCA算法是针对简单遗传算法和主成分分析法的不足而做的改进，其性能优于简单遗传算法和主成分分析法，所以本文算法的分类效果优于NGA／PcA算法这一事实更能说明该算法可以较好地解决支持向基机的特征选择问题。

结语

通过与其他方法的比较，本文算法的分类效果得到了充分的验证，也说明了该算法具有极好的泛化能力以及在敏感度信息量地指导下遗传操作的有效性。

适应度函数的设计至关重要，它直接影响到最终结果的优劣以及算法的收敛性，所以在适应度函数的设计应考虑所解决问题的侧重点。

分类正确率的高低不仅取决于合理的特征选择，而且与支持向量机的参数优化有关。只有在合理的特征选择和参数优化的前提下，支持向量机分类器才能发挥出最佳的分类效果。

支持向量机应用概述第4篇

关键词：支持向量机,人脸检测,文字/手写体识别,图像处理

与传统统计学相比,统计学习理论(Statistical Learning Theory或SLT)是一种专门研究小样本情况下机器学习规律的理论。V Vapnik等人从二十世纪六、七十年代开始致力于此方面研究[1],到九十年代中期,随着其理论的不断发展和成熟,也由于神经网络等学习方法在理论上缺乏实质性进展,统计学习理论开始受到越来越广泛的重视[2,3]。

统计学习理论是建立在一套较坚实的理论基础之上的,为解决有限样本学习问题提供了一个统一的框架.它能将很多现有方法纳入其中,有望帮助解决许多原来难以解决的问题(比如神经网络结构选择问题、局部极小点问题等);同时,在这一理论基础上发展了一种新的通用学习方法——支持向量机(Support Vector Machine或SVM),它已初步表现出很多优于已有方法的性能。一些学者认为,SLT和SVM正在成为继神经网络研究之后新的研究热点,并将有力地推动机器学习理论和技术的发展[3]。

1 支持向量机的应用研究现状

SVM方法在理论上具有突出的优势,贝尔实验室率先对美国邮政手写数字库识别研究方面应用了SVM方法,取得了较大的成功。在随后的近几年内,有关SVM的应用研究得到了很多领域的学者的重视,在人脸检测、验证和识别、说话人/语音识别、文字/手写体识别、图像处理、及其他应用研究等方面取得了大量的研究成果,从最初的简单模式输入的直接的SVM方法研究,进入到多种方法取长补短的联合应用研究,对SVM方法也有了很多改进。

1.1 表情识别

文献[4]中,将22个面部特征点的位移作为SVM的输入,比较了3种内积函数对于6种表情的分类效果,发现径向基核的表现明显好于另外两个,其对静态图像数据的表情识别准确率达到了87.9%。另外文献[5]中将ICA分解与SVM分类器相结合用于表情识别,发现其效果优于传统的贝叶斯分类器;接着又对原始人脸图像进行一系列的Gabor变化,将获得的新的特征作为SVM的分类器输入,得到了更好的识别结果。

1.2 车辆行人检测

美国M.Oren[6]介绍了可训练的目标探测方法,用来探测静止图像中的相关人。由于人体是一个非刚性的目标,并在尺寸、形状、颜色和纹理机构上有一定程度的可变性。行人检测主要是基于小波模板概念,按照图像中小波相关系数子集定义目标形状的小波模板。系统首先对图像中每个特定大小的窗口以及该窗口进行一定范围的比例缩放得到的窗口进行Harr小波变换,然后利用支持向量机检测变换的结果是否可以与小波模板匹配,如果匹配成功则认为检测到一个行人。

1.3 汉字识别

文献[7]提出内核方法,利用高斯SVM内核融合动态时间规整技术,在不损失识别效率的情况下,识别速度增加10倍,又克服了SVM方法由于固定的特征空间,与字符序列长度多变性之间的冲突。它对不同字库进行实验,其中,对字符识别的误识率为11.7%,远小于采用MLP方法(14.4%)和HMM方法(14.1%)。文献[8]对SVM方法进行改良,提出主动学习支持向量机(Active learning SVM,ASVM)的方法,解决SVM分类器易受样本孤立点影响的不足,该方法比普通SVM有更好的泛化能力。

1.4 图像中的文本定位

Kim[9]将支持向量机(SVM)用于分析图像中文本的纹理特性。该方法不需要专门提取纹理特征,而是直接将像素的灰度值作为支持向量机的输入,经支持向量机处理后输出分类结果(即文本或非文本);然后再通过消除噪声和合并文字区域就可得到定位结果。支持向量机对于文本定位有很好的鲁棒性,并且可在有限的样本中进行训练。

1.5 图像复原

Lin等人提出一种新的自适应滤波器,该滤波器基于支持向量机,由一个噪声决策机和双通道中值滤波器构成[10]。该方法的创新之处在于巧妙地利用支持向量机设计噪声检测器,用于判断当前像素是否为噪声。如果是噪声,则进行滤波,否则不做任何处理。从而,能够在有效抑制脉冲噪声的同时,保护更多的图像细节。试验结果显示,该方法不论对随机噪声还是固定比例噪声都具有理想的效果。

文献[11]提出一种基于局部自适应最小方差支持向量机的图像复原方法。通过建立适当的非线性映射核函数,将退化图像映射到一个高维特征空间,然后通过维纳滤波器进行滤波。仅需使核函数个数满足Mercer条件,即可将非线性维纳滤波问题转换为特征空间的线性滤波问题来处理。此外,该方法中的核函数还可以更换为小波或者其他类型的核函数。Li等人基于支持向量回归机SVR)提出一种模糊加噪声退化图像的复原方法[12]。利用支持向量机实现退化图像中(2R+1)#(2S+1)大小的邻域到未退化图像中像素点的映射,对各种退化图像的学习之后,将该映射用于图像复原。在该方法中,SVR实际上用来寻找低分辨率窗口与高分辨率窗口中心像素之间的映射,因此,支持向量机的个数远小于培训样本的数量,这使得该方法非常高效。

1.6 P2P流量识别

P2P流量识别问题本质上就是一个分类问题,将未知流量粗分为P2P和non-P2P应用属于二值分类,将未知流量细分为各个具体P2P应用属于多值分类。因此支持向量机被自然地应用到P2P流量分类问题。

文献[13]使用目的地址、源端口、目的端口作为样本的流量特征,在实验的基础上,提出源端口维度的平滑处理方法,削弱噪声数据对识别准确率的影响。该文献从四种常用核函数中选用计算数值难度较小的径向核,并使用C-SVM构造决策函数。实验证实经过平滑处理后的支持向量机能够识别实验中运用的主流P2P应用(如B it Torrent、e Donkey、Baizhao、PPLive),并具有较低的误报率。为了提高P2P流量识别的精度,文献[14]采用V-SVM分类机作为二值支持向量机,参数V能够较容易地调整识别比重,且较参数C容易确定,并采用all-together方法构成多值支持向量机。实验表明,该方法能够对应用层中至少75%,最多99%的流量进行分类,并且在误报率和系统资源占用率上低于基于签名和基于传输层分析的方法。

2 结论

在线支持向量机第5篇

针对现有的.外场数据统计法在确定飞机机载产品寿命指标上的局限性,建立了机载产品使用影响因素体系,利用某型机载产品在不同典型使用环境下的故障率数据,建立支持向量机回归分析模型,通过机器学习掌握已知机载产品使用影响因素向量和故障率数据的相互关系,根据已知的产品故障率数据对未知寿命进行预测.利用8个单位的产品故障率来预测另一单位的产品故障率,并给出了算例分析.计算结果与实际情况相吻合,表明该方法具有一定的应用价值.

作者：李郑琦何宇廷邵青魏鹏作者单位：李郑琦(中国飞行试验研究院,陕西,西安,710089)

何宇廷,邵青,魏鹏(空军工程大学,工程学院,陕西,西安,710038)

在线支持向量机第6篇

关键词：支持向量机；行人检测跟踪；TLD

中图分类号：TP391.4 文献标识码：A

文章编号：1674-2974（2016）10-0102-08

Abstract：A new method based on optimized TLD （Track-Learning-Detection） and SVM （Support Vector Machine） for tracking pedestrian was proposed. First， with pedestrians as positive samples and the background as negative samples respectively， HOG （Histogram of Oriented Gradient） descriptor of pedestrian was extracted and combined with linear SVM to train the pedestrian classifier，which was used to obtain the calibrated pedestrian area accurately. Then， adaptive tracking and online learning on the pedestrians on the basis of TLD were integrated to estimate the reliability of the positive and negative samples， to rectify error existing in the current frame caused by detection and to update the tracking data simultaneously to avoid subsequent similar mistakes. The experiment results demonstrate that， compared with the conventional tracking algorithm， the proposed algorithm can not only significantly adapt to occlusions and appearance changes but also automatically identify and track pedestrian targets at arbitrary position， manifesting stronger robustness.

Key words：support vector machine； pedestrian detection and tracking； TLD

在计算机视觉应用中，长期稳定实时检测跟踪运动物体已经成为一个重要的研究课题，随着技术的不断成熟，该领域的应用也相当广泛，比如：工业生产、实时监督、自动目标定位、自动导航、人机交互、增强现实技术、SLAM、游戏开发等.研究人员根据实际应用的需要提出不同的跟踪方案，其中D.Comaniciu等[1]利用改进的mean-shift来跟踪运动物体，该方法可通过迭代步骤找到离跟踪目标最近的位置，但其不能解决目标被遮挡或发生形变等问题，在前后背景颜色相似的环境中，容易发生目标跟丢的情况.Martinez等[2]用背景差分法提取目标，根据轨迹建立数学模型实现行人跟踪，该方法可取得较好的检测效果，但由于计算时间长，跟踪的实时性不能得到保证.季玉龙等[3]提出的对运动目标建模的方法需要大量的先验知识，对视频帧中出现的相似目标干扰没有很好的鲁棒性，不能保证长期的跟踪性和适应性.

TLD算法[4-7]将检测过程和跟踪过程融合起来并引入学习机制，当目标发生形变或被遮挡时，可以实时更新目标模型，实现在线学习和评估，在一定程度上可以克服目标外观变化及运动模糊，具有较强的稳定性.但是TLD算法中的跟踪目标并不能自动识别，当目标移动过快时，跟踪准确度也有所下降，因此泛化性仍有待提高.本文在其基础上提出了一种基于支持向量机分类优化的行人跟踪学习检测方法，该方法利用SVM分类器检测到待跟踪目标，保留TLD算法在复杂背景下对目标区域实时学习与跟踪的基础上在检测模块中加入图像特征点配准[8]以实现更高的跟踪精度.

1 方法概述

本文利用视频初始帧中行人方向梯度直方图和支持向量机检测出行人在视频帧中的特征及位置，将目标行人提取出来，记录行人位置左上角坐标与行人的宽和高.确认目标后将视频帧输入到检测模块与跟踪模块并产生相应的实时正负样本，学习模块根据捕捉到的正负样本不断将信息反馈给检测模块与跟踪模块，利用图像特征点配准进一步剔除图像元中的误配点，达到良好的检测跟踪效果.算法具体框架如图1所示.

2 基于HOG与线性SVM的行人检测方法

2.1 行人特征提取

行人特征可以用灰度、边缘、SIFT特征、Haar特征等来描述.由于HOG[9]属于对局部目标进行检测，对阴影、光照条件的变化、小角度旋转以及微小行人动作有较好的鲁棒性.因此本文采用HOG来提取行人特征.目标的HOG提取过程[10]如下：

1）对图像进行gamma校正以实现标准化，降低噪声干扰及光照影响，如图2所示.

2）对各像素点求梯度大小及方向，捕捉目标区域的轮廓.

3）构建细胞单元梯度方向直方图.

本文中行人检测样本取自Navneet Dalal， Bill Triggs建立的INRIA数据库，库中图片像素为64×128.以8×8像素作为一个cell单元，对单元内每个像素梯度进行统计并投影到9个bin中.将2×2个cell作为一个block，扫描步长为单个cell，依次对图像进行遍历，则共有105块block，每个block中有2×2×9=36个特征描述子，最终整个图片包括36×105=3 780个HOG特征描述子.

4）根据式（5）对HOG特征描述子进行L2 范数归一化后用作后续分类识别的特征向量：

2.2 使用支持向量机（SVM）检测行人具体位置

在机器学习中，SVM[11-12]被广泛应用于训练感知器与统计分析及分类中.该算法可将低维向量投影到高维空间中，并在此空间中形成一个最大分离超平面，使其距离平面两端的数据间隔最大，如图3所示.最大分离超平面如式（6）表示：

为训练分类器，本文选择包含不同姿势及形态的行人图像作为正样本，不包含行人的任意背景图片作为负样本.本文选择3 000张正样本（如图4（a）所示），2 000张负样本（如图4（b）所示）并将其标准化为64×128像素作为训练样本.

用初次训练好的分类器检测不包含人体的图像，有时会得到错误的目标区域[13-14]，将这些错误区域（Hard Example）归到负样本中，再次进行训练，迭代多次，可明显改善分类器效果.最终训练好的分类器可将行人区域很好地划分出来，效果图如图5（a），（b）所示.

3 利用改进的TLD对行人进行跟踪

在初始帧利用SVM分类器得到待跟踪行人位置后，将位置信息传递给TLD中的bounding box以对该算法进行目标区域的初始化.TLD（Tracking-Learning-Detection）是一种对特定目标进行自适应检测与在线学习并实现实时跟踪的算法[15]，该算法将目标跟踪任务分成3部分：跟踪模块、学习模块和检测模块.3部分协同组合，并以并行方式运行发挥各自优势[16]，具有较高的可靠性和鲁棒性.

3）PN学习过程中[18]，先给定一个视频和扫描框，同时用分类器标定出视频区域中的目标和背景，用跟踪器来提供正的训练样本，检测器提供负的训练样本.跟踪器跟踪目标后，靠近目标窗口的扫描窗口通过P约束来更新检测器，若扫描窗口中不存在目标物体，则N约束更新检测器.P约束利用时间连续性，根据前一帧目标出现的位置预测目标轨迹，估计目标在当前帧的位置，若检测器将此位置定义为负样本，则P约束生成正样本；N约束分析出当前帧目标可能出现的最优位置，与此位置重叠度低的区域标记为负样本，继续更新跟踪器.PN约束通过在线处理视频帧逐步提高检测器正确率，相互补偿来确保学习模块的稳定性与可靠性，利用误检来提高学习性能.

4 实验结果与分析

本实验编程平台：VS2010与opencv2.4.3开发库；MATLAB R2013a.

微机环境配置：CPU Intel（R）Core（TM）i3-4150 3.50 GHz，内存为4 G.

4.1 实验测试集说明

为了更好地验证本算法检测跟踪目标的鲁棒性和准确性，将实验结果与文献[19]中高斯混合模型改进的meanshift跟踪算法[19]，文献[20]中kalman滤波和模板匹配跟踪算法[20]及基本TLD算法分别在4种不同的数据集中进行验证比较，并分析各算法的准确性、实时性及鲁棒性.其中shooting和football序列来自网上公开测试集VTD_data_images，pedestrian1及 pedestrian2数据集为实时采集.测试集序列内容如表1所示.

4.2 性能分析

4.2.1 算法准确性比较

将本文算法、改进的meanshift算法、kalman滤波和模板匹配算法、基本TLD算法在不同的测试集中进行实验，对比跟踪效果.用式（16）来表示跟踪成功率：

score=area（RT∩RG）area（RTRG）.（16）

式中：RT表示跟踪算法跟踪到的目标区域，RG表示目标实际所在区域.若score>0.5，则认为该算法正确跟踪此帧.测试集实验结果如表2所示.由表2可知，在未遮挡情况下，各算法均可以获得较准确的跟踪结果，但在有遮挡时，本文算法正确率均高于其他各算法.

本文算法、文献[19]改进的mean-shift算法、文献[20]kalman滤波和模板匹配算法及基本TLD算法在pedestrian1测试集中跟踪部分结果（分别选取测试集第30帧、第53帧、第174帧、第350帧）如图8所示.从图8可知，当目标未被遮挡时，3种算法都可以准确跟踪行人，目标被遮挡后，基本TLD算法、文献[19]与文献[20]中的跟踪算法均出现目标跟丢甚至误检现象，而本文算法可始终追踪到行人，对目标定位跟踪表现出良好的抗干扰性和准确性.

4.2.2 算法实时性比较

本文采用平均帧率（average frame per second）作为算法实时性分析的评价指标.各算法在测试集中的平均帧率如表3所示.由表3可知，基本TLD算法与本文算法在测试集的处理上速度高于其他两种算法，而由跟踪准确性分析可知，本文算法比基本TLD算法获得了更准确的跟踪结果，表现出较强的跟踪性能.

4.2.3 算法鲁棒性分析

在pedestrian2序列中（如图9所示），行人检测分类器确定目标位置后，当目标姿势变化较大时，学习模块通过在线学习不断更新跟踪模块和检测模块样本，确定新的正样本.本算法在目标侧身，转身，消失然后重现时均可以准确跟踪行人，当相似目标出现时则不返回跟踪框，表现出良好的抗干扰性.

5 结论

检测跟踪一直是计算机视觉研究的热点和难点，而TLD算法通过在线学习与检测，根据产生地正负样本不断更新跟踪结果，具有较好的实时性与准确性.本文在其基础上引入SVM行人检测分类器，确定并读取目标区域位置信息，实现行人的自动识别，同时联合图像配准技术，将误配点排除，跟踪精度得到进一步提高.最后进行实验验证，通过与当前两种主流跟踪算法及基本TLD算法在不同测试集上进行试验比较，可知本算法在长时间跟踪过程中能够不断适应目标形变带来的干扰，表现出更好的跟踪效果与鲁棒性能.

参考文献

[1] CQMANICIU D， RAMESH V ， MEER P. Real-time tracking of nonrigid objects using mean shift[C]//Proceedings in Computer Vision and Pattern Recognition， Hilton Head Island， SC： IEEE Conference，2000：2，142-149.

[2] ANTONINI G，MARTINEZ S V，BIERLAIRE M，et al.Behavioral priors for detection and tracking of pedestrians in video sequences[J]. International Journal on Computer Vision，2006，69（ 2）： 159-180.

[3] 季玉龙，董天罡，梁海军，等.基于粒子滤波的多区域辨识性建模跟踪算法[J].四川大学学报：工程科学版，2013，45（1）：79-83.

JI Yu-long，DONG Tian-gang，LIANG Hai-jun，et al. Robust particle tracking via multi- region based discriminative modeling[J]. Journal of Sichuan University：Engineering Science Edition， 2013，45（1）：79-83. （In Chinese）

[4] KALAL Z，MATAS J，MIKOLAJCZYK K. Online learning of robust object detectors during unstable tracking[C]∥Proceedings of 12th International Conference on Computer vision workshops. New York： IEEE Xplore，2009： 1417-1424.

[5] KALAL Z，MATAS J，MIKOLAJCZYK K. Pn learning： bootstrapping binary classifiers by structural constraints[C]∥ Proceedings of Conference on Computer Vision and Pattern Recognition. New York： IEEE Press，2010： 49-56.

[6] ALALZ K，MIKOLAJCZYK K，MATAS J. Forward-backward error： automatic detection of tracking failures[C]∥Proceedings of International Conference on Pattern Recognition. New York： IEEE Press，2010： 23-26.

[7] KALAL Z，MIKOLAJCZYK K，M ATAS J. Tracking-learning-detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（ 7）： 1409-1422.

[8] 魏国剑，侯志强，李武，等. 融合光流检测与模板匹配的目标跟踪算法[J]. 计算机应用研究，2014，31 （ 11）： 3498-3501.

WEI Guo-jian， HOU Zhi-qiang， LI Wu，et al. Object tracking algorithm fused with optical flow detection and template matching[J]. Application Research of Computers， 2014，31 （ 11）： 3498-3501. （In Chinese）

[9]DALAL N，TRIGGS B. Histograms of oriented gradients for human detection[C]//Computer Vision and Pattern Recognition，International Conference.Beijing：2005：886-893.

[10]DALAL N，TRIGGS B. Histograms of oriented gradients for human detection[C]//Proceedings of Computer Vision and Pattern Recognition，IEEE Computer Society Conference on. San：CA ：IEEE， 2005，1： 886-893.

[11]曹文明，王耀南，文益民. 输电线路除冰机器人基于小波矩及SVM 的障碍物识别研究[J]. 湖南大学学报：自然科学版，2012，39（9） 33-38.

CAO Wen-ming，WANG Yao-nan，WEN Yi-ming. Research on obstacle recognition based on wavelet moments and SVM for deicing robot on high voltage transmission line[J]. Journal of Hunan University： Natural Sciences，2012，39（9） 33-38.（In Chinese）

[12]于海滨，刘济林.应用于公交客流统计的机器视觉方法[J]. 中国图像图形学报，2008，13（4）：716-722.

YU Hai-bin，LIU Ji-lin. A vision-based method to estimate passenger flow in bus[J]. Journal of Image and Graphics，2008，13（4）：716-722.（In Chinese）

[13]HUANG Dong-ze ，CAI Zhi-hao，XIANG HE Xiang，et al.A SVM embedded particle filter for multi-object detection and tracking [C]//Proceedings of 2014 IEEE Chinese Guidance，Navigation and Control Conference.Yantai：IEEE Press，2014：2094-2099.

[14]方卫宁.基于 RBF 神经网络的复杂场景人群目标的识别[J]. 北京交通大学学报，2009，33（ 4）： 29-33.

FANG Wei-ning. Recognizing the passenger number in ccomplex scenes by RBF neural network[J]. Journal of Beijing Jiao tong University，2009，33（ 4）： 29-33.（In Chinese）

[15]ANDRILUKA M，ROTH S，SCHIELE B. People-tracking-by-detection and people-detection-by-tracking [C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE Press，2008： 1-8.

[16]COLLINS R T，LIUY，LEORDEANU M. Online selection of discriminative tracking features[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（ 10）： 1631-1643.

[17]YAMAZAWA K， YOKOYA N. Detecting moving objects from omnidirectional dynamic images based on adaptive background subtraction[C]/ / Proceedings of International Conference on Image processing. Institute of Electrical and Electronics Engineers Computer Society，Barcelona， Spain：2003， 953-956.

[18]FENARI V， TUYTELAARS T， VAN G L. Real-time affine region tracking and coplanar grouping[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Kauai， HI： Institute of Electrical and Electronics Engineers Computer Society， 2001：226-233.

[19]QUAST K， KAUP A. Shape adaptive mean shift object tracking using Gaussian mixture models[M].Lecture Notes in Electrical Engineering. Heidelberg： Springer， 2013， 158： 107-122.

[20]陈金令，苗东，康博，等. 基于Kalman滤波和模板匹配的目标跟踪技术研究[J].光学与光电技术， 2014，12（ 6）： 9-12.

遗传支持向量机的应用第7篇

音乐特征识别的主要任务是利用音乐的音频信号得到音乐的特征,也即得到音乐的类型。这种技术由于能便捷地实现乐谱的计算机录入工作,在电脑音乐、计算机辅助作曲及音乐作品数字化等领域有广阔的应用前景[1]。

音乐识别的研究涉及到了心理声学、计算机听觉分析、乐器分析、节奏分析,也用到了黑板模型以容纳乐理的先验知识[2];近年来,BP神经网络也被运用到音乐识别中来,不过识别率只能达到88%左右,错误率仍然比较高[3]。近年来,支持向量机由于具有优越的模式识别能力被运用到语音及音乐识别中来,但是其惩罚参数c和核函数g的选择一直是一个难题[4],因为支持向量机的参数选择决定了其学习性能和泛化能力。而遗传算法由于其优越的性能,逐渐在各前沿科学中得到应用。

本文从音乐识别的基本任务,即音乐特征识别入手,提出了利用支持向量机(SVM)结合粒子群参数优化的算法。利用支持向量机在模式分类中良好的泛化能力,对音乐特征进行分类,针对目前大部分SVM的c、g参数凭经验选取的情况,利用遗传算法优化参数,对SVM中的惩罚参数c和核函数g进行全局优化,获得最优的参数值,使SVM的分类性能达到最优。

2 基于遗传算法的SVM参数寻优

遗传算法(GA)利用生物遗传学的观点,结合了适者生存和随机信息交换的思想,通过自然选择、交换、变异等作用机制,实现种群的进化。在寻优过程中,GA在解空间随机产生多个起始点并同时开始搜索,由适应度函数来指导搜索方向,是一种能够在复杂搜索空间快速寻求全局优化解的搜索技术,适宜于最佳核函数、惩罚因子这一复杂的连续参数优化问题,优化过程中,编码区间、适应度函数、遗传算子的选择是关键。因此,GA应用在SVM参数寻优中是可行的。

本文拟采用遗传算法来优化SVM中的参数,具体步骤如下:

(1)系统初始化,包括参数和初始化种群;

(2)计算初始化的目标函数值;

(3)判断是否达到结束条件,若达到,则输出结果,否则转步骤(4);

(4)进行适应度值的计算,进行选择、交叉和变异操作;

(5)计算子代的目标函数值,并重新插子代到种群,并转入步骤(3)。

遗传算法参数寻优流程图如图1所示。

3 测试与分析

3.1 音乐素材的准备及处理

语言特征识别是语音识别领域的一个重要方面,一般采用模式识别的原理解决。具体过程为:首先将待识别语音转化为电信号后输入识别系统,用数学方法提取语音特征信号,提出的特征信号可以看做是该语音的模式。然后可以根据该段音乐模型和已知参考模型相比较,获得最佳匹配的参考模型为该段语音的识别结果。

本次实验选取了民歌、古筝、摇滚和流行四类不同音乐的片断,经过数字化处理以后,形成等长的音乐帧。然后主要抽取以下四个特征进行信号提取:

频域能量、子带能量、带宽、基音频率。四个特征分别代表了音乐的原始特征,具有较高的抽象特征。数据采用双声道、采样频率为30k Hz、存储精度为32位格式。所选的音乐片断时长比较接近,均在5min左右。每段音乐都用倒谱系数法提取500组24维音乐特征。

3.2 模拟测试结果及分析

测试试验用的是Matlab的2009a版本语言编写的SVM-GA音乐特征识别模型。不同的音乐信号类别标签分别用1,2,3,4标识,提取出的信号分别存储于data.mat中。每种不同的音乐片断都有500个数据,每个数据包含24种特征。用前面450个数据作为训练数据,后面50个数据包为测试数据。预测方法总共用了三种:BP神经网络算法、经典SVM方法以及结合遗传算法的SVM-GA方法。根据得到的预测数据,可以得到如下预测成功率的统计图表,如下表1所示。

表1是根据不同识别算法对音乐特征的识别率情况总结,可以看到,SVM结合GA对于音乐特征的识别率达到94.5%,比不用粒子群优化参数的经典SVM算法的识别率高。三种算法中,BP神经网络的识别率最低,只有85%。可见,SVM-GA算法具有较好的预测精度和抵抗异常值影响的能力,预测结果更加稳定,证明了该算法应用于音乐特征识别的有效性与鲁棒性。

结束语

本文提出利用SVM结合遗传算法运用在音乐特征识别中,首先用遗传算法对SVM模型进行参数优化,获得最优的支持向量机参数值,克服了传统SVM参数选择的盲目性与局限性。遗传算法进化代数在20左右即可得到比较好的性能,并且保持了比较稳定的辨别率。仿真结果表明,与传统的SVM预测模型和传统的BP神经网络算法相比,该方法具有良好的预测精度和稳定性,具有比较宽广的应用前景,在其他行业中也可以得到运用。

摘要：本文针对支持向量机中的参数通常靠交叉实验来确定的状况,提出了遗传支持向量机,并将之应用在音乐特征识别中。基于Matlab的实例仿真结果表明,该预测模型精度高于传统SVM预测模型,具有一定实用价值,为快速准确的音乐特征识别提供了一种新的方法和途径。

关键词：识别,支持向量机,优化

参考文献

[1]樊儒昆,傅晶,程司雷,等.动作与音乐的节奏特征匹配模型[J].计算机辅助设计与图形学学报,2010,22(6):990-994.

[2]蒋隽,周昌乐,黄志刚.MIDI文件主旋律音轨的抽取[J].厦门大学学报(自然科学版),2011,49(1):43-45.

[3]许琳,王作英.基于HMM的音乐识别算法[J].计算机工程,2004,30(10):134-136.

径流长期预报的支持向量机方法第8篇

1 SVM分类模型原理

支持向量机(Support Vector Machines,SVM)从结构风险最小化原则出发为机器学习提供了一个崭新的方法[2],被认为是小样本学习中较好的一种机器学习方法。支持向量机是从线性可分情况下的最优分类面发展而来的,通过将输入空间映射到一个高维内积空间中,解一个线性约束的二次规划问题得到全局最优解,有效避免了“维数灾难”,保证了收敛速度,而且相对于神经网络不存在局部极小值问题。因此,在解决小样本、非线性及高维模式识别问题中具有独特的优势,所以它成为继神经网络研究之后新的研究热点,并将推动机器学习理论和技术的发展。目前,SVM在模式识别、回归估计、概率密度函数估计和工程领域等方面都有广泛的应用[3,4]。

支持向量机是从线性可分情况下的最优分类面发展而来的,基本思想可用图1的两维情况说明。

图1中,实心点和空心点代表2类样本,H为分类线,H1、H2分别为过各类中离分类线最近的样本且平行于分类线的直线,它们之间的距离叫做分类间隔(margin)。所谓最优分类线就是要求分类线不但能将2类样本正确分开(训练错误率为0),而且使分类间隔最大。分类线方程为x·w+b=0。我们可以对它进行归一化,使得对线性可分的样本集(xi,yi),i=1,…,n;x∈Rd;y∈{+1,-1};满足:

yi[(w.xi)+b]-1≥0(i=1,...,n)(1)

此时,分类间隔等于2/‖w‖,使间隔最大等价于使‖w‖2最小,对应分类面就叫做最优分类面,H1、H2上的训练样本点就称作支持向量。

利用Lagrang优化方法可以把上述最优分类面问题转化为其对偶问题,即在约束条件下,对αi求解以下函数的最大值:

αi为与每个样本对应的Lagrange乘子,这是一个不等式约束下二次函数寻优的问题,存在唯一解。容易证明,解中将只有一部分(通常是少部分)αi不为零,对应的样本就是支持向量。解决上述问题后得到的最优分类函数:

在线性不可分的情况下,可以在式(1)中增加一个松弛项ξ≥0,成为:

将目标改为求最小,即折衷考虑最少错。

分样本和最大分类间隔,就得到广义最优分类面,其中,C>0是一个常数,它控制对错分样本惩罚的程度。

对非线性问题,可以通过非线性变换转化为某个高维空间中的线性问题,在变换空间求最优分类面。根据泛函的有关理论,只要一种核函数k(xi,xj)满足Mercer条件,它就对应某一变换空间中的内积。此时,目标函数式(2)变为:

而相应的分类函数也变为:

SVM中不同的内积核函数将形成不同的算法,常用的核函数为径向基函数(RBF):

超参数s、c可通过交叉验证方法确定。

这时SVM实现的就是包含一个隐层的多层感知器,隐含层节点数是由算法自动确定的,而且算法不存在困扰神经网络方法的局部极小点问题。

SVM常用的学习算法有Chunking算法、分解算法、SMO法、最近点快速迭代(NPA)算法、最小二乘法等,具体方法可参考文献[2]。

2 径流长期预报的SVM方法

为了验证SVM方法的可靠性,选择某水库1953-1980年补水期平均入库流量与对应的前期影响因子实测资料作为研究对象[5]。其中,1978-1980年资料留作预报检验之用,经过对预报因子的筛选,采用4个径流前期影响因子:700 hPa 19时5月平均位势高x1(m)水库以上流域3月上旬降雨量除以降雨天数x2 (mm/d);地面3月平均相对湿度x3 (%);沈阳地面1月平均气温x4 (℃)。预报因子选定后,即可进行径流预报。

2.1 输入、输出的分级资料

分级是径流预报的基础工作,分级的原则应是相同童级的资料尽量集中,不同量级的资料尽可能分散,尽可能避免出现矛盾,并在资料较少时分级不宜过细。例如,平均位势高相对值(实测值-300)分级标准为:x1<10,10≤x1 14,1444。

同理,可对其他因子及径流量分级,径流量分级见表1。

2.2 SVM预报模型的建立

共收集了28个样本,随机选取其中22个样本作为SVM的学习样本(见表2),6个作为预测样本(见表3)。以特征变量(x1,x2,x3,x4)作为输入向量,类别作为输出变量。

支持向量机的径流量分级其实是一个三元分类问题,其二值分类问题(模式识别)已经很好地得到了解决。对于三元分类问题,把三元分类问题看作是一组二值分类问题,建立3个二值分类器,一个分类器对应其中的一类,每一个分量对应的类别值为1或-1。SVM模型采用Matdab平台开发实现。

2.3 预报结果分析

预报结果见表3。

从表3可以看出,预报结果与实际情况完全一致。虽然本文采用SVM方法时较文献[5]中的人工神经网络方法取更少的学习样本,但仍然能够保持很高的预测精度,说明SVM方法是科学可行的,在解决小样本问题上具有很强的适应性。

3 结论

(1)径流与其影响因素之间的关系是高维度的复杂非线性关系,用传统的建模方法很难处理。作为当今机器学习领域的标准工具之一,SVM机器学习模型能很好地处理这种关系。本文尝试将SVM机器学习方法应用于径流长期预报。研究表明,该方法是科学可行的,预测结果可靠。

(2)在实际应用中,应尽可能多地收集和分析与径流相关的各种影响因素的信息资料,通过丰富学习样本提高预测效果,特别是对于自然和人类活动共同影响的二元水循环模式的流域,若能充分考虑人类活动的影响因素,并把相关信息纳入学习样本,可以进一步提高SVM模型预测结果的可靠性。

摘要：支持向量机是近年来提出的一种新的机器学习算法,在解决小样本、非线性及高维模式识别问题中具有独特的优势。针对径流形成过程的不确定性和复杂性,提出了基于支持向量机分类模型的径流长期预报方法。相关研究表明,该方法是可行的,具有预测精度高和良好的可靠性等优点。

关键词：径流,预测,支持向量机,分类

参考文献

[1]刘素一.廖家平.径流预测中的非线性分析方法[J].湖北工学院学报,2003,18(1):42-46.

[2]Vapnik VN.The Nature of Statistical Learning Theory[M]. Springer-Verlag,New York,1995.

[3]Vapnik VN.An overview of statistical learning theory[J].IEEE Trans Neoral Network.1999,10(5):988-999.

[4]卢敏,张展羽.径流预测的支持向量机应用研究[J].中国农村水利水电,2006,32(2):47-49.

支持向量机实现网路安全态势评级第9篇

长期以来,防火墙和入侵检测系统(IDS)被作为网络安全防护的主要手段,发挥了重要的作用。但是随着安全事件的日益增多,被动的防御技术已经不能满足需要,诸如此类的安全设备每天都会产生海量的、重复的、误报率高的告警信息,这样使得网络管理员面对大量的告警信息很难了解系统的安全状况,不能及时采取合适的响应措施。这种情况下,系统化的、自动化的网络安全管理需求逐渐提高,而网络安全态势感知就是目前网络安全领域的一个研究热点,已经引起了相关科研机构和研究人员的足够重视。全面了解网络的运行状况,有效地预测网络态势的发展趋势,可以使整个网络的资源得到有效利用,并通过态势分析得到可能发生的威胁,及早采取措施有效地防止攻击等恶意破坏。以预测网络态势发展趋势为目标,基于网络安全态势感知系统,利用支持向量机理论,通过提取网络、服务、系统软件以及各种应用的状态数据作为模型的主要参数,用于实现这些参数的预测和分析。经过实验结果表明本模型算法可以以较高的正确率预测网络的安全态势。

2 相关研究

网络安全态势是指由各种网络设备运行状况、网络行为以及用户行为等因素所构成的整个网络的当前状态和变化趋势。网络安全态势感知,即是在大规模网络环境中,对能够引起网络态势发生变化的安全要素进行觉察、理解、显示以及预测未来的发展趋势。态势强调环境、动态性以及实体间的关系,是一种状态,一种趋势,一个整体和宏观的概念,任何单一的情况或状态都不能称之为态势。

现有网络态势评估方法,主要可分为3种:数学模型、推理和模式识别。其中数学模型方法直观易于理解,但是评定网络状态的函数的选取、参数的选择,没有统一的标准,大都是依据领域知识或者经验而定,缺少客观的依据。推理的方法难点在于获取知识、建立模型,以简单的因果管理来“模拟人类思维”则存在不可逾越的障碍,另外大量推理规则的累积也成为不得不考虑的问题。而基于模式识别的方法通过建立模板以及计算实测数据与模板数据之间的关联来获取知识,能有效地解决非线性问题。鉴于目前网络安全评估技术对一个整合的网络环境的需求,目标是研究网络安全态势评估算法,找到一种准确率高、效率高的评估算法。

3 基本思想

3.1 支持向量机

支持向量机(Support Vector Machine)是在统计学习理论的基础上新发展起来的一种利用机器的学习方法,与传统机器学习方法相比具有不可比拟的优势。它是Vapnik和Cortes于1995年首先提出的,建立在统计学习理论的VC维理论和结构风险最小原理基础上的,它在解决小样本、非线性及高维模式识别中表现出许多特有的优势。

支持向量机的实质是求解一个二次规划问题,它具有泛化能力强,容易训练,而且没有局部极小等优点。它基本思想是通过非线性映射将输入向量映射到一个高维空间,然后在高维空间构造一个最优超平面,采用核函数避免了显式的非线性映射,可以克服高维空间带来的计算困难。支持向量机在解决小样本、非线性和高维模式识别的问题中有很多自己的优势。

3.2 指标体系的建立

反映网络服务级安全态势的指标体系可通过基于事件注入技术的网络服务器可用性和性能测试实验建立。根据大量实验发现当网络在普通无攻击的状态和有攻击的状态下有以下12种指标发生了比较明显的变化:CPU占用率、内存占用率、端口流量、丢包率、网络可用带宽、平均往返时延、传输率、吞吐率、服务请求率、服务响应率、出错率以及响应时间。

因此,就选择这12种指标作为我们的评价指标体系,也就是每个输入向量有12维,根据原系统的设计将网络的安全态势分为5个级别分别是:Good、OK、Warning、Bad、Critical。这5种状态由高到底的标示出整个网络安全状态。

3.3 评级系统的实现

利用支持向量机进行网络安全态势评价就是输入多个网络状态检测值,输出一个评价类别的过程,构建SVM网络安全态势评价模型实际就是寻找影响网络安全态势的因素和评价类别之间的关系。网络安全态势评价是一个多类分类问题,SVM最初是针对解决两类分类问题提出的,要将其推广一到多类分类问题,需要构造多类SVM分类器。

态势级别一共有5个级别,如采用1-v-1方法进行多类分类时,需要构造10个两类分类器,分类器数量过多,容易导致决策时速度过慢;如果采用1-v-r方法进行多类分类时,需要构造5个两类分类器,将5类分类问题转化为5个两类SVM分类问题。在抽取训练集的时候,分别抽取I类所对应的样本作为正类,其余所对应的样本作为负类;抽取n类所对应的样本作为正类,其余所对应的样本作为负类……这5个训练集分别进行训练得到5个分类器:SVM1、SVM2、SVM3、SVM4、SVM5,决策函数为:

对于待测样木x,将其依次输入SVM1、SVM2、SVM3,SVM4、SVM5,依次得到5个值中最大的值就是最终的评价结果。

4 结语

在与BP神经网络方法的对比中发现,使用同样的训练样本数据和测试数据时SVM方法相对BP算法有准确率高的特点。设计的评估模型对网络安全态势感知评估有效,与BP算法相比较,明显提高了评估的准确率,避免了BP算法的容易陷入局部极小值的问题。

参考文献

[1]张亮,蒋东兴,徐时新.主机网络安全及其关键技术研究.计算机工程与应用,2001(10):42-44.

[2]顾基发.评价方法综述.科学决策与系统工程.北京:中国科学技术出版社,1990,22-26.

[3]张学工.关于统计学习理论与支持向量机.自动化学报,2000,26(1).

基于支持向量机的分类方法第10篇

支持向量机是统计学习理论中最年轻的部分, 是Vapnik等根据统计学习理论中的结构风险最小化原则提出的。其主要内容在1992年到1995年间才基本完成, 目前仍处在不断发展阶段。支持向量机充分考虑了算法的推广能力, 很多传统的机器学习方法都可以看作是支持向量机方法的一种实现, 因而统计学习理论和支持向量机被很多人认为是研究机器学习问题的一个基本框架。

2 最优分类超平面的构造

支持向量机方法是从线性可分情况下的最优分类超平面提出的。对于两类的分类问题, 设训练数据 (x1, y1) , K, (xl, yl) , x∈Rn, y∈{+1, -1}可以被一个超平面分开, 即存在 (ω, b) , 使:

分类的目的是寻求 (ω, b) 来最佳分离两类数据。此时假设空间为:

在这个公式里, sgn () 为符号函数, ω和b是非零常数, 能任意缩放。为减少分类超平面的重复, 对 (ω, b) 进行如下约束:

考虑图1所示的二维两类线性可分情况, 图中实心点和空心点分别表示两类训练样本, H为把两类没有错误地分开的分类线, 1H、H2分别为过各类样本中离分类线最近的点且平行于分类线的直线, 1H和H2之间的距离叫做两类的分类间隔 (margin) 。所谓最优分类线就是要求分类线不但能将两类无错误地分开 (训练错误率为0) , 而且要使两类的分类间隔最大。推广到高维空间, 最优分类线就成为最优分类超平面。由约束条件式得:

3 支持向量机的算法

3.1 线性可分情况

在结构风险最小化原则下的最优超平面可以通过最小化泛函Φ (ω) =ω2=ω⋅ω得到。按照最优化理论中二次规划的解法, 可把该问题转化为Wolfe对偶问题来求解。构造Lagrange函数:

式中αi为Lagrange乘子。

可采用优化算法解得最优超平面为:

3.2 非线性可分情况

对于非线性可分的问题, 需要将样本通过非线性函数映射到高维特征空间中, 使其线性可分, 再在该特征空间中建立优化超平面:ω⋅φ (x) +b=0。于是, 原样本空间的二元模式分类问题可以表示为:

支持向量机利用核函数简便地解决了这个问题。只要一个核函数K (xi, xj) 满足Mercer条件, 它就对应某一变换空间的内积, 即K (xi, xj) =φ (xi) ⋅φ (xj) 。此时的二次优化最终结果为:

4 仿真研究

本文采用Iris标准数据集进行仿真实验, 其数据是用来测试机器学习的UML标准数据库。Iris数据集包括三类数据:Versicolor (类1) , Virginica (类2) 和Setosa (类3) 。在这三个类别中, 类1与其余的两类之间分类比较复杂, 所以, 我将类1看作一类, 类2和类3看作另一类, 研究一个二分类问题。利用S.R.Gunn编写的Matlab中的支持向量机工具箱。本文采用目前较为常见的多项式核函数的模型选择问题进行仿真研究。

首先运行SVM_Steve Gunn工具箱中的uniclass.m函数即得图4.1中的界面。其中, 直径较小的点为类1, 主要分布于中间的区域;直径较大的点为类2和类3, 分布于左下和右上两侧。在下拉菜单中选择Polynomial, 表示选用多项式核函数。可以选择separable (可分的) 和不可分的两种算法进行分类, 我分别对其进行了测试并比较。

4.1 可分的情况

首先选择separable的情况, 整个模型仅有多项式的阶次 (Degree) 一个参数需要确定, 我将其从1开始逐步增大。

取不同Degree值时, 支持向量机的相关性能参数如下表所示, 主要有五项:执行时间、错分样本数、分类间隔、支持向量个数以及支持向量的百分比。

由表1可以看出以下几点。

(1) 当Degree由1变为2时, 错分的样本个数显著减小, 由此可见核函数的参数对于正确分类起着很大的作用。

(2) 当Degree取上述四个值的时候, 分类间隔都非常小, 意味着支持向量机的泛化能力差。

(3) 当Degree=4时, 支持向量机的各项性能较好。

4.2 不可分的情况

不在separable之前打勾, 此时引入惩罚参数C, 即程序中的Bound。固定可分时性能最佳的参数Degree=4, 从小到大改变C的大小。

由表2可以看出以下几点。

(1) 与表1对比, 不可分情况下支持向量机的执行时间较可分情况明显减小, 分类间隔则明显增大, 可见引入C参数确实起到了正面的作用。

(2) C参数越大, 分类的正确率越高, 但分类间隔越小。因为C参数是在目标函数里对错分的样本点进行惩罚的, 所以选取大的C, 意味着更强调最小化训练错误, 但也同时削弱了泛化能力。

(3) C参数增大的过程中, 支持向量个数基本呈减小的趋势, 但是当C大到一定程度之后, 对支持向量的数目影响不大。

(3) 当C=50时, 支持向量机的综合性能较好。所谓最优分类面就是要求分类面不但能将两类无错误地分开, 而且要使两类的分类间隔最大、支持向量数目最少。这是一个折衷的过程, 也正是核函数模型选择的难点所在。

进一步地, 固定C=50, 调节Degree参数, 寻找不可分情况下的最优支持向量机。

由表3可以看出以下几点。

(1) C确定的情况下, Degree的变化对于分类间隔还有支持向量的个数影响不大。

(2) Degree大到一定程度, 分类正确率急剧下降。

综上所述, 当C=50、Degree=15时, 多项式支持向量机的综合性能较好。

5 结语

本文在阐述支持向量机原理的基础上, 通过Matlab仿真实验探讨了支持向量机模型选择的问题, 得到了以下结论:C参数越大, 分类的正确率越高, 但分类间隔越小。因为C参数是在目标函数里对错分的样本点进行惩罚的, 所以选取大的C, 意味着更强调最小化训练错误, 但也同时削弱了泛化能力。当参数时, 线性软间隔分类机算法即退化为线性硬间隔分类机, 此时可以认为两个算法相同。

摘要：支持向量机是建立在统计学习理论基础上的一种小样本机器学习方法, 用于解决二分类问题。本文阐述了支持向量机的理论基础并对核函数的参数选择进行了分析研究。

关键词：支持向量机,最优超平面,二分类,核函数

参考文献

[1]李国正, 王猛, 曾华军[译].支持向量机导论[M].北京:电子工业出版社, 2004.

[2]祁享年.支持向量机及其应用研究综述[J].计算机工程, 2004, 30 (10) :8～9.

[3]许建华, 张学工, 李衍达.支持向量机的新发展[J].控制与决策, 2004, 19 (5) :481.

[4]谢芳芳.基于支持向量机的故障诊断方法[D].长沙:湖南大学, 2006.

[5]刘定平, 叶向荣, 陈斌源, 等.基于核主元分析和最小二乘支持向量机的中速磨煤机故障诊断[J].动力工程, 2009 (2) .

在线支持向量机第11篇

关键词：水平集方法；支持向量机；特征提取

中图分类号：TP391.41文献标识码：A文章编号：1007-9599 (2012) 01-0000-02

Image Feature Extraction Study Based on Support Vector Machine Classification Level Set Methods

Wang Nan,Li Zheng

(School of Computer and Information Engineering Henan University,Kaifeng475001,China)

Abstract:This article proposes a level set method based on support vector machine classifier for image feature extraction method,in level set method for extracting image features in the application,by improving the energy level sets functions,the introduction of regional information,can extract the image inside and outside the boundaries of the target,and convergence speed.Feature extraction from image by nonlinear support vector machine classifier after treatment image classification.

Keywords:Level set method;Support vector machine;Feature extraction

一、引言

随着数字化技术的发展，特别是计算机和互联网的普及，各行各业时时刻刻都产生大量的图像数据。基于图像的各种计算机视觉系统、图像检索系统等逐渐受到广泛的关注，在这些系统中，图像的特征提取是这些系统的核心任务。

水平集方法(Level Set method)由Osher和Sethian于1988年提出的，用来解决界面的运动问题，因其具有拓扑结构自动识别和易于实现等优点而迅速应用于各个领域。水平集方法自提出以来，已在界面演化、流体力学、燃烧、材料力学、图像处理、计算机视觉等领域得到了广泛的应用。尤其是在图像分割与目标轮廓提取中，与主动轮廓模型相结合来做数值计算，较好地克服了传统参数主动轮廓模型（Snake）的缺点，自适应曲线拓扑结构变化，并具有稳定唯一的数值解。水平集方法的这些良好特性已经引起了人们越来越多的关注，已有很多成功的应用。

本文利用水平集方法对图像进行轮廓特征提取，利用支持向量机分类方法进行图像的分类处理。如下图所示：

二、图像特征提取框架

图像的内容特征包括图像的外观特征（颜色、纹理、形状）和语义。其中，图像的颜色、纹理、形状等外观特征被认为是较低层次上的特征，具有相对直观的特点；而语义是较高层次上的特征，具有相对主观抽象的特点。

本文主要采用基于形状特征来提取图像特征。形状特征一般有两类表示方法，一类是轮廓特征，另一类是区域特征。图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域。本文所采用的水平集方法就是通过对边界特征的描述来获取图像的形状参数。

三、水平集方法基本思想及其对图像有效特征的提取

（一）水平集方法的基本思想

在水平集方法中，平面闭合曲线，它被隐含地表达成三维的连续的函数曲面中的一个具有相同函数值的同值曲线，在这里当，称为零水平集，称为水平集函数。由于在高维中不仅易于拓扑变换，而且无需重新参数化，计算更加精确，所以水平集方法可以非常容易的向更高位推广。

（二）水平集方法对图像的特征提取

Chan和Vese结合水平集和Mumford-Shah模型提出的C-V水平集模型，提取目标边界时不依赖图像的梯度，而是利用特定目标灰度的一致性，对图像梯度不突出或边缘不连续的图像能实现很好的分割。

Mumford和Shah提出了结合图像边界和区域的分割模型，即Mumford-Shah模型，该模型完全基于图像数据的驱动来完成分割，不需要待分割图像区域的任何先验知识。

其能量泛函构造如下：

（3-1）

为原始图像，其定义域为，C为图像的边缘曲线，通过同时优化的近似u及其图像的边界C使以上参量泛函最小化。式中第一项为曲线长度项，控制图像边缘粗糙程度；第二项为图像数据项，控制处理后的图像相似性；第三项为正则项，控制分割图像的光滑性。此模型将边缘检测、区域分割和图像恢复综合在一起，是当前比较好的图像分割模型。

结合水平集方法，设图像M(x，y)的定义域为，闭合曲线C将其分为两个区域：目标和背景，分别在C的内外部，且这两个区域的平均灰度为和，构造能量函数：

（3-2）

式子中，为图像任意演化曲线，为C的长度，为C包含的区域面积，为曲线内部，为曲线外部。只有当演化曲线位于图像中同质区域的边界处时，上式中的值取最小值，就能得到全局最优分割。在水平集方法的特征提取中，构造合适的水平集函数是至为重要的.能量函数（3-2）中的内部能量采用符号距离函数(Signed Distance Function，SDF)，为了确保平集函数始终为符号距离函数，避免演化过程中对水平集函数的不断重新初始化.在外部能量中，引入区域信息.

利用水平集方法提取有效表征的特征算法过程为：（1）给定初始的轮廓曲线；（2）计算闭合曲线能量函数的梯度；（3）沿梯度下降的方向更新曲线；（4）如能量函数最小，则停止迭代过程，否则转入（3）.

四、支持向量机分类器

（一）支持向量机的分类机理

支持向量机算法具有良好计算的有效性、健壮性和稳定性等优点，已广泛的应用到模式识别和分类领域，构造的所有分类器均收敛。支持向量机分类器具有良好的非线性分类及泛化能力，可用于图像的分类。其核函数是处理非线性问题的基础，选择及设置将直接影响系统的运行速度和泛化能力。本文将采用非线性支持向量机分类算法。

（二）核函数

选择不同的核函数，可构造不同的支持向量机，常用的核函数如下：

（1）生成多项式的核：为阶数。

（2）生成径向基函数的核：；

（3）生成Sigmoid的核：，S是Sigmoid函数。

首先采用水平集方法对图像进行分割，提取目标与背景的形状特征参数；选取最有效的特征数据组合，将其输入支持向量机进行分类学习训练，实现对目标特征的有效提取。实验结果表明，使用该方法获得的图像特征提取效率较高，在同等条件下，速度优于人工神经网络。

五、结论

由于图像特征提取方法具有较高的提取效率，所以得到了广泛的应用。目前图像特征提取技术得到了越来越多学者的关注，但是仍存在不足和有待解决的问题。本文通过改进水平集能量函数，在无初始化水平集模型中引入区域信息，融合区域信息的水平集分割方法，使得同时可以提取图像目标的内外边界，并且收敛速度快。提取有效的图像特征之后用支持向量机非线性分类器对目标图像进行分类。在支持向量机分类过程中选择不同的核函数就构造出不同的支持向量机，因此我们需要针对不同的处理对象选择合适的支持向量机分类器。

参考文献：

[1]S.Osher and J.A.Sethian.Fronts propagating with curvature dependent speed：Algorithms based on Hami-lton-Jacobi formulations.Journal of Comp.Phy,1988,79(1):12-49

[2]王文惠,周良柱.基于内容的图像检索技术的研究和发展[J].计算机工程与应用,2001,5:54-56

[3]T.F.Cha,L.A.Vese,AetiveContourswithoutEdges.IEEETrans.onI.geprocessing,2002,10,2

[4]张清勇.支持向量机在肝脏B超图像识别中的应用研究[D].湖北:武汉理工大学,2009

支持向量机理论与应用研究综述第12篇

关键词：支持向量机,理论,应用,综述

支持向量机 (Support Vector Machine, SVM) 是通过分析统计理论基础上形成的模式分类方法。上述方式在实际实施的时候, 依据最小化风险的基本原则有效增加系统的泛化作用, 也是一种为了得到最小误差实施的决策有限训练样中的独立测试集, 能够适当分析和解决学习问题、选择模型问题、维数灾难问题等。研究SVM主要就是分析支持向量机自身性质, 此外还分析提高应用支持向量机的广度和深度, 在文本分类、模式分类、分析回归、基因分类、识别手写字符、处理图像等方面得到应用。

1 支持向量机的原理分析

1.1 结构风险最小化

依据能够应用的有限信息样本, 不能合理计算分析期望风险, 所以, 传统方式应用主要是经验风险最小化 (ERM) 标准, 利用样本对风险进行定义:

基于统计学理论分析函数集以及实际经验风险的关系, 也就是推广性的界。总结分析上述问题, 能够得到实际风险和经验风险之间概率1-符合以下条件关系:

其中l是训练集样本数, h为函数集VC维, 体现高低复杂性, 从上述理论基础可以发现, 通过两部分构成学习机实际风险:一是置信范围;二是经验风险也就是训练误差。机器学习的时候不仅需要经验风险, 还要尽可能缩小VC维符合置信范围, 保证能够获得实际比较小的风险, 实际上就是结构风险最小化SRM (Structure Risk Minimization) 原则[1]。

1.2 支持向量机

支持向量机实际上从最优化线性分析分类超平面形成技术, 分析情况的时候, 最基本理念就是2类线性。支持向量机学习的主要目的就是能够发现最优超平面, 不仅需要正确分开2类样本, 还能够具备最大的分类间隔。分类间隔就是说距离超平面最近的2类分类样本, 并且可以与2类分类平面间距平行。分析线性分类问题, 假设T是训练集:

假设 (ωx) +b=0是超平面, 超平面和训练集之间的集合间距就是。可以通过以下方式找到最大间隔超平面问题中的原始优化问题:

利用Wolfe对偶定理, 能够等价原始最优化问题得到相关对偶问题:

此时能够得到最优解就是

引入松弛变量以后能够得到等价对偶问题:

其中, C (C>0) 是惩罚因子。

1.3 核函数

很多不可分线性问题, 在某个高位特征空间中合理筛选符合分类样本情况的非线性变换映射, 确保能够得到高维空间目标样本线性可分。依据上述方式进行计算的时候, 仅仅只是计算训练样本内积, 需要依据原空间来实现函数, 不需要分析变换形式, 依据泛函基本理论, 一种核函数K (x, x/) 需要充分符合Mercer, 与某空间变化内积对应。

假设对应变化核函数是K (x, x/) , K (x, x/) = (φ (x) , φ (x/) ) , 依据之前分析的原始对偶问题, 得到相应的决策函数就是:

有3种常见的核函数, 一是径向有机函数 (RBF) :

二是多项式核函数:

三是内积为Sigmoid函数:

1.4 多分类问题

支持向量机仅仅只能够分类2种类别, 大部分情况下可以扩展2类支持向量机, 形成多类别分类器。现阶段, 从2个方面分析和研究:一是, 更改支持向量机中最原始分类和最优化问题, 计算相应的分类决策函数。二是, 把多类问题合理地变为2类问题, 组合2类分类器, 达到多类分类的目的[2]。

1.4.1 一类对余类

在每一个类别i都构造2类分类器ci, 能够分析n类问题, 此时需要支持向量机数量n个, 对Ci进行训练的时候, 正例样本是i类别样本, 负例样本是n-1的样本。

1.4.2 成对分类

每2个类别能够形成2类分类器, 可以适当解决n类问题, 此时需要支持向量机数量是n (n-1) /2, 通过n (n-1) /2分类器来决定测试样本类别。

1.4.3 层次支持向量机

层次分类方式可以对所有类别都进行分类, 进一步规划和分析2个次级子类, 反复循环, 得到单独类别为止。

由于不断增多样本类别, 急剧增加成对分类方式中的分类器数量, 会在一定程度上提高计算复杂度。一类对余类分析方式属于不对称2类问题, 并且能够提高样本数量, 增加计算复杂度。层次法如果具备邻近正态树层次结构, 存在比较理想的训练速度[3]。

2 支持向量机的应用研究

2.1 识别手写阿拉伯数字

在实际应用支持向量的时候, 最重要的是手写数字识别问题。上述问题属于多类问题。相关专家学者在研究2类问题的SVM前提下, 形成了能够处理多类问题的相关SVM, 其中主要核函数就是sigmoid核函数、径向基核函数、多项式核函数。不但可以支持比较其他分类和支持向量机, 还能够支持比较不同形式的SVM, 经过大量实践可以发现, 存在很大优势[4]。

2.2 检测人脸

相关学者和专家经过不断研究和分析以后形成以层次结构形式的支持向量机分类器, 由一个非线性和线性支持向量机构成, 上述方式不但具备比较低的误差率和比较高的检测率, 还存在比较快的速度。此后, 人们利用SVM方式来有效判断人脸姿态, 并且合理分为6个类别, 手工标定方式在多姿态人脸库中发现测试样本和训练样本集, 在SVM基础上的训练集姿态分类器, 可以降低到1.67%的错误率。在支持向量机和小波技术上形成的识别人脸技术, 压缩提取人脸特征的时候应用小波技术, 然后结合支持向量机技术和邻近分类器进行分类, 确保具备比较好的鲁棒性能和分类性能[5]。

2.3 文本分类

文本分类主要就是在一定的分类体系中, 依据文本相关类别和实际内容记性分析。本文分类是一个十分重要的自然语言处理, 大部分都是应用在邮件分类、过滤信息、自动文摘、检索信息等中。相关学者和专家建立一种能够支持向量机进行在线学习的文本分类RBF, 此方式可以在一定程度上提高学习增量。在分析了支持向量机文块组织的时候, 可以把其当做分类问题, 从而依据支持向量机解决问题[6]。

2.4 其他应用

支持向量机具备一定的优越性, 已经得到大量应用。专家学者提出了支持向量机基础上的水印算法, 在数字水印中合理应用支持向量机, 存在十分良好的应用效果。并且入侵监测系统已经是十分重要的网络安全技术之一, 在分析入侵检测系统的时候, 主要应用的就是SVM基础上的主动学习算法, 可以在一定程度上降低学习样本, 能够增加入侵监测系统整体分类性能。在处理图像中迷糊噪音的时候, 依据SVM模糊推理方式形成的一种噪音检测系统, 上述方式能够合理除去检测中的噪音, 适当保存图像相关信息。在分析混合气体定量和多维光谱定性的时候, 不能应用同一种方式来定性和定量分析组合气体吸收普线重叠、输入光谱的维数, 训练样本数目有限, 在分析地混合气体多维光谱的时候应用支持向量机, 依据核函数有效把重叠光谱数据变为支持向量机回归模型, 此时可以定量分析混合气体的组分浓度以及定性分析种类[7]。

3 结语

本文主要分析了基于支持向量机理论与应用研究, 着重分析了支持向量机基本原理, 从人脸识别、文本分类、手写识别3方面来分析应用支持向量机。

参考文献

[1]姚潇, 余乐安.模糊近似支持向量机模型及其在信用风险评估中的应用[J].系统工程理论与实践, 2012 (3) :549-554.

[2]崔长春, 刘文林, 郑俊哲, 等.支持向量机理论与应用[J].沈阳工程学院学报:自然科学版, 2010 (2) :170-172.

[3]信晶, 孙保民, 肖海平, 等.应用支持向量机监测电站锅炉受热面积灰研究[J].中国电机工程学报, 2013 (5) :3, 21-27.

[4]冯能山, 廖志良, 熊金志, 等.支持向量机用于图像水印技术的研究综述[J].信息系统工程, 2012 (11) :131-133.

[5]金焱, 胡云安, 黄隽, 等.支持向量机回归在电子器件易损性评估中的应用[J].强激光与粒子束, 2012 (9) :2145-2150.

[6]纪昌明, 周婷, 向腾飞, 等.基于网格搜索和交叉验证的支持向量机在梯级水电系统隐随机调度中的应用[J].电力自动化设备, 2014 (3) :125-131.

本文来自 99学术网(www.99xueshu.com)，转载请保留网址和出处

【在线支持向量机】相关文章：

支持向量机算法06-11