线性函数范文

线性函数范文（精选9篇）

线性函数 第1篇

线性规划求值域的基本方法有五种:分别是几何意义法、变量替换法、解不等式法、界点定值法、向量投影法。

求z=2x-y的值域

解法:

1.几何意义法

如图1先作出可行域求得A (5、2) B (1、1) C (1、$\frac{22}{5}$) 作出l0 :2x-y=0

再平移, 当过l0 C点时, zmin=-$\frac{12}{5}$

2.变量替换法

由z=2x-y得y =2x- z代入约束条件

$\{\begin{array}{l}-7x+4z\le -3①\\ 13x-5z\le 25②\\ x\ge 1③\end{array}$

把z看作纵轴, 划出区域如图2 观察可知最高点H (5、8) L (1、$-\frac{12}{5})$

所以zmin=-$\frac{12}{5}$zmax=8

3.解不等式法

由解法2可知

$\{\begin{array}{l}-7x+4z\le -3①\\ 13x-5z\le 25②\\ x\ge 1③\end{array}$

可变为

$\{\begin{array}{l}\frac{4z+3}{7}\le x①\\ x\le \frac{5z+25}{13}②\\ x\ge 1③\end{array}$

所以

$\{\begin{array}{l}1\le \frac{5z+25}{13}①\\ \\ \frac{4z+3}{7}\le \frac{5z+25}{13}②\\ \end{array}$

解得-$\frac{12}{5}$x≤8

4.界点定值法

把△ABC的顶点A (5 、2) B (1、1) C (1、$\frac{22}{5}$) 的坐标分别代到目标函数中

当x=5 y=2时z=2x-y=2×5-2=8

当x=1 y=1时z=2x-y=2-1=1

当x=1 y=-$\frac{12}{5}$时z=2x-y=2×1-$\frac{22}{5}$=-$\frac{12}{5}$

即zmin=-$\frac{12}{5}$zmax=8

5.向量投影法

笔者根据自己教学过程中发现学生对目标函数的几何意义理解不够深刻时错误解题与浪费时间的原因。当然求解线性规划问题方法较多, 平常练习时要多思考, 考试时才能想到高效率的方法。

下面有两道练习题供大家用以上几种方法解决。

1) 2012年全国高考大纲卷理科13题文科14题

x y满足条件

$\{\begin{array}{l}x-y+1\ge 0①\\ x+y-3\ge 0②\\ x+3y-3\ge 0③\end{array}$

则z=3x-y的最小值为 ( )

2) 2012年安定区东方红中学第一学期期末试卷13题

x y满足条件

$\{\begin{array}{l}y\le x①\\ x+y\le 2②\\ y\ge 0③\end{array}$

则z=3x-y的最大值为 ( )

摘要：线性目标函数是新课标的一大热点和必考内容, 随着其内容向纵深发展, 考查形式多样化, 与之密切相连的线性目标函数的值域逐渐浮出水面, 活跃在近年的高考题和竞赛题中, 笔者根据近几年线性目标函数的值域总结了几中解决方法, 供大家参考。

线性函数 第2篇

必须做并保管好——王永富

一、直线的斜率型

x2y24y3例1.已知实数x、y满足不等式组,求函数z的值域.x1x0

注意：当目标函数形如zya时,可把z看作是动点P(x,y)与定点Q(b,a)连线的斜xb

率，这样目标函数的最值就转化为PQ连线斜率的最值。

x－y＋2≤0，y例2 已知变量x，y满足约束条件x≥1，则的取值范围是（）.xx＋y－7≤0，

99（A）6]（B）∪[6，＋∞）5

5（C）（－∞，3]∪[6，＋∞）（D）[3，6]

解析是可行域内的点M（x，y）与原点O yx

59y（0，0）连线的斜率，当直线OM过点（取得 22x

9y最小值；当直线OM过点（1，6）时，取得最大值6.答案A 5x

二、平面内两点间的距离型（或距离的平方型）

xy10例3.已知实数x、y满足xy10，则wx2y24x4y8的最值为___________.y1

同步训练：已知实数x，y

满足

是,则的最大值

分析，目标函数的几何意义是表示可行域内的点

画出可行域可求得

三、点到直线的距离型

到点（1，1）的距离的平方，例4.已知实数x、y满足2xy1,求ux2y24x2y的最小值。

2xy20同步训练：已知实数x、y满足x2y40,则目标函数zx2y2的最大值是____。

3xy30

四、变换问题研究目标函数

yx例5.已知xy2，且z2xy的最大值是最小值的3倍，则a等于（）

xa

A．1122或3B．C．或2D． 335

5五、求可行域的面积

2xy60例

6、不等式组xy30表示的平面区域的面积为（）

y2

A、4 B、1 C、5 D、无穷大

六、求可行域中整点个数

例

7、满足|x|＋|y|≤2的点（x，y）中整点（横纵坐标都是整数）有（）

A、9个 B、10个 C、13个 D、14个

七、求线性目标函数中参数的取值范围

xy5例

8、已知x、y满足以下约束条件xy50，使z=x+ay(a>0)取得最小

x3

值的最优解有无数个，则a的值为（）

A、－3 B、3 C、－1 D、1八、求非线性目标函数的最值例

9、已知x、y满足以下约束条件2xy20x2y40，则z=x2+y2的最大值和最小值分别是（）

3xy30

A、13，1B、13，2 C、13，4D、55

例9：已知实数满足，求的最大值．

分析：这个目标函数就显得有点“隐蔽”了，注意到目标函数有个绝对值符号，联想到点到直线的距离公式的结构特点，那么就可顺利解决

了．距离的倍．，也是说

线性函数 第3篇

关键词 可计算一般均衡；常替代弹性；一阶条件；线性化

中图分类号 F22 文献标识码 A

Abstract Linearizing CES functions is usually a necessary step in solving the Computable General Equilibrium model. In accordance with the linearization method for CES function with two factors proposed by Gohin and Hertel （2003）， the author put forward their derivation method for CES functions with two or more factors， and derived the linear expression for the CD function and Leontief function when the substitution elasticity approached to 1 and 0 respectively. These linear expressions were more general and would improve the modelbuilding efficiency of CGE.

Key words computable general equilibrium； constant elasticity of substitution； first order condition； linearization

1 引 言

受到计算设备能力的限制，目前大型可计算一般均衡（Computable General Equilibrium，以下简称CGE）模型主要采用将非线性方程做线性化处理的方法进行求解，即在平衡点附近做Taylor展开并取其线性近似.Hertel，Horridge和Pearson（1992）分析认为JohansenEuler 法等线性化求解算法具有令人满意的精度[1]，因此为目前大多数CGE求解所用.在求解过程中，常替代弹性（Constant Elasticity of Substitution，以下简称CES）函数的线性化表达通常是必要步骤，例如，CGE生产函数中资本要素与劳动力要素的复合，国产品与进口品的复合等.CES函数最早由Solow于1957年提出[2]，由于具有单调、连续、可微和拟凹等特性，在数量经济学研究中被广泛应用.两要素CES函数的线性化表达较为常见，但对两个要素以上的CES函数，其线性化表达和推导过程尚需进一步讨论.

2 CES函数线性化文献回顾

5 应用探讨

多要素常替代弹性函数在成本最小化一阶条件下的线性表达，以及其2个退化特例，被广泛用于CGE尤其是多区域或多国CGE当中.在多国CGE中，某国的进口品可来源于多个其他国家，通常的处理方式是将来自于不同进口源的商品通过CES函数复合为一个复合进口品，此时CES函数的要素数可能大于2.不妨以大型多区域CGE全球贸易分析项目（Global Trade Analysis Project，以下简称GTAP）为例进行探讨.在GTAP模型中，政府、企业和居民所消费的产品既有国产品，也有进口品，且进口品可来自于多个国家或地区[8]，GTAP8版本包含129个国家或地区，最新的GTAP9版本则包含140个.区域s可能从不同的国家或区域进口产品i，在进入区域s的市场前，使用CES函数对来自不同进口源头的产品进行复合，非线性方程可以表示为：

参考文献

[1] T HERTEL， J HORRIDGE， K PEARSON. Mending the family tree a reconciliation of the linearization and levels schools of AGE modelling[J]. Economic Modelling， 1992， 9 （4）： 385-407.

[2] R SOLOW. Technical change and the aggregate production function[J]. The review of Economics and Statistics， 1957，39： 312-320.

[3] 薛俊波. 基于 CGE 的中国宏观经济政策模拟系统开发及其应用[D].北京：中国科学院研究生院， 2006.

[4] 赵永， 劲峰. 经济分析 CGE 模型与应用[M]. 北京： 中国经济出版社， 2008.

[5] A GOHIN， T HERTEL. A note on the CES functional form and its use in the GTAP model[R]. Global Trade Analysis Project， Purdue University， Department of Agricultural Economics GTAP Research Memorandum， 2003.

[6] 哈尔， 瓦里安. 高级微观经济学[M]. 北京： 经济科学出版社， 1997.

[7] 李兆平. CD 生产函数与 CES 生产函数的几点比较[J]. 运筹与管理， 1997， 6 （3）： 101-103.

[8] T HERTEL. Global trade analysis： modeling and applications[M].New York：Cambridge university press， 1997.

土壤入渗参数的线性传输函数研究 第4篇

1 试验条件

1.1 试验地点的选择

大田土壤水分入渗试验主要选取山西应县土壤进行, 从平川区到山区, 从渠灌区到井灌区, 从土属相近到不同土属, 共布设20个试验点, 涵盖应县辖区的所有土属。在自然状态下, 土壤含水量从凋萎系数至饱和含水量, 试验地点表层 (0~40cm) 的土壤质地包含轻沙壤土、轻粉质沙壤土、重沙壤土、轻壤土4种类型。由于试验土壤质地所包含类型太少, 因此选取紧邻应县的大同市浑源县大田土壤入渗试验作为补充。

1.2 试验方案及数据的选取

试验点选取后, 对试验点进行犁耕翻松地和犁耕压实地处理, 包含未耕原茬地试验在3种土壤中进行, 每种土壤在原始含水量较低的情况下, 人工模拟降雨构造6个不同的含水量水平。

进行入渗试验, 在原始含水量接近饱和的试验土壤, 通过压实构造不同的土壤结构水平进行入渗试验。每个点进行0~20cm, 20~40cm 2层土壤颗粒分析, 土壤有机质含量主要是指0~20cm耕作层内的有机质含量。由于3种不同土壤状态对土壤水分入渗的影响程度相差太大, 本文以应县试验数据为主, 从大同市浑源县每个试验点选取2~4组数据作为补充, 以保证土壤类型、有机质含量、成土条件具有足够的代表性。

在自然状态下, 土壤重量含水量的变化范围为1.34%~46.4%, 土壤干密度为1.036~1.601g/cm3, 土壤沙粒含量变化范围为9.7%~93.09%, 土壤黏粒含量变化范围为0.8%~25.4%, 土壤有机质含量的变化范围为0.416%~1.9%。

1.3 试验设备及方法

常规积水入渗试验仪器采用自制双套环入渗仪, 双套环内环直径26.0cm, 外环直径64.4cm, 内外环高度均为25cm。试验前埋于试验地块中, 下环深度为20cm, 到达犁底层, 并用特制的水位控制装置控制内、外环水位持平, 确保土壤水分入渗为垂直入渗。积水入渗水头保持2cm, 入渗内环供水用量筒进行计量, 入渗结束时间由相对稳定入渗时间控制, 即入渗率达到相对稳定时结束试验。试验中采用90min为入渗结束时间。含水量测定采用常规人工取土, 烘箱烘干称重的方法, 土壤干密度的测定采用常规环刀法进行, 土壤质地的测定采用的是筛分曲线法, 土壤有机质的测定采用的是重铬酸钾容量法。

2 多元线性传输函数结构的确定

2.1 函数结构的确定

水分通过地表进入土壤的过程是个复杂的过程, 其入渗速度和累积入渗量受到很多因素的影响。这些因素的影响错综复杂, 很难找到这些影响因素与土壤入渗能力、入渗参数之间的理论关系。本研究试图依据试验结果, 应用数理统计方法建立土壤入渗能力、入渗参数与其主要影响因素之间的经验模型。为使用方便, 力求简单, 构造函数结构如下:

式中:y为模型输出变量;βi为模型回归系数;xi为第i个影响因素变量;n为变量个数。

2.2 函数输入变量与输出变量的确定

国内外学者对土壤入渗特性进行了大量研究, 为满足人类生产实践的需要提出了具有不同特点和用途的入渗经验模型。考斯加科夫 (Kostiakov) 以其形式简单, 适应性好而在实际应用中得到广泛应用, 特别对于大田灌溉, 考斯加科夫三参数模型能很好地反映这一入渗过程。Kostiakov-Lewis (三参数) 入渗的经验公式为:

式中:k为经验入渗系数, 其物理意义是入渗开始后第1个单位时段末的累积入渗量, 在数值上也等于第1个单位时段末的入渗速度;f0为土壤的相对稳定入渗率, 即单位势梯度下饱和土壤的入渗速度, 非饱和土壤入渗速度达到相对稳定时的入渗速度;α为经验入渗指数, 反映土壤入渗能力的衰减速度。当耕作土壤发生变化时如果能得到与之相应土壤水分入渗模型参数k、α、f0, 便可由入渗模型求得土壤的入渗过程。因此确定模型输出变量为4个:土壤90min累积入渗量H90、k、α、f0。

土壤水分入渗是水分在土壤水势梯度的作用下, 通过土壤孔隙进入土壤并在其中运动的过程。土壤质地、土壤结构、含水量、有机质含量等这些土壤基本理化参数或者通过对土水势的影响, 或通过对孔隙尺度、密度和连通性的影响对土壤水分入渗过程产生作用, 因此, 土壤入渗参数与土壤基本理化性状密切相关。据有关研究表明, 土壤入渗参数与土壤结构、土壤质地、土壤含水量、有机质含量、土壤温度等土壤常规理化性状参数间具有较密切的相关关系。土壤温度的变化主要引起土壤中水分的相变, 本试验在非冻融季节进行的, 因此土壤温度的影响暂不考虑。在非冻融状态下, 影响土壤水分入渗的主导因素有土壤含水量、土壤质地、土壤结构、有机质含量。

土壤重量含水量作为土壤含水量指标;土壤干密度作为反映土壤结构的指标;沙粒含量 (0.05~0.3cm) 、黏粒含量 (<0.002mm) 作为反映土壤质地的指标;土壤体积含水量作为反映土壤重量含水量与土壤结构的综合影响因素指标;土壤曲率系数Cs (以相应于颗粒大小分配曲线上土重比为30%的粒径平方值除以限制粒径与有效粒径的乘积所得的比值) 、土壤不均匀系数Cu (d60与d10之比值, 反映颗粒级配的不均匀程度) 作为土壤质地指标的综合影响因素指标。再按照土壤地层深度0~10、10~20、0~20、20~40cm分类, 总体可引入32个自变量。

2.3 多元线性回归模型特点

影响土壤水分入渗的因素很多, 有主要影响因素, 次要影响因素, 并且各影响因素之间又相互关联, 为了所得回归函数最简, 采用逐步回归分析的方法建立最优回归方程。它的基本思想是, 对全部自变量按其对模型参数的影响程度, 从大到小依次逐个地引入函数中。引入因子的条件是, 该因子的偏回归平方和经检验是显著的, 同时, 每引入一个新因子后, 要对所有先引入的老因子逐个检验, 将偏回归平方和变为不显著的因子剔除, 在剔除每一个变量后, 得重新计算回归系数和偏回归平方和, 对引入的剩余老因子重新再作检验, 直至无法剔除, 如此往复选入、剔除, 直至无法剔除, 无法引入新变量为止。由于每步引入变量都作检验, 因而保证了最后所得的方程中所有因子都是显著的, 说明所得的回归系数都是显著的。

变量的显著性检验:假定已引入了l个变量, 进行剔除检验。对先引入的l-1个因子进行检验, 求的偏回归平方和取其最小者, 作F2检验。当F2≤F1-α (1, N-l-1) 时剔除该因子, r (l) 对该剔除项作变换成r (l+1) , 并对剩余因子再重作检验, 直到没有因子要剔除时为止。当F2>F1-α (1, N-l-1) 时考虑引入新变量, 进行引入检验。对未引入的因子求的偏回归和最大者, 作F1检验, 当F1>F1-α (1, N-l-2) 时引入该因子, r (l) 对该引入项作变换成r (l+1) , 当F1≤F1-α (1, N-l-2) 时跳选因子就此结束。这样就建立了多元线性回归方程, 采用的有关公式如下:

在引入所有该引入的变量后所得回归模型的显著性检验采用方差分析方法进行。按试验数据分别计算样本总离差QT (平方和) 、剩余离差Q剩余和回归离差Q回归, 然后由剩余离差Q剩余、回归离差Q回归及其相应的自由度计算样本的F值, 并与给定的显著水平对应的F1-α值比较, 确定其显著性。

3 多元线性传输函数结果与分析

3.1 多元线性传输函数

根据逐步回归思想编写VB程序代码。由于不同的输出变量所反映的物理意义不同, 引入的自变量个数也不会相同, α、k只与0~20cm内土壤物理性状特性有关, 选取24个自变量, H90、f0还有可能牵涉到边界土壤物理性状, 故而还引入20~40cm的土壤物理性状参数, 选取32个自变量。确定自变量后, 取实测试验数据, 分析去除奇异值点后, 留20组数据作为预测结果检验, 模型样本为100组, 采用逐步回归分析的方法, 建立H90、α、k、f0的多元线性传输函数, 每个函数引入变量的顺序、复相关系数、根方差的估计值、引入变量的显著性检验F值, 回归方程显著性检验F值、相应自变量的回归系数及常数项结果见表1。表1中:θ1为0~10cm土壤体积含水量;θ2为0~20cm土壤体积含水量;θ3为10~20cm土壤体积含水量;θ4为20~30cm土壤体积含水量;φ2为0~20cm土壤重量含水量;γ1为0~10cm土壤干密度;γ2为0~20cm土壤干密度;G为有机质含量;ω2为0~20cm黏粒含量;ω3为0~20cm沙粒含量;Cs为0~20cm土壤曲率系数;Cu为0~20cm土壤不均匀系数;ψ2为20~40cm黏粒含量;ψ3为20~40cm沙粒含量;Cs1为20~40cm土壤曲率系数;Cu1为20~40cm土壤不均匀系数。

3.2 函数分析

(1) 显著性。多元线性传输函数引入每个自变量的显著性检验和回归方程的显著性检验F值均大于相应的F0.95, 说明传输函数的回归系数是显著的, 回归方程也的显著的。

(2) 相关性。表1可以看出, 随着引入变量个数的增加, 模型的复相关系数逐渐向R=1靠近, 相关性越来越好, 最终各个函数的多元线性回归模型计算值与实测值之间的全相关系数R为0.9~0.95, R2均大于0.81, 说明由实验数据所得的多元线性传输函数相关性较好。随着引入变量个数的增加, 方程根方差的估计值逐渐减小, 说明对输出变量的预测区间在逐渐减小。

(3) 不同的函数引入的变量不同, 引入变量的次序也不同。由于不同的输出变量有其特定的物理意义, 因此有其各自的主导影响因子, 引入的自变量不同。由于各自变量引入次序不同, 从方程中可以看出其权重不同, 每个自变量对输出变量影响的程度不同, 最先引入的因素, 都是对输出变量的最大影响因素。土壤含水量对H90、α、k的土壤传输函数影响程度最大, 20~40cm的土壤质地对f0的影响程度最大。

由表1中可以看出, 土壤90min的累计入渗量H90的主要影响因素有5个量, 入渗指数α的主要影响因素有6个, 入渗系数k的主要影响因素有4个, 稳定入渗率f0的主要影响因素有8个 (6个为土壤质地指标) 。

(4) 误差分析。用所得的土壤水分入渗多元线性传输函数对未参与数值模拟的实测数据进行检验, H90、α、k、f0的实测值与计算值两者之间的最大相对误差分别为4.69%、4.98%、4.95%、7.55%, f0的误差较大, 是因为其影响因素主要是土壤质地指标, 尽管样本数量多但其一个试验点的输入变量数据相同, 故具有代表性的实际样本数较少, 模型误差大, 在增加样本数量的基础上, 精度会进一步提高。H90、α、k、f0的传输函数计算值与实测值及两者之间的相对误差见表2。

3.3 模型函数的适用性

模型函数中所需测定的土壤理化参数中的土壤质地参数, 尽管测定方法相对复杂, 但对于给定地区土壤, 其值相对稳定, 无需经常性测定分析。对于土壤含水量在灌溉前基本达到凋萎系数, 或稍高于凋萎系数, 其值为定值, 一般不用测定。对于有机质含量, 是由于施有机肥而发生变化的, 但施用有机肥在一般情况下, 量比较恒定, 有机质含量也可确定。土壤干密度对给定的土壤, 土壤质地指标相对变化小, 在土壤含水量达到凋萎系数时基本恒定, 很容易获得。在作物不同生长期, 各自变量可从各参数的年变化曲线中获取, 故模型函数中自变量的值容易获得, 说明函数的适用性强。

对土壤时空变异性的适应性强。土壤入渗参数的时空变异性正是由土壤质地、干密度、含水量、有机质含量等理化参数的变化所致, 此方法的应用会很好地解决土壤时空变异性问题。

4 结语

非冻结期积水入渗参数与土壤理化性状参数有关, 用土壤理化参数预测土壤入渗能力及其入渗参数是可行的。预测值的相对误差精度控制在7.55%以下, 利用多元线性传输函数预报土壤入渗参数是可能的。模型结构简单, 便于最基层的群众应用。多元线性传输函数实现了通过土壤常规理化性状参数对土壤入渗参数的预测, 对土壤入渗理论研究的发展具有重要的理论价值, 对于改进地面灌水技术、提高灌溉水利用率和缓解我国日趋紧张的水资源供需矛盾具有重要的实际意义。

本研究所采用的传输函数为多元线性模型, 难以反映输入变量与预测量间的非线性本质, 精度有待进一步的提高。

摘要：基于应县大田耕作土壤水分入渗参数及其相关土壤理化参数的测定资料, 依据土壤水分入渗参数与其相关土壤理化参数之间的相关性, 采用逐步回归分析法, 建立了土壤水分入渗参数与常规土壤理化参数间的多元线性传输函数, 预测值的相对误差可控制在7.55%以下。研究表明借助多元线性传输函数, 用土壤常规理化参数预测土壤水分入渗参数是可行的, 为获取土壤水分入渗参数提供了一种新的途径。

关键词：土壤水分入渗,入渗参数,土壤线性传输函数,入渗经验模型

参考文献

[1]G Van De Genachte, D Mallants, J Ramos, et al.Estimating infiltration parameters from basic soil properties (abstract) [J].Hydrological Processes, 1996, (10) :687-701.

[2]史晓楠, 王全九, 巨龙.微咸水入渗条件下Philip模型与Green-Ampt模型参数的对比分析[J].土壤学报, 2007, (3) :360-363.

[3]费良军, 王文焰.由波涌畦灌灌水资料推求土壤入渗参数和减渗率系数[J].水利学报, 1999, (8) :26-29.

[4]缴锡云, 王文焰, 雷志栋, 等.估算土壤入渗参数的改进Maheshwari法[J].水利学报, 2001, (1) :62-67.

[5]刘建立, 徐绍辉.估计土壤水分特征曲线的间接方法研究进展[J].水利学报, 2004, (2) :68-76.

[6]解文艳, 樊贵盛.土壤含水量对土壤入渗能力的影响[J].太原理工大学学报, 2004, 35 (3) :272-275.

[7]解文艳, 樊贵盛.土壤结构对土壤入渗能力的影响[J].太原理工大学学报, 2004, 35 (4) :381-284.

[8]解文艳, 樊贵盛.土壤质地对土壤入渗能力的影响[J].太原理工大学学报, 2004, 35 (5) :537-540.

基于BP神经网络的非线性函数拟合 第5篇

关键词：BP神经网络,非线性函数,拟合,收敛

BP (Back Propagation) 神经网络是1986年由Rumelhart和Mc Celland提出的, 它是一种误差按反向传播的多层前馈网络, 是目前应用最广泛的神经网络模型之一。BP神经网络具有非常强的非线性映射能力, 能以任意精度逼近任意连续函数, 因此在人工智能的许多领域都得到了广泛的应用。

通常, BP算法是通过一些学习规则来调整神经元之间的连接权值, 在学习过程中, 学习规则以及网络的拓扑结构不变。然而一个神经网络的信息处理功能不仅取决于神经元之间的连接强度, 而且与网络的拓扑结构 (神经元的连接方式) 、神经元的输入输出特性和神经元的阈值有关, 因而神经网络模型要加强自身的适应和学习能力, 应该知道如何合理地自组织网络的拓扑结构, 知道改变神经元的激活特性以及在必要时调整网络的学习参数等。[1]

1 BP神经网络的结构和原理

图1中给出的多层神经网络输入层有n个神经元, 隐含层有l个神经元, 输出层有m个神经元。其中wij是输入层第i个神经元和隐含层第j个神经元之间的连接权值, wjk是隐含层第j个神经元和输出层第k个神经元之间的连接权值。对于输入层神经元, 其作用函数取线性函数, 即神经元的输出等于输入。隐含层和输出层神经元的输入分别是上一层神经元输出的加权和, 且每个神经元的输出取决于神经元的激励程度和相应的作用函数。[2]

多层神经网络的学习属于有监督学习, 其学习过程由信息正向传播和误差反向传播两部分组成。首先是信号的正向传播, 信号通过输入经由隐含层逐层处理, 之后传向输出层, 这个过程中每一层的状态至于前一层的状态有关。如果输出层的输出不能达到预期的精度要求, 就会进入误差的反向传播过程, 通过误差值逐步修正每层神经元的连接权值, 使误差减小。

1.1 神经网络的前向计算

对于图1中给出的多层神经网络, 为了便于分析, 设网络中的各神经元的阈值为零, 其输入信息的正向传播过程如下:

输入层:输入层神经元的作用函数取线性函数, 即神经元输出等于输入。对于第i个神经元, 其输出为:

隐含层:隐含层的第j个神经元的净输入为:

其中n是输入层的神经元数。

隐含层第j个神经元的输出为:

式中fjH (xjH) 为隐含层第j个神经元的作用函数。

输出层:隐含层第j个神经元的输出yjH将通过加权系数wOjk向前传播到输出层第k个神经元, 输出层第k个神经元的净输人为

其中l为隐含层的神经元数。

输出层第k个神经元的输出, 即实际网络的输出为

式中fOk (xOk) 为输出层第k个神经元的作用函数。

1.2 BP学习算法

对于图1所示的多层神经网络, 若网络输出yO (yO=[y1Oy2O⋯ykO⋯ymO]T) 与期望输出值t (t=[t1t2⋯tk⋯tm]T) 不一致, 则将其误差信号e (e=t-yO) 从输出端反向传播, 并在传播过程中对网络中各神经元之间的连接权值不断修正, 使在神经网络的输出yO趋向于期望输出值t。

1.2.1 神经网络的性能函数

误差反向传播学习算法属于有监督学习, 设有N组样本数据为:

其中uq是第q组样本输入向量, tq是该输入对应的目标输出, q={1, 2, ⋯, N}。

现在用第q组样本数据对多层神经网络进行训练 (q=1, 2, ⋯, N) 。训练的目的是通过调整权值, 使神经网络的输出qyO趋向于期望输出tq。因此, 取均方误差作为神经网络的性能函数[3], 即:

为了讨论方便, 可以将样本数据组的编号省略, 即:

用第k次迭代时的均方误差近似代替均方误差的数学期望值F (w) , 即:

上式也可以写为:

1.2.2 神经网络中神经元权值的迭代

现在的问题是如何调整神经元的连接权系数, 才能使神经网络的性能函数F (w) 趋于最小。为了便于神经网络在线学习, 将权值w写成迭代形式:

由多元函数求极值理论可知, 如果按照F (w) 的负梯度方向调整w, 能以最快的速度收敛到其极值点。若采用最速下降法调整权值参数, 并且用代替F (w) , 对于神经网络中的任意权值wij, 则有:

其中:α是学习步长。

现在利用上面给出的近似最速下降法来调整神经网络中各层的权系数。

输出层神经元权系数的调整

这样, 可以求得输出层的任意神经元权系数的修正量为:

输入层与隐含层神经元之间的权系数调整量为:

这样就可以得到隐含层中第j个神经元与输入层中第i个神经元之间的权值迭代公式为:

2 BP神经网络的计算过程

1) 初始化

设置神经网络的初始权系数, 一般取较小的非零随机数。

2) 提供训练数据

提供训练样本数据, 即:

其中:输入向量u=[u1u2⋯un]T和期望输出t=[t1t2⋯tm]T。

3) 计算神经网络的输出

按照式 (1) ~式 (5) 计算网络中各神经元的输入、输出。最终由输入层经隐含层至输出层, 求得神经网络输出层各神经元的输出, 即神经网络的输出。

4) 计算均方误差函数

按照下式计算神经网络输出与期望输出之间的偏差:

并给出评价准则:

式中, ε为预先给定的小正数, ε>0。k为迭代次数, c为一给定常数。若满足F͂ (w) ≤ε或k>c, 神经网络学习结束;否则, 进行误差反向传播, 调整神经元的权系数。

5) 反向传播计算

按照梯度下降法计算各神经元权系数的调整量, 逐层逐个调整神经元的权值。

返回重新计算, 直到神经网络输出满足要求。

3 BP神经网络的设计

神经网络的设计涉及到网络结构、神经元的个数及层数、神经元的激活函数、初始值以及学习算法等[4]。对于BP网络而言, 输入与输出层的神经元数可以根据需要求解的问题来确定。因此, BP网络的设计应从以上几个方面出发, 并尽可能地减小网络的规模, 缩短网络的训练时间。

1) 样本数据

(1) 产生数据样本集

首先是产生数据样本集, 包括收集原始数据、数据分析、变量选择以及数据的预处理。

(2) 输入数据的变换

由S型非线性作用函数可知, f (x) 随着|x|的增大, 梯度下降, 即|f′ (x) |减小, 并趋于0, 不利于权值的调整。因此, 希望, |x|工作在较小的区域, 因此网络的输入要予以考虑, 宜为|upi|<1。若实际问题给以网络的输人量大于1, 需做归一化处理, 使得输入数据的绝对值固定在一个比较小的范围之内, 通常选择1。

(3) 数据的泛化能力

泛化能力是指用训练过的网络, 能够对未经训练的输入也得得到合适的输出, 这就需要对数据进行相关性分析。

(4) 期望输出

当神经元采用Sigmoid型激发函数时, 由于输出层各神经元的输出只能趋于1或0, 不能达到1或0。在设置各训练样本时, 期望的输出分量dpk不能设置为1或0, 以设置为0.9或0.1较为适宜。否则, 可能导致神经网络训练不收敛。

2) 网络的层数

理论上已经证明:具有三层神经元的BP网络能够逼近任何非线性函数。一般情况下, 层数越多精度就越高, 但是层数的增加会带来计算量的大幅增加, 此外, 网络的精度也可以同错增加隐含层中的神经元数目来实现, 而且这种方式更容易实现。因此, 优先考虑增加隐含层中神经元的个数。

3) 隐含层的神经元数

以较少的神经元个数出发, 若不能满足精度要求就进行适当增加。

4) 初始权值的选取

通常选取非常小的非零随机数, 这样可以保证每个神经元的权值都能够在它们的Sigmoid型激活函数变化最大之处进行调节。

学习速率

学习速率过大会引起系统不稳定, 过小网络就会收敛很慢, 所以通常选取较小的学习速率以保证系统的稳定性, 一般在在0.01~1之间。

4 仿真实例

在以下仿真实例中, BP网络为有监督学习, 训练输入样本为input=[1 2 3 4 5 6 7 8 9 10 11 12 13 14], 输出样本output=[1 2 3 611 16 19 24 25 29 32 33 36 42], 隐含层节点数为6, 网络最大训练次数为1000次, 学习率为0.005, 输入层到隐含层的初始权值W1以及隐含层到输出层的初始权值均为-0.1至0.1范围内的随机数, 仿真结果如下两图所示:

图2中的虚线为BP网络对测试数据的拟合曲线。实验结果表明, BP神经网络能有效拟合非线性函数, 若增加隐含层节点数则能进一步提高拟合精度, 但是会加大计算量, 影响训练速度。

5 结论

本文首先介绍了BP神经网络的原理以及网络权值的修正规则, 然后通过编程实现BP神经网络, 并将之应用到非线性函数的拟合。实验结果表明, BP神经网络能很好的拟合非线性函数, 参数的选择对网络的性能影响很大。

参考文献

[1]何伟, 谭骏珊, 王楚正, 等.BP神经网络的改进算法及应用[J].信息与电脑, 2009 (10) :34-36.

[2]程森林, 师超超.BP神经网络模型预测控制算法的仿真研究[J].计算机系统应用, 2011, 20 (8) :100-103.

[3]周永进, 蔡惠华, 尹逊震, 等.改进的BP网络及其在数据预测中的应用[J].微计算机信息, 2007, 23 (27) :150-151.

[4]夏玫.BP神经网络泛化能力改进研究[D].太原科技大学, 2009.

[5]王爽, 张鹰, 吕瑞霞.BP神经网络的算法改进及应用[J].电脑知识与技术, 2009, 15 (4) :933-935.

[6]焦振.误差反向传播神经网络 (BP网络) 算法的启发式改进[J].安阳师范学院学报, 2008 (5) :47-49.

线性函数 第6篇

关键词：非线性,系统,函数观测器,设计探究

1 前言

非线性系统观测器设计问题一直备受关注, 相关研究者也尝试通过坐标变换法、类Lyapunov方法和扩展的Kalman滤波法等对不同设计方法进行探索, 以推进状态反馈实施, 为非线性系统观测器研究奠定良好的理论及技术基础。以一类Lipschitz非线性系统观测器设计为例, 相关文献中对该非线性系统的相关条件进行明确界定, 有助于实现观测器渐近稳定, 与此同时, 也对观测器增益矩阵的设计方法进行明确, 并在降维观测器设计中对相关研究成果进行推广。

Lipschitz条件背景下的观测器增益矩阵设计方法比较保守, 数学领域研究者采用单边Lipschitz条件, 对它的保守性进行有效控制。相关文献中已经对单边Lipschitz条件的概念进行了相关界定, 且单边Lipschitz非线性系统观测器增益矩阵条件也比较充分, 但是观测器增益矩阵设计过程中的有效性不足, 也并未给出具体的设计方法。相关研究人员对线性矩阵不等式进行求解, 以得出观测器增益矩阵。而单边Lipschitz非线性系统降维观测器增益矩阵的相关条件也比较充分, 并尝试提出新型观测器设计方法。采用二次内积有界性使观测器增益矩阵条件充足, 它需要对非线性矩阵不等式进行求解, 笔者对该条件进行升级和改进, 使其变为解线性矩阵不等式, 而观测器增益矩阵设计方法属已知条件。借助Lyapunov方法, 观测误差渐近稳定条件呈已知状态, 对观测器设计进行转化, 使其变为对线性矩阵不等式进行求解, 借助该种方法, 实现观测器增益矩阵设计。相关文献中, 以代数Riccati方程为前提, 对单边Lipschitz非线性系统降维和全维观测器设计方法进行明确。部分文献是基于状态观测器给出单边Lipschitz非线性系统观测器设计, 而针对此类非线性系统函数观测器的设计仍然比较模糊。控制工程背景下, 函数观测器是指重构状态反馈的函数所属观测器。部分函数的状态反馈直接重构, 极有可能导致观测器尾数少于降维背景下的观测器维数, 故而需要研究单边Lipschitz非线性系统函数观测器。本文着重对单边Lipschitz非线性系统函数观测器设计问题进行研究和考量, 在线性矩阵不等式基础上, 对函数观测器的存在条件进行明确, 然后对函数观测器增益矩阵进行有效设计。

2 系统描述和预备知识

如下所示, 为已知非线性系统:

从相关文献中得出如下定义:定义1 D指代的是包含原点的区域, 假定ρ∈R属于已知存在条件, 需对任意x1和

有关ρ的单边Lipschitz函数即对称函数φ (x, u) , 其中, 单边Lipschitz常数是ρ, 它比较灵活, 可以以零、正数、负数三种状态存在, 而条件 (2) 属于单边Lipschitz的条件。

定义2含有原点的闭区域是, 无论是x1, 还是x2, 假定β和α∈R为已知条件, 那么

则区域背景下的对称函数φ (x, u) 为二次内部有界[1]。

3 设计函数观测器

依据非线性系统 (1) , 执行函数观测器设计:

Z指代的是r× (n+p) 维的任意矩阵。已知

故而矩阵存在, 由得出下列式子:

r× (r+p) 维的任意矩阵是X。已知

, , 完成引理1验证。

假定属于行满秩矩阵, 那么矩阵K的伪逆是 (KKT) -1, 且

其中, , , 包含可逆矩阵, , 使得, 对下列式子进行推理:

定理1对系统 (1) 进行考量, 假定包含的常数有ρ、α、β∈R, 而非线性函数φ (x.u) 与条件 (2) 和 (3) 相符合, 行满秩矩阵, 如果矩阵存在, 条件 (8) 成立。同时, 矩阵, X, 和常数ε1和ε2在下列线性矩阵不等式中成立:

求证择取T=K-ϕC, 已知观测器 (4) 中的条件, 得出观测误差:

在式子 (17) 中, 对系统 (1) 和 (4) 进行代入, 得出

择定Lyapnnov函数

则闭环系统轨线背景下V (e) 的导数为

非线性函数φ (x, u) 与条件 (2) 和 (3) 相符合, 对式子 (14) 和 (16) 进行考量, 针对任意正数ε1,

针对任意正数ε2,

其中, 。

根据式子 (21) 、 (22) 和 (23) 得出

定理1得证[3]。

(2) 对矩阵进行验证, 看其能否使条件 (8) 成立。如果成立, 进入下一步, 反之, 重新验证。

(3) 依据式子 (12) 分别对矩阵M1和M2以及N1和N2进行计算, 并依据定理1, 对线性矩阵不等式 (15) 进行求解。

(4) 如果有矩阵P, 以及正数ε1和ε2都能够满足线性矩阵不等式 (15) , 故而, , , 表明完成函数观测器增益矩阵的设计。

4 仿真实例

已知行满秩矩阵, 将Z设定为0, 依据定理1对函数观测器进行设定, 分别得出P、ϕ和T的矩阵。状态x2和x4的误差响应曲线和其初始值都处于已知状态, 得出仿真结果, 而6S内状态x2和x4的误差响应曲线能够收敛为0。已知矩阵K=I4, 函数观测器 (4) 的类别是全维观测器, 已知状态x2和x4的误差响应曲线, 5S内其能够收敛为0[4]。

5 结语

本文着力于对单边Lipschitz非线性系统函数观测器设计等进行研究, 在具体研究过程中, 对线性矩阵不等式进行求解, 继而得出函数观测器增益矩阵的成立条件。假定矩阵K的秩与状态维数相比较小, 该背景下的函数观测器将具备降维观测器功能;如果矩阵K的秩与状态维数相等, 函数观测器具备全维观测器功能。在专业范畴内进行一系列实验论证, 得出的仿真结果证明了该设计方法极为有效, 符合具体设计要求, 有助于实现功能上的突破, 对非线性系统函数观测器设计极具推动作用。

参考文献

[1]高虹, 蔡秀珊.一类非线性系统的函数观测器设计[J].控制理论与应用, 2013 (09) :1207-1210.

[2]蔡秀珊, 王贞芸.单边Lipschitz非线性时滞系统的函数观测器设计[J].控制与决策, 2015 (12) :2259-2264.

[3]王璐, 徐慧玲.一类3--D非线性系统的稳定性分析及函数观测器设计[J].控制理论与应用, 2014 (04) :493-500.

线性函数 第7篇

线性规划是高中数学中的新增内容, 也是初等与高等数学的衔接内容, 是高考的重点热点.线性规划思想在高中数学各个章节中都有应用, 尤其在求有关二元函数的最值问题时, 以下举几例说明, 供参考:

一、在解析几何中的应用

1.到点的距离问题

例1 已知x, y满足则S=x2+y2+2x-2y+2的最小值是.

解析 S= (x+1) 2+ (y-1) 2表示可行域内的点到点 (-1, 1) 的距离的平方, 由图可知当点取 (0, 0) 时S的最小值为2.

2.到直线的距离问题

例2 已知x, y满足不等式组则ω=|x+2y-4|的最大值为.

解析 作出可行域, 设P (x, y) 是区域内任一点, 则$\frac{|x+2y-4|}{\sqrt{5}}$表示点P到直线x+2y-4=0的距离, 解

$\{\begin{array}{l}x-y+2=0,\\ 2x-y-5=0,\end{array}$

得Q (7, 9) , 由图可知, 当取点Q (7, 9) 时, ω的最大值为21.

3.两点连线的斜率问题

例3 已知x, y满足不等式组则$\omega =\frac{y-1}{x+1}$的取值范围是.

解析 作出可行域, 设P (x, y) 为可行域内任一点, 而$\omega =\frac{y-1}{x+1}$表示点P和点Q (-1, 1) 连线的斜率, 且$\omega {}_{\min }=k{}_{Q{\rm M}}=-\frac{1}{2}$, 又由图知ω<1, 所以$\omega \in \left[-\frac{1}{2},1\right).$

点评 (1) 解线性规划问题要先正确画出满足条件的可行域.

(2) 要善于联想目标函数所表示的几何意义, 如距离、斜率等.

二、在函数、方程与不等式中的应用

例4 已知函数f (x) = (4a-3) x+b-2a, x∈[0, 1], 若f (x) ≤2恒成立, 则a+b的最大值为.

解析 由题意得解得令z=a+b, 作图令横轴为a轴, 纵轴为b轴, 由线性规划知识可得在点$\left(\frac{3}{4},\frac{7}{2}\right)$处z取得最大值$\frac{17}{4}.$

三、在概率问题中的应用

例5 甲乙二人互相约定6:00～6:30在预定地点会面, 先到的人要等候另一人10分钟后, 方可离开, 求甲乙二人能会面的概率. (假定他们在6:00～6:30内的任意时刻到达预定地点的机会是等可能的.)

解析 设甲乙二人到达预定地点的时刻分别为x, y.

则由题意知由“二人会面”可得|x-y|<10, 在直角坐标系中画出的对应平面区域为正方形, 且面积为302=900;画出|x-y|<10的对应平面区域为区域A, 且面积为$30{}^2-2\times \frac{1}{2}\times (30-10){}^2=500.$

所以由几何概型可得所求概率为${\rm P}=\frac{500}{900}=\frac{5}{9}.$

答 两人能见面的概率为$\frac{5}{9}.$

从以上几例看出, 在求有关二元函数的最值问题时, 注意利用线性规划思想, 联想目标函数的几何意义, 合理恰当转化将使问题解决简洁明了.

线性函数 第8篇

由于盲源分离在数字通讯、语音识别、传感器信号处理、医疗信号处理 (MEG、EEG、ECG等) 、监控以及电磁信号处理等领域具有广泛的潜在应用, 因此引起了人们极大的研究兴趣。人们提出了许多基于不同分离模型的分离算法, 这些算法在众多应用中发挥了良好的作用。

盲源分离是通过线性或非线性混合多观测信号的独立源中恢复源信号的过程。在多数情况下, 我们考虑的是线性、瞬时无噪声混合的信号, 它可以表示为如下形式:

其中x (t) = (x1 (t) , …, xn (t) ) T表示n维观测信号, A是n×n的未知混合矩阵, s (t) = (s1 (t) , …, sn (t) ) T是未知的零均值、单位方差的源信号。

大多数线性混合模型的算法都源于独立分量分析 (ICA) 理论, ICA[1]是一种统计学方法, 它的目标是产生一系列随机变量作为统计独立分量变量的线性函数。因此, 盲源分离问题的解决就存在一些不确定性 (排序和缩放比例) 。对于非线性混合模型的盲源分离是很困难的, 由于非线性特性的复杂性, 线性ICA理论和已存在的线性解混算法不再适用。理由是:假如设x和y是两个独立的随机变量, f (·) 和g (·) 是两个非线性函数, 则f (x) 和g (y) 也相互独立[2], 这意味着仅仅通过统计独立的假设不可能完全恢复出最初的源信号本身, 而可能是它们的非线性函数。所以, 非线性混合盲源分离问题的解决还需对混合传输加入一定的限制条件。

至今, 一些学者研究了非线性盲源分离的不同问题, 提出了一些有效的解混算法。Burel[3]提出了一种基于双层感知网络的非线性盲源分离算法, 它用随机梯度法去实现互信息的最小化;基于Burel提出的模型, Yang[4]提出了一种信息反向传播 (BP) 算法, 通过自然梯度法对网络进行学习;目前Taleb[5]对于后非线性混合盲源分离提出了一种直接基于熵的算法。

此外, 线性ICA理论向非线性混合的延伸, 引起了非线性ICA的发展。所谓非线性I-CA, 是用一个非线性函数来替换非线性混合模型, 以使得输出分量变得统计独立。近几年来, Hyvarien[6]讨论了非线性ICA解的存在性和唯一性, 表明非线性ICA的解仍然是存在的, 如果对非线性混合函数加以限制, 并添加一定的假设条件 (如概率密度函数pdf) , 其解是唯一存在的。

本文主要研究了一种基于径向基函数神经网络模型的非线性混合盲源分离方法。因为RBF网络的无监督学习和盲信号处理本质上是一致的, 所以基于RBF分离系统的研究是可行的。另外, 本文的目标函数由分离系统输出分量的互信息构成, 从而保证了解的唯一性。通过充分利用RBF网络的快速收敛性和广泛的逼近特性, 提出的解混模型是优越的。此外, RBF网络具有无监督学习算法及模块化网络结构的特征, 并且容易在硬件上实现。基于RBF网络提出的算法克服了已存在算法的缺点, 如非线性权值更新和慢的收敛速率。

1 非线性混合与解混模型

非线性混合与解混的具体模型很多, 但都可以抽象为如图1所示的形式, 这个抽象的混合模型可描述为:

其中x (t) =[x1 (t) , x2 (t) , …, xn (t) ]T代表所观察到的随机变量的向量;而s (t) =[s1 (t) , s2 (t) , …, sn (t) ]T表示潜在变量的向量, 称作独立源向量;f是未知的多输入和多输出 (MIMO) 映射, 称作非线性混合变换 (NMT) 。

为保证映射的可逆性, 我们假设这个非线性映射f是单调的。图1左边部分表示出了 (2) 式所示的非线性混合模型, 图1右边部分被称作分离系统, g (x, θ) 是用来在不知道源信号s (t) 和混合函数f (·) 的情况下从混合信号x (t) 中分离原始信号s (t) 的。显然, 这一问题对一般的混合系统是难以处理的, 除非对这个混合函数f (·) 加以约束条件。首先, 保证这个分离系统的解存在, 根据相关非线性ICA理论, 这个非线性ICA问题至少有一个解, 也就是说给定一个随机变量x, 总存在一个函数g, 使得由y=g (x) 所给出的y=[y1, …, yn]T的分量是独立的, 就如同下面的定理所描述的那样。

定理[6,7]:假设m个独立随机变量y1, y2, …, ym在[0, 1]m上遵从联合均匀分布 (假设yi为均匀分布并不是一个限制, 这可从后面的递归直接得出) , x是任意的随机变量, 并且设:

并且函数g定义为:

其中py, x是 (y1, y2, …, ym, x) 的边缘概率密度, 表示条件概率。那么ym+1独立于 (y1, y2, …, ym) 。

通过这个定理, 我们可以从任何变量x获得相互独立的变量y, 这里y是均匀分布的随机变量, 是从y由映射函数g变换得到的。不幸的是, 这种映射并不是唯一的。为了从图1的模型中得到一个唯一的解, 我们假设f (·) 是可逆的, 它的反函数f-1 (·) 存在。根据图1, 非线性分离系统的输出可写为:

这里θ是一个待定的参数向量, g (·, θ) =f-1 (·) 表示一个参数适应函数。

一般来说, 可通过改变g (·, θ) 而改变θ, 如果发现, 函数能很好的近似非线性混合函数的反函数f-1 (·) , 那么一个好的非线性混合的分离就可以实现了。

非线性盲源分离的研究大致分为两类:一类是直接将现有的线性混叠分离方法通过引入非线性进行扩展, 使之适应于非线性混叠的情况。这一类算法主要针对后非线性混叠情况, 对不同的目标函数进行优化。如Taleb和Jutten[5]提出了基于输出互信息的后非线性混叠信号的盲分离方法;Yang[4]等提出了一个基于双层感知器的信息反向传播方法, 并采用了信息最大化 (Informax) 最小互信息 (MMI) 两种准则, 它可以分离通道间存在交叉非线性混叠的情况。另一类则是通过提取非线性特征等方法直接进行分离。网络结构与源信号的拓扑结构等效时, 在某些条件下自组织特征映射 (Self-Organization Feature Map-SOM) 表示了非线性混叠的逆。将观测信号映射到规则的输出网络, 每一个SOM网络输出的坐标表示了一个源。这类方法不受混叠模型的限制, 可以适用于完全非线性混叠情况。

2 基于径向基函数的非线性盲源分离

径向基函数 (RBF) 神经网络是一种典型的局部逼近神经网络, 它在逼近能力、分类能力和学习速度等方面均优于其他神经网络。图2表示了一个n维输入和n维输出的网络模型。它由三层组成, 即输入层, 隐含层和输出层。隐含层的神经元对它的输入具有局部响应, 并被称作径向基函数神经元;而输出层的神经元只是对它的输入进行累加, 被称为线性神经元。图2所示的径向基函数网络经常被用来近似一个未知的连续函数, 用一个公式表示为:

这里B=[坠ij]是一个输出层的n×M权矩阵, K (x, p) 是这个神经元网络的核心函数向量, 它由局部接受的函数组成。

在通常情况下, K (x, p) 可以采用几种形式中的一种, 例如:。这里, 为了表示的方便, 我们设是核的参数向量。我们选择高斯核作为RBF神经元的激励函数, 那么这个核函数向量K (x, p) 可被进一步表示为:

这里K (x, p) 的第一分量等于1是因为考虑了偏置。

由于径向基函数的局部响应能提供巨大的分类和逼近能力, 因此在许多的建模应用中, 高斯径向基函数网络被用作一个好的函数近似器。如果我们设S是n维实数空间的一个压缩子集, 并且P (x) 是对S的一个连续的目标向量, 那么对任意的e>0, 存在M个中心μi=[μi1, …, μin]T和一个n×M常数矩阵B, 使得对于所有的x∈B, |r (x, θ) -p (x) |

这里网络参数B和P的最后估计值, 使得函数f的反函数由RBF网络很好的近似。

为了从独立源的非线性混合中提取独立源信号, 期望分离系统的输出是统计独立的。为此, 必须使用一个量来度量随机变量之间的独立程度。在这里, 我们选互信息作为独立源的度量, 并通过对互信息的最小化, 计算出该径向基函数神经网络的参数。为此, 我们将分离系统输出各分量之间的互信息定义为目标函数。

根据信息论, 互信息I (Y) 可表示为:

这里是随机向量y的联合熵;是随机变量yi的熵;yi表示输出y的第i个分量;E[·]表示期望符;通过调整RBF分离系统的参数来最小化目标函数, 可以发现使输出统计独立的参数, 即:

下面我们将根据目标函数的最小化, 用公式表示分离系统的学习算法。

3 RBF神经网络的无监督学习算法

训练一个RBF网络, 有两种基本的方法。一个方法类似于MLP网络, 联合优化所有的参数, 这个方法通常导致好的近似质量, 但也有一些缺点, 例如大的计算量和大量的可调整参数。另一个方法是将RBF网络的学习分为两步, 第一步, 按照无监督聚类算法选择所有的中心μ和方差σ。第二步, 保持μ和σ不变, 更新输出层的权B。这种两步算法具有快速的收敛速率和小的计算负担。

3.1 中心μ的确定。

模糊C均值聚类算法 (FCM) 把n个向量xi (i=1, 2, …, n) 分为C个模糊组, 并求每组的聚类中心, 使得非相似性指标的价值函数达到最小。FCM用模糊划分, 使得每个给定数据点用值在0, 1间的隶属度来确定其属于各个组的程度。与引入模糊划分相适应, 隶属矩阵U允许有取值在0, 1间的元素。不过, 加上归一化规定, 一个数据集的隶属度的和总等于1, 即:

FCM的价值函数定义为:

这里uij介于0, 1之间;ci为模糊组i的聚类中心;dij=||ci-xj||为第i个聚类中心与第j个数据点之间的欧几里得距离;并且m∈[1, ∞) 是一个加权指数。

构造如下新的价值函数, 可求得使上式达到最小值的必要条件:

这里λj (j=1, 2, …, n) 是 (13) 式的n个约束式的拉格朗日乘子。对所有输入变量求导, 使 (13) 式达到最小的必要条件为:

由上述两个必要条件, 模糊C均值聚类算法是一个简单的迭代过程。

3.2 宽度参数σ的选择。

一旦确定了中心μ, 接下来就是选择宽度参数σ。对于σ的选择, 有三种方法。

(1) 其中M为中心数, d为间距。 (2) 对中心最近的几个邻点取平均距离。 (3) 几个宽度参数σ均采用同一个合适的常数, 只要隐含层神经元的个数选择足够多。

3.3 训练权值。

当估计出中心和宽度参数, 我们就可以利用目标函数的最小化来更新RBF网络的权值。为了推导分离RBF网络输出层权值的无监督学习算法, 我们使用梯度下降法。为了计算 (9) 式对权值W的梯度, 互信息可被进一步描述为:

这里关于向量x导数的雅克比矩阵行列式。

在 (16) 式中, H (yi) 的计算需要用到 (yi) 的概率密度函数, 这是未知的。由于Gram-Charlier展开法只需要yi的一些矩, 较少的计算量和复杂程度并且可以用一个明晰的公式表达。通过利用Gram-Charlier展开法[8], 边缘熵可被近似为:

这里:k3i=m, k4i=m4i-3, 并且mki=E[ (yi) k], j=1, n。

由于边缘熵 (HX) 不包含分离RBF网络的任何参数, 因此关于这些参数求梯度时, 它的梯度不存在。这样, 我们有下面的梯度表达式:

于是得到权W的更新公式:

众所周知, 一个递归的迭代算法需要一个判据来终止其迭代过程, 对于本文提出的模型, 由于采用最小互信息 (MMI) 法, 因而很自然的采用分离系统输出各分量间的互信息作为训练的指数或判据, 当这个判据达到某一确定值时, 将终止其学习过程。

从 (16) 式中通过省去未知H (X) , 可定义一个标志分离系统输出独立性的指数:

尽管指数J可能是负值, J的值越低, 分离系统的输出就越独立, 最小的负值J恰好等于H (X) 的相反数。

本文采用J值的相对值作为训练指标, 即:

在迭代过程中, 当er小于一个确定的阈值时, 终止迭代过程。

4 仿真

为了说明本文所研究RBF神经网络模型和算法对分离具有非线性混合的平稳信源的有效性, 下面将会给出具体的仿真结果。考虑一个具有四个源信号的双曲正切非线性混合的例子, 输出神经元是线性的, 所以该混合模型可以表示为:

其中x1, x2, x3, x4是观测信号, s1, s2, s3, s4是混合前的独立源信号, A1, A2是随机定义的混合矩阵。

这是一个典型后非线性混合的例子, 图3给出了四个源信号和它们的混合信号。

用无监督的模糊C

首先, 采用无监督的模糊C均值聚类算法求非线性混合信号的聚类中心, 把得到的聚类中心作为RBF神经网络的中心。为了得到足够多的训练样本空间, 采用10KHZ频率对混合信号进行采样。图4和5给出了双曲正切非线性混合信号中心数分别为2和6时的聚类情况。

其中i=2或者6表示聚类中心数量。

从图4和5中可以看出, 不同的聚类中心数目, 目标函数趋于稳定的最小值分布所需要的迭代次数有着明显不同。随着聚类中心数量的增多, 所需要的迭代次数明显增加, 每次迭代所需时间也增加, 这是因为对于同一个样本点, 需要计算它更多的隶属度。

把聚类得到的中心作为RBF神经网络核函数的中心, 取宽度参数σ=1, 进行网络的训练, 通过 (19) 式的计算确定径向基函数网络权值。当权值确定以后, 就可以对本文所提出的解混方法进行检验了。图6和7显示了不同RBF神经网

络隐含层神经元个数所带来的不同分离效果。

5总结

本文结合径向基函数神经网络技术, 研究了一种求解非线性混合模型盲源分离的方法。由于径向基函数网络的局部响应特性, 因此该网络较其他类型的网络具有较快的收敛速度, 而且具备天生的无监督学习特性。

本文最后对双曲正切非线性混合信号盲分离进行了仿真实验, 结果表明本文提出的这一方法对于求解非线性混合模型的盲源分离问题是有效的。在实验中, 还讨论了RBF神经网络的隐含层神经元个数对盲源分离的影响, 个数越多, 分离效果越好, 尤其对于高频信号来说, 这一表现更为明显, 但确定网络权值所花费的时间也越长。

在实验过程中, 发现对训练所需的初始参数并非总是收敛的, 需要反复的试凑, 因此对非线性混合的盲源分离算法的全局收敛性和渐进稳定性问题还需作进一步的研究。

摘要：通过径向基函数 (RBF) 神经网络近似非线性混合映射的方法, 研究了一种从非线性混合信号中盲源分离的算法。该方法采用RBF神经网络分离系统输出分量的互信息作为目标函数, 目标函数的最小化导致输出量之间的独立性, 以便使源信号尽可能的分离出来。采用无监督的模糊C均值聚类方法训练RBF神经网络的权值, 可以大大节省计算量。仿真结果讨论了RBF神经网络隐含层不同的神经元个数对盲源分离效果的影响, 并且证明了本算法是有效性的和可行的, 并且有较强的鲁棒性。

线性函数 第9篇

序列密码因其加解密速度快、结构简单和有限的错误扩展等特性, 成为世界各国重要领域使用的主流密码之一。非线性布尔函数NBF (Non_Line Boolean Function) 作为序列密码中乱数生成模块的重要组成部分, 目前的硬件实现方式主要有与或阵列或查找表。基于查找表的方式因其实现原理和结构简单, 对函数形式没有要求, 因此成为目前硬件实现的主流手段。

文献[1, 2]提出了一种基于FPGA查找表的NBF处理单元ALM (Adaptive Logic Module) 。该单元采用共享变量和多个查找表拆分, 实现了一个6变量的NBF和两个具有共享变量的5变量NBF。但该架构是基于全变量真值表实现的, 没有对给定的NBF进行分析来降低存储资源。文献[3]利用shannon分解, 对NBF进行了分析, 针对分解的几种情况设计了相应的硬件架构。与文献[1, 2]相比, 资源消耗更低, 缺点是没有提出处理各种NBF的统一架构, 通用性不强。

针对上述设计中存在的问题, 本文分析了序列密码中的NBF的函数类型和操作特点, 改进设计了一种基于查找表的NBF处理架构。该架构集成多个NBF高级可编程逻辑单元APLM (Advanced Programmable Logic Module) , 能够支持NBF的并行执行及高次NBF的运算。适配结果表明, 该架构对序列密码算法中的NBF具有良好的适配性, 较大提升了其在序列密码算法中的执行效率并降低了存储资源占用。

1 NBF分析及总体架构设计

本文对文献[5-7]欧洲NESSIE工程、e STREAM计划以及常用的序列密码算法进行了统计整理, 提取出算法中采用的NBF, 统计分析其各项特性如表1所示。

shannon分解定理设f (x1, x2, …, xn) 是一布尔函数, xi (i=1, 2, …, n) 是f (x) 的任一自变量, 令fxi=f (x1, x2, …, xi-1, 1, xi+1, …, xn) 为f (x1, x2, …, xn) 对xi的代数1因子, fx珋i=f (x1, x2, …, xi-1, 0, xi+1, …, xn) 为f (x1, x2, …, xn) 对xi的代数0因子, 则布尔函数可分解为:

分析式 (1) , 定义降次输入变量为:

定义1一个有n个输入变量的布尔函数f (x0, …, xn) 有降次输入向量, 当且仅当对xi的Shannon分解代数0或者1子式有小于n-1个变量。即fxi

根据shannon分解定理及定义1, 当一个NBF具有降次变量时, 最多需要一个n-1和一个n-2输入的LUT来实现xi的两个因子式, 利用xi选择两个因子式完成最后输出。此时其资源的消耗仅为2n-1+2n-2个LUT单元, 而不是传统方式需要的2n个LUT, 资源减少达25%。

对表1算法中NBF进行的shannon分解结果表明, 除pomaranch算法无法使用6变量shannon分解降次外, 其他算法都可以通过将NBF分拆为几个6变量布尔函数而降次实现。因此利用shannon分解定理, 对传统的实现NBF的方式进行改进, 能够显著降低NBF实现过程中占用的存储资源。

根据上述分析, 本文设计了面向NBF运算的整体实现架构。该架构采用多个APLM来完成不同的NBF运算, 每个APLM单元能够实现6变量shannon分解的布尔函数。同时本文增加了可配置电路, 能够根据配置信息的不同, 可重构实现5变量加4变量NBF或者3个4变量NBF。对于高次函数及不能适用于shannon分解的少数6变量布尔函数, 本文采用多个APLM级联实现。该架构整体电路如图1所示。

图1中, NBF硬件架构共有n个独立的APLM, 每个APLM结果输出到可编程异或网络组合成最终输出。其中n可以根据目标应用进行具体设定。每个APLM的结构如图1左侧所示。其中模式配置单元用来控制整个APLM电路的互联结构, 可以根据目标函数的不同, 配置不同的输出方式;存储单元存放NBF的真值表, 通过输入变量选择结果到数据选择单元;数据选择单元在控制信息和降次变量xi的作用下选择两个因子式的输出, 实现每个APLM执行的NBF最终输出。通过单个或几个APLM的联合使用, 实现低次或高次NBF的输出。

2 APLM单元设计与应用

文献[1]采用的共享变量可以有效降低输入端口的数量。本文设计的APLM硬件结构结合shannon分解后对LUT的差异化实现需求, 对共享变量结构进行了改进和创新。整体硬件结构如图2所示。

由图2不难看出, APLM单元有9个输入端a1-a9, 3个输出端F1-F3。a6, a7, a8, a9分别与a1, a2, a1, a2共享一个输入, 可以在配置信息s1, s2, s5控制下实现不同模式下的共享输入。整个APLM由3个独立的4输入LUT组成其存储单元, 用来存放shannon展开的NBF真值表。数据选择器根据不同的配置信息选择不同的NBF组合, 并以相应的数据输出路径输出。下面详细介绍其应用于不同模式下的结构。

1) 6变量NBF配置实现

实现shannon展开的6变量布尔函数, 首先需要对给定的NBF每个变量进行shannon分解, 确定降次输入变量和被屏蔽的输入变量。将分解后变量数为5的因子式用两个4-LUT来实现, 而将具有屏蔽变量的因子式用一个4-LUT来实现。被屏蔽的输入变量映射到输入端口a5, 降次输入变量映射到输入端口a6来选择上述两个因子式的输出。整体数据流图如图3所示。

对于不能通过shannon分解实现的pomaranch算法6变量低次NBF, 可以采用下面介绍的5变量加4变量NBF架构实现。而对于算法中可能出现的高次NBF (变量个数大于6) , 一个基本APLM单元无法实现。此时根据图1的总体结构, 需要将两个或数个APLM组合实现上述函数的输出。该结构将在第3部分函数适配中详细介绍。

2) 5变量加4变量NBF配置实现

图2中每个APLM共有48个LUT存储单元。当将两部分单独使用时, 利用现有端口配置, 可以实现任意的一个5变量和一个4变量NBF输出。这种方式可以避免文献[1]中共享变量的限制, 提升了APLM的灵活性和适用范围。总体数据流图如图4所示。

图4中, 上面两个4-LUT的输入仍为a1, a2, a3, a4, 它们与输入a5共同组成一个5变量布尔函数。但下面一个4-LUT输入端此时则被配置为a6, a7, a8, a9, 结果通过F3输出。通过这种方式, APLM可独立实现两个不同的布尔函数F1, F3。输出F1为一个任意5变量NBF。输出F3为一个任意4变量NBF。

3) 具有共享变量的多4变量NBF配置实现

序列密码中有一类NBF比较特殊, 其移位寄存器中每一比特的更新都是一个NBF运算。这类函数的操作特征是单个函数输入变量个数少, 但是需要实现的函数数量较多, 如MICK-EY-80, MICKEY-128。本文设计的APLM根据上述NBF的结构需求, 利用现有架构和资源, 通过配置输入端口实现了具有共享变量的3个4输入NBF。整体电路如图5所示。

由图5可以看出, 配置信息将三个4-LUT的输入分别设置为: (a3, a4, a1, a2) 、 (a3, a4, a7, a8) 、 (a3, a4, a6, a9) , 输出为F1, F2, F3。

上述每种模式应用中的端口配置信息s1-s6是由图1中的模式配置单元根据模式控制信号来生成的。其作用是配置每个4-LUT中的输入输出组合方式, 从而配置实现几种不同的硬件架构。

3 函数适配与性能分析

本文设计的序列密码算法NBF处理架构集成了多个APLM, 且每个APLM能够实现的函数的种类多样, 变量个数多样。通过灵活改变输入输出的不同组合, 该架构能够高效适配低次及高次NBF。

1) 低次NBF适配

低次NBF适配时, 只需按照shannon分解定理, 对变量个数不大于6的NBF的每个变量依次进行shannon分解。对于分解后具有降次输入变量的NBF, 直接使用6变量NBF处理单元APLM实现。对于不能分解的NBF, 可以将其分解成一个5变量加4变量函数实现。低次NBF适配方法比较简单, 本节不再赘述。

2) 高次NBF适配

表1的统计结果表明, 序列密码中的NBF变量数一般较多。如A5-2有12个变量, W7有高达28个变量。同时对于有些算法, 其最高与项次数较高, 如grain-80中与项最高次数为6。针对上述特性, 在实现高次NBF时, 本文将几个APLM单元级联使用。整个NBF分拆为数个6变量子NBF分别使用APLM实现。将子NBF计算结果通过输出异或网络即可完成整个算法的适配。本文以grain-80为例, 介绍高次函数的适配过程。

Grain-80算法中最复杂NBF表达式为:

将其进行分拆, 每个括号代表拆分的分类结果, 则该NBF还可以表示为:

图中每行代表一个最高变量数为6的子NBF, 则有:

式中的f2 (x) , f3 (x) 可以通过一个APLM中5变量加4变量模式实现。另外, 根据shannon分解定理, f4 (x) , f5 (x) , f6 (x) 分别可以找到降次变量x28, x20, x17, 使得函数式:

对上述各因子式分析可得:

变量数分别为4、0、3, 具有降次变量。此时可以将这三个函数分别通过三个APLM来实现。上述几个函数的输出与f1 (x) 相异或即可得到最终的布尔函数输出结果。

对于序列密码中另一种变量个数较多但彼此不交叉的NBF, 一个APLM能够实现次数最高达9次的NBF。如对于grain-128中的密钥生成函数:

分析函数结构容易得出, 变量x2, x3, x6, x7只在函数中出现了一次, 并且和其他因式没有共有变量, 此时可以考虑将函数变形为:

即:

此时将函数分解为一个5变量和一个4变量函数。采用图4的结构将两个函数的输出通过异或网络即可完成函数的运算。通过这种方式, APLM实现了文献[1-3]无法单独实现的变量数较多的NBF。

3) 性能分析

本文设计的NBF整体硬件架构已使用Verilog语言进行了RTL实现和功能仿真。当n=6时, 在0.13μm工艺下对其进行了DC综合, 其各项性能指标如表2所示。

NBF整体架构中采用的基本APLM单元与文献[1]中的ALM单元资源占用和功能对比结果如表3所示。

由表3可以看出, APLM增加了一个输入端口, 但其具有更少的资源占用, 并能实现更多的函数种类。

4 结语

针对序列密码算法中NBF硬件实现问题, 本文对序列密码中广泛存在的NBF进行了整理分析。并根据shannon分解定理, 寻找每个NBF表达式中存在的降次输入变量, 通过对表达式进行分析处理, 将处理后的6变量NBF通过APLM实现。和通用的实现NBF的查找表结构相比, APLM资源占用更低, 且实现函数种类更多。由多个APLM集成了NBF整体处理架构, 采用变量分拆的方式实现了高次NBF处理架构。综合结果表明, 该架构不但能灵活地适配序列密码中的NBF, 具有较高的执行频率, 而且占用更低的资源, 因而具有很好的应用前景。

参考文献

[1]Mike Hutton1, Jay Schleicher.Improving FPGA Performance and Area Using an Adaptive Logic Module[C]//FPL 2004, LNCS 3203, 2004:135-144.

[2]David Lewis, Elias Ahmed.The Stratix II Logic and Routing Architecture[C]//USA:FPGA’05, February, 20-22, 2005.

[3]Jason H Anderso, Qiang Wang.Area-Efficient FPGA Logic Elements:Architecture and Synthesis[C]//Design Automation conference (ASP-DAC) , 2011 16th Asia and South Pacific, 2011:369-375.

[4]张超.基于BDD的动态故障树优化分析研究[D].西安:西北工业大学, 2004.

[5]张玉安, 冯登国.欧洲流密码加密标准的竞评[J].信息安全与通信保密, 2003 (3) :38-41.

[6]刘运毅, 覃团发, 倪皖荪, 等.简评ECRYPT的候选流密码算法[J].信息安全与通信保密, 2006 (7) :26-28.

[7]刘依依.eSTREAM和流密码分析现状[J].信息安全与通信保密, 2009 (12) :47-49.