神经元网络范文

2024-06-01

神经元网络范文（精选11篇）

神经元网络第1篇

人工神经网络(ANN)是一种用计算机网络系统模拟生物神经网络的智能神经系统,它是在现代神经生物学研究成果的基础上发展起来的,模拟人脑信息处理机制的一种网络系统,它不但具有处理数值数据的计算能力,而且还具有处理知识的学习、联想和记忆能力。

人工神经网络模拟了大脑神经元的组织方式,反映了人脑的一些基本功能,为研究人工智能开辟了新的途径。它具有以下基本特征

1.1并行分布性

因为人工神经网络中的神经元排列并不是杂乱无章的,往往是以一种有规律的序列排列,这种结构非常适合并行计算。同时如果将每一个神经元看作是一个基本的处理单元,则整个系统可以是一个分布式处理系统,使得计算快速。

1.2 可学习性和自适应性

一个相对很小的人工神经网络可存储大量的专家知识,并能根据学习算法,或利用指导系统模拟现实环境(称为有教师学习),或对输入进行自适应学习(称为无教师学习),可以处理不确定或不知道的事情,不断主动学习,不断完善知识的存储。

(3)鲁棒性和容错性

由于采用大量的神经元及其相互连接,具有联想映射与联想记忆能力,容错性保证网络将不完整的、畸变的输入样本恢复成完整的原型,鲁棒性使得网络中的神经元或突触遭到破坏时网络仍然具有学习和记忆能力,不会对整体系统带来严重的影响。

1.3 泛化能力

人工神经网络是大规模的非线性系统,提供了系统协同和自组织的潜力,它能充分逼近任意复杂的非线性关系。如果输入发生较小变化,则输出能够保持相当小的差距。

1.4 信息综合能力

任何知识规则都可以通过对范例的学习存储于同一个神经网络的各连接权值中,能同时处理定量和定性的信息,适用于处理复杂非线性和不确定对象。

2 人工神经网络模型

神经网络是在对人脑思维方式研究的基础上,将其抽象模拟反映人脑基本功能的一种并行处理连接网络。神经元是神经网络的基本处理单元。

在神经网络的发展过程中,从不同角度对神经网络进行了不同层次的描述和模拟,提出了各种各样的神经网络模型,其中最具有代表性的神经网络模型有:感知器、线性神经网络、BP网络、自组织网络、径向基函数网络、反馈神经网络等等。

3 神经元矩阵

神经元矩阵是神经网络模型的一种新构想,是专门为神经网络打造的一个矩阵,它符合神经元的一切特征。

神经元矩阵采用矩阵形式,它可为n维向量组成。引入向量触头和信使粒的概念,向量触头可生长,即长度可变,方向可变,信使粒可“游荡”在矩阵中,建立各种联系。如图1即是神经元矩阵模型

(1)容器可产生一种无形的约束力,使系统得以形成,容器不是全封闭的,从而保证系统与外界的沟通和交互;各向量间可用相互作用的力来联系,而各个信使粒则受控于容器、中空向量以及其它的信使粒。各神经元之间自主交互,神经元矩阵是一种多层次的管理,即一层管理一层。系统具有明显的层级制和分块制,每层每块均独立且协同工作,即每层每块均含组织和自组织因素。

(2)向量触头是中空的,信使粒可以通过向量或存储于向量中,所以又称为中空向量。向量存储了信使粒后,可以吸引更多的信使粒在附近,或使邻近向量转向、伸长,进而形成相对稳定的信息通路。

(3)当两条或更多的信息通路汇集时,可能伴随着通路的增强、合并,以及信使粒的聚集、交换,这是神经元矩阵运算的一种主要形式。通路的形成过程,也就是是神经元矩阵分块、分层、形成联接的过程,也为矩阵系统宏观管理、层级控制的实现奠定了基础。

神经元矩阵亦是一种具有生物网络特征的数学模型,综合了数学上矩阵和向量等重要概念,是一种立体的矩阵结构。尤其是将矩阵的分块特性和向量的指向特征结合起来,更好的体现了神经网络的整体性和单元独立性,系统的组织和自组织特征也更为凸显。信使粒以“点”的数学概念,增强了系统的信息特征,尤其是增强了矩阵的存储和运算功能。

4 人工神经网络的发展趋势

人工神经网络是边缘性交叉科学,它涉及计算机、人工智能、自动化、生理学等多个学科领域,研究它的发展具有非常重要意义。针对神经网络的社会需求以及存在的问题,今后神经网络的研究趋势主要侧重以下几个方面。

4.1 增强对智能和机器关系问题的认识

人脑是一个结构异常复杂的信息系统,我们所知道的唯一智能系统,随着信息论、控制论、计算机科学、生命科学的发展,人们越来越惊异于大脑的奇妙。对人脑智能化实现的研究,是神经网络研究今后的需要增强的地发展方向。

4.2 发展神经计算和进化计算的理论及应用

利用神经科学理论的研究成果,用数理方法探索智能水平更高的人工神经网络模型,深入研究网络的算法和性能,使离散符号计算、神经计算和进化计算相互促进,开发新的网络数理理论。

4.3 扩大神经元芯片和神经网络结构的作用

神经网络结构体现了结构和算法的统一,是硬件和软件的混合体,神经元矩阵即是如此。人工神经网络既可以用传统计算机来模拟,也可以用集成电路芯片组成神经计算机,甚至还可以生物芯片方式实现,因此研制电子神经网络计算机潜力巨大。如何让传统的计算机、人工智能技术和神经网络计算机相融合也是前沿课题,具有十分诱人的前景。

4.4 促进信息科学和生命科学的相互融合

信息科学与生命科学的相互交叉、相互促进、相互渗透是现代科学的一个显著特点。神经网络与各种智能处理方法有机结合具有很大的发展前景,如与专家系统、模糊逻辑、遗传算法、小波分析等相结合,取长补短,可以获得更好的应用效果。

参考文献

神经网络论文第2篇

神经网络是近年来迅猛发展的前沿课题，它对突破现有科学技术的瓶颈起到重大的作用。下面要为大家分享的就是神经网络论文，希望你会喜欢！

摘要

人工神经网络是近年来迅猛发展的前沿课题，它对突破现有科学技术的瓶颈起到重大的作用。本文剖析了人工神经网络的特征、模型结构以及未来的发展趋势。

【关键词】人工神经网络神经元矩阵

1 人工神经网络概述

人工神经网络(ANN)是一种用计算机网络系统模拟生物神经网络的智能神经系统，它是在现代神经生物学研究成果的基础上发展起来的，模拟人脑信息处理机制的一种网络系统，它不但具有处理数值数据的计算能力，而且还具有处理知识的学习、联想和记忆能力。

人工神经网络模拟了大脑神经元的组织方式，反映了人脑的一些基本功能，为研究人工智能开辟了新的途径。它具有以下基本特征：

1.1 并行分布性

因为人工神经网络中的神经元排列并不是杂乱无章的，往往是以一种有规律的序列排列，这种结构非常适合并行计算。同时如果将每一个神经元看作是一个基本的处理单元，则整个系统可以是一个分布式处理系统，使得计算快速。

1.2 可学习性和自适应性

一个相对很小的人工神经网络可存储大量的专家知识，并能根据学习算法，或利用指导系统模拟现实环境(称为有教师学习)，或对输入进行自适应学习(称为无教师学习)，可以处理不确定或不知道的事情，不断主动学习，不断完善知识的存储。

(3)鲁棒性和容错性

由于采用大量的神经元及其相互连接，具有联想映射与联想记忆能力，容错性保证网络将不完整的、畸变的输入样本恢复成完整的原型，鲁棒性使得网络中的神经元或突触遭到破坏时网络仍然具有学习和记忆能力，不会对整体系统带来严重的影响。

1.3 泛化能力

人工神经网络是大规模的非线性系统，提供了系统协同和自组织的潜力，它能充分逼近任意复杂的非线性关系。如果输入发生较小变化，则输出能够保持相当小的差距。

1.4 信息综合能力

任何知识规则都可以通过对范例的学习存储于同一个神经网络的各连接权值中，能同时处理定量和定性的信息，适用于处理复杂非线性和不确定对象。

2 人工神经网络模型

神经网络是在对人脑思维方式研究的基础上，将其抽象模拟反映人脑基本功能的一种并行处理连接网络。神经元是神经网络的基本处理单元。

在神经网络的发展过程中，从不同角度对神经网络进行了不同层次的描述和模拟，提出了各种各样的神经网络模型，其中最具有代表性的`神经网络模型有：感知器、线性神经网络、BP网络、自组织网络、径向基函数网络、反馈神经网络等等。

3 神经元矩阵

神经元矩阵是神经网络模型的一种新构想，是专门为神经网络打造的一个矩阵，它符合神经元的一切特征。

神经元矩阵采用矩阵形式，它可为n维向量组成。引入向量触头和信使粒的概念，向量触头可生长，即长度可变，方向可变，信使粒可“游荡”在矩阵中，建立各种联系。如图1即是神经元矩阵模型

(1)容器可产生一种无形的约束力，使系统得以形成，容器不是全封闭的，从而保证系统与外界的沟通和交互;各向量间可用相互作用的力来联系，而各个信使粒则受控于容器、中空向量以及其它的信使粒。各神经元之间自主交互，神经元矩阵是一种多层次的管理，即一层管理一层。系统具有明显的层级制和分块制，每层每块均独立且协同工作，即每层每块均含组织和自组织因素。

(2)向量触头是中空的，信使粒可以通过向量或存储于向量中，所以又称为中空向量。向量存储了信使粒后，可以吸引更多的信使粒在附近，或使邻近向量转向、伸长，进而形成相对稳定的信息通路。

(3)当两条或更多的信息通路汇集时，可能伴随着通路的增强、合并，以及信使粒的聚集、交换，这是神经元矩阵运算的一种主要形式。通路的形成过程，也就是是神经元矩阵分块、分层、形成联接的过程，也为矩阵系统宏观管理、层级控制的实现奠定了基础。

神经元矩阵亦是一种具有生物网络特征的数学模型，综合了数学上矩阵和向量等重要概念，是一种立体的矩阵结构。尤其是将矩阵的分块特性和向量的指向特征结合起来，更好的体现了神经网络的整体性和单元独立性，系统的组织和自组织特征也更为凸显。信使粒以“点”的数学概念，增强了系统的信息特征，尤其是增强了矩阵的存储和运算功能。

4 人工神经网络的发展趋势

人工神经网络是边缘性交叉科学，它涉及计算机、人工智能、自动化、生理学等多个学科领域，研究它的发展具有非常重要意义。针对神经网络的社会需求以及存在的问题，今后神经网络的研究趋势主要侧重以下几个方面。

4.1 增强对智能和机器关系问题的认识

人脑是一个结构异常复杂的信息系统，我们所知道的唯一智能系统，随着信息论、控制论、计算机科学、生命科学的发展，人们越来越惊异于大脑的奇妙。对人脑智能化实现的研究，是神经网络研究今后的需要增强的地发展方向。

4.2 发展神经计算和进化计算的理论及应用

利用神经科学理论的研究成果，用数理方法探索智能水平更高的人工神经网络模型，深入研究网络的算法和性能，使离散符号计算、神经计算和进化计算相互促进，开发新的网络数理理论。

4.3 扩大神经元芯片和神经网络结构的作用

神经网络结构体现了结构和算法的统一，是硬件和软件的混合体，神经元矩阵即是如此。人工神经网络既可以用传统计算机来模拟，也可以用集成电路芯片组成神经计算机，甚至还可以生物芯片方式实现，因此研制电子神经网络计算机潜力巨大。如何让传统的计算机、人工智能技术和神经网络计算机相融合也是前沿课题，具有十分诱人的前景。

4.4 促进信息科学和生命科学的相互融合

神经网络介绍及其应用第3篇

[摘要]本文介绍了神经网络发展历史、结构、特点、以及应用范围，对神经网络的发展前景进行了展望，最后简述脉冲控制与脉冲复变神经网络。

[关键词]神经元；神经网络；应用与研究前沿；脉冲控制；脉冲复变神经网络

1.引言

人工神经网络是近几年发展起来的交叉学科，它是用物理或数学方法实现的系统来模拟人脑神经细胞的功能，其涉及生物、电子、计算机、数学和物理等学科，有着非常广泛的应用前景。人工神经网络不仅仅是一种算法，而且也可由电子器件组为硬件实现其功能，即它可用软件或软件均可实现，它可解决大量复杂的或至今人类无法找出的及未知的函数关系的拟合，可作类似人类的模式识别能力，是由于在构造它的时候，对其进行了大量的训练，使它积累了有关知识，学会了这种判别能力。

2.神经网络

2.1神经网络简介：

神经网络，即是以人脑的生理研究成果为基础的，也是生物神经网络系统高度简化后的一种近似，它可以在不同程度、不同层次上模拟人脑神经系统的结构及其信息处理、存储和检索等功能。在过去三十年中发展活跃，由于它拥有良好的非线性映射能力、自学习适应能力和并行信息处理能力，可以处理不确定非线性系统问题，因此具有较高的智能水平和实用价值，在众多领域内得到了广泛的应用。

2.2神经网络的更迭：

神经网络自诞生以来，历时半个世纪，经历了5个阶段：

奠基阶段，上世纪40年代，1943年，美国神经生物学家Mcculloch和数理逻辑学家Pitts从人脑信息处理的立场上出发，运用数理模型研究了脑细胞的动作和结构及生物元的一些基本生理特性，提出了第一个神经计算模型，即神经元的阈值元件模型（M-P型），他们从原理上证明了人工神经网络可以计算任何算数和逻辑函数，迈出了人工神经网络研究的第一步，该模型有兴奋和抑制两种状态，可以完成有限的逻辑运算，虽然简单却沿用至今，并直接影响这一领域研究的进展，成为人工神经网络研究的先驱。

第一次高潮階段，50年代后期，计算机科学家F·Rosenblatt设计制作了“感知机”-一种多层的神经网络模型，它由阈值型神经元组成，用以模拟动物和人脑的感知和学习能力，适用于模式识别、联想记忆等人们感兴趣的实用技术，包含了现代神经计算机的基本原理。这项工作首次把人工神经网络的研究从理论探讨付诸工程实践，掀起了人工神经网络的第一次研究热潮。

坚持阶段，1960年Bernard Widrow和Ted Hoff提出自适应线性元件网络，这是一种连续取值的线性加权求和阈值网络，在后来的误差反向传播和自适应信号处理系统中得到了广泛应用。在1969年，Matrill Minsky和Seymour Papert论证了简单的线性感知器功能是有限的，并断言这种感知器无科学价值可言。经管如此，仍有不少学者在极端艰难的条件下致力于神经网络的研究，如美国学者Stephen Grossberg等提出了自适应共振理论（ART模型），并在之后的若干年发展了ART1、ART2和ART3三种神经网络模型芬兰学者Kohonen提出了自适应映射理论模型，这些工作为以后的神经网络的研究和发展奠定了理论基础。

第二次高潮阶段，Kohonen提出了自组织映射网络模型，并在计算机上进行了模拟。80年代初期，模拟与数字混合的超大规模集成电路制作技术提高到新的水平。美国的物理学家Hopfie M于1982年和1984年在美国科学院院刊上发表了两篇关于人工神经网络研究的论文，引起了巨大的反响，人们重新认识到神经网络的威力以及付诸应用的现实性。随即，一大批学者和研究人员围绕着Hopfield提出的方法展开了进一步的工作，形成了80年代中期以来人工神经网络的研究热潮。

新发展阶段，90年代初，对神经网络的发展产生了很大的影响是诺贝尔奖获得者Edeknan提出了Dalwinism模型，建立了一种神经网络系统理论。1994年廖晓昕对细胞神经网络建立了新的数学理论与基础，得出了一系列结果，如耗散性、平衡位置的数目及表示，平衡态的全局稳定性、区域稳定性、周期解的存在性和吸引性等，使这个领域取得了新的进展。

2.3神经网络的结构与特点：

神经网络是一个复杂的互联系统，单元之间的互联模式将对网络的性能与功能产生影响，其由许多相互连接的神经元（也称为单元或节点）以及外部环境输入组成，每一个神经元都执行两个功能：把来自其他神经元的输入施以不同的连接权并对外部输入进行叠加，同时对这个叠加的输入进行非线性变换产生一个输出，该输出又通过连接权刺激其他神经元相连。要设计一个神经网络，必须包含神经元间的连接模式、激励函数、连接权值和神经元个数这四个方面。

按照其连接方式的不同的特点，神经网络可以分为两种，即前馈神经网络和反馈（递归）神经网络，前馈神经网络主要是函数映射，其各神经元接收前一层的输入，并输出到下一层，没有反馈。在没有反馈的神经网络中，信号一旦通过某个神经元，过程就结束了，而在递归神经网络中，信号要在神经元之间反复往返传递，神经网络处在一种不断改变状态的动态过程中。因为有反馈的存在，所以递归神经网络是一个非线性动力系统，可用来实现联想记忆和求解优化等问题。

利用激励函数的形式多样化的特点，并根据其不同特性可以构造功能各异的神经网络，典型的激励函数包括阶梯函数、线性作用函数和Sigmoid函数等。研究表明，选择适当的激励函数可以大大改善神经网络的性能，因此推广可使用的激励函数范围，在更加广泛的意义下研究神经网络的稳定性与混沌同步不仅可以推动神经网络的完善与发展，而且能为神经网络的实际应用奠定坚实的基础。

2.4神经网络的应用与研究前沿

神经网络系统是一个高度非线性的超大规模连续时间动力学系统，具备大规模的并行处理和分布式的信息存储能力，拥有良好的自适应、自组织性以及很强的学习功能、联想功能和容错功能，其突破了传统的以线性处理为基础的数字电子计算机的局限，标志着人类智能信息处理能力和模拟人脑智能行为能力的一大飞跃。

目前大批学者围绕神经网络展开了进一步的研究工作，大量的神经网络模型相继被提出，如竞争神经网络模型、忆阻器神经网络模型、分数阶神经网络模型等。由于神经网络独特的结构和处理信息的方法，使其在最优化计算、自动控制、信号处理、模式识别、故障诊断、海洋遥控、时间序列分析、机器人运动学等许多实际领域表现出良好的智能特性和潜在的应用前景。神经网络的研究前沿领域还包括以下几个方面：智能和机器（机器智能化）、神经计算和进化计算（相互促进）、神经网络结构和神经元芯片（高科技领域中的神经计算机与神经元芯片）等。

神经网络成功应用的前提是动力学行为，由于其非线性的特征，神经网络往往具有非常复杂的动力学性态，如平衡点、周期解、分支、行波解和混沌等，在时滞神经网络（一种复杂的动态系统）中适当的选择系统的参数和时滞可使其表现出复杂的动态行为，甚至混沌特征。目前，时滞神经网络的混沌同步在保密通信、图像处理等应用方面取得了可喜的进展，并通过对耦合混沌神经网络系统的大量理论研究、数值模拟和电路实验，提出了许多同步控制方案，如自适应控制、脉冲控制等。

3.脉冲复变神经网络

3.1脈冲控制

通过对耦合混沌神经网络系统的研究，提出了许多同步控制方案，包括线性状态误差反馈控制、样本点控制、脉冲控制、间歇控制等，而在实际的应用中，使用连续控制消耗巨大，实用性不强，脉冲控制恰好用来降低成本并减少消耗。

脉冲控制是基于脉冲微分方程的控制方法，其仅仅在某些时点上施加控制，具有控制器结构简单、易于实现，控制系统的鲁棒性比较强（适于解决强非线性、实变、复变等问题）等优点，并在混沌控制、混沌同步、复杂网络同步等领域得到了越来越广泛的应用。

3.2脉冲复变神经网络

做网络时代的神经元第4篇

有人说, 现在的互联网相当于婴幼儿时期的大脑, 以后会逐渐发展为成年时期的大脑, 具有与人类相类似的智慧。如果真是这样, 人类最后一点骄傲将丧失殆尽。那时, 人类会是什么样子?人类还能干什么?

这个问题我是这么看的:如果我们所说的互联网包含了网络终端后面的亿万个人的话, 互联网岂止像一个大脑, 而更像是亿万个大脑。互联网上的智慧与知识, 是人类智慧与知识的集合。如果我们所说的互联网只是指非人类的物理网络和机器, 那显然还不具有人类的智慧。尽管计算机控制的机器人可以战胜人类的国际象棋高手, 尽管计算机的运算能力和记忆能力是人类的千百万倍, 但都不足以动摇人类智慧的崇高地位。

为什么这么说呢?因为计算机的“智慧”都是基于某种算法的, 也就是说, 都是基于逻辑推理的, 大致类似于人类左脑的部分功能。而人类除了具有逻辑思维能力之外, 还有计算机不具备的非逻辑思维能力。这种非逻辑思维是一种模糊的、不精确的、想象的、直觉的、跳跃的思维方式, 而不是一步一步推理的。这种非逻辑思维能力受情绪、意志、需要以及我们还不知道的诸多因素影响, 即使科学也不能完全解释清楚。尽管人工智能专家目前正在努力使计算机也能进行某种形式的模糊思维与模式识别 (其实那仍然是基于某种算法, 只不过更复杂罢了) , 但毕竟跟人类非逻辑思维的本质还相差甚远。

举个例子, 当阿基米德在洗澡时, 通过对身体让水溢出澡盆现象的观察, “顿悟”到测定皇冠内的含金量的方法, 这是计算机能够做到的吗?无论它的推理能力有多强、计算速度有多快, 也无论它经过多少次试错、修正的过程, 也难以“算”出这样的结论。

又比如, 我们可以由花联想到女人、儿童, 由月圆月缺联想到人生的聚散离合、沧桑变幻, 由一个人对你眨一眨眼, 就知道他是不是在暗示你什么。这一切, 计算机能够做到吗?据说计算机也能够“联想”。例如, 搜索引擎可以通过某个关键词把一些相关或毫不相干的信息搜集到一起, 但这与人类的联想比起来不可同日而语。归根结底, 计算机只会“计算”, 而不懂思考;虽然计算也是一种思考, 但思考绝不是简单地等同于计算。

在网络中, 人是最重要的因素, 是网络的灵魂, 相当于大脑中的神经元, 而网络则是连接每一个神经元的神经纤维。无论物理网络与机器怎么发展, 可能也只能充当人类大脑的助手与秘书 (尽管这个“助手”在某些方面比“雇主”更加能干) 。

人工神经网络论文第5篇

在20世纪40年代，生物学家McCulloch与数学家Pitts共同发表文章，第一次提出了关于神经元的模型M-P模型，这一理论的提出为神经网络模型的研究和开发奠定了基础，在此基础上人工神经网络研究逐渐展开。1951年，心理学家Hebb提出了关于连接权数值强化的法则，为神经网络的学习功能开发进行了铺垫。之后生物学家Eccles通过实验证实了突触的真实分流，为神经网络研究突触的模拟功能提供了真实的模型基础以及生物学的依据[2]。随后，出现了能够模拟行为以及条件反射的处理机和自适应线性网络模型，提高了人工神经网络的速度和精准度。这一系列研究成果的出现为人工神经网络的形成和发展提供了可能。

2.2 低谷时期

在人工神经网络形成的初期，人们只是热衷于对它的研究，却对其自身的局限进行了忽视。Minskyh和Papert通过多年对神经网络的研究，在1969年对之前所取得的研究成果提出了质疑，认为当前研究出的神经网络只合适处理比较简单的线性问题，对于非线性问题以及多层网络问题却无法解决。由于他们的质疑，使神经网络的发展进入了低谷时期，但是在这一时期，专家和学者也并没有停止对神经网络的研究，针对他们的质疑也得出一些相应的研究成果。

2.3 复兴时期

美国的物理学家Hopfield在1982年提出了新的神经网络模型，并通过实验证明在满足一定的条件时，神经网络是能够达到稳定的状态的。通过他的研究和带动，众多专家学者又重新开始了对人工神经网络方面的研究，推动了神经网络的再一次发展[3]。经过专家学者的不断努力，提出了各种不同的人工神经网络的模型，神经网络理论研究不断深化，新的理论和方法层出不穷，使神经网络的研究和应用进入了一个崭新的时期。

2.4 稳步发展时期

随着人工神经网络研究在世界范围内的再次兴起，我国也迎来了相关理论研究的热潮，在人工神经网络和计算机技术方面取得了突破性的进展。到20世纪90年代时，国内对于神经网络领域的研究得到了进一步的完善和发展，而且能够利用神经网络对非线性的系统控制问题进行解决，研究成果显著。随着各类人工神经网络的相关刊物的创建和相关学术会议的召开，我国人工神经网络的研究和应用条件逐步改善，得到了国际的.关注。

人工神经网络继电保护原理分析第6篇

摘要：文章根据现代控制技术的人工神经网络理论提出了一种保护原理构成方案，并分析了原理实现的可行性和技术难点。

关键词：神经网络；继电保护；模糊逻辑

中图分类号：TM773文献标识码：A文章编号：1006-8937（2011）22-0029-01

人工神经网络（Aartificial Neural Network，下简称ANN）是模拟生物神经元的结构而提出的一种信息处理方法。早在1943年，已由心理学家Warren S.Mcculloch和数学家Walth H.Pitts提出神经元数学模型。ANN之所以受到人们的普遍关注，是由于它具有本质的非线形特征、并行处理能力、强鲁棒性以及自组织自学习的能力。其中研究得最为成熟的是误差的反传模型算法（BP算法，Back Propagation），它的网络结构及算法直观、简单，在工业领域中应用较多。

1人工神经网络理论概述

经训练的ANN适用于利用分析振动数据对机器进行监控和故障检测，预测某些部件的疲劳寿命。非线形神经网络补偿和鲁棒控制综合方法的应用（其鲁棒控制利用了变结构控制或滑动模控制），在实时工业控制执行程序中较为有效。人工神经网络（ANN）和模糊逻辑（Fuzzy Logic）的综合，实现了电动机故障检测的启发式推理。对非线形问题，可通过ANN的BP算法学习正常运行例子调整内部权值来准确求解。因此，对于电力系统这个存在着大量非线性的复杂大系统来讲，ANN理论在电力系统中的应用具有很大的潜力。

BP算法是一种监控学习技巧，它通过比较输出单元的真实输出和希望值之间的差别，调整网络路径的权值，以使下一次在相同的输入下，网络的输出接近于希望值。BP算法的神经网络图形，设网络的输入模块为p，令其作用下网络输出单元j的输出为Opj。如果输出的希望值是Tpj，则其误差为Dpj=Tpj-Opj。若输入模块的第i个单元输入为Ipi，则就输入模块p而言，输入接点I与输出接点j之间的权值变化量为：ΔWpji=zDpjIpi，式中，z是某一个常数。当反复迭代该式时，便可使实际值收敛于目标值。其中隐含层既有输入网线，又有输出网线，每一个箭头都有一定的权值。

2人工神经网络的基本特征

人工神经网络具有四个基本特征：其一，非线性。非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。其二，非局限性。一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。其三，非常定性。人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。其四，非凸性。一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。例如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。

3神经网络型继电保护

神经网络理论的保护装置，可判别更复杂的模式，其因果关系是更复杂的、非线性的、模糊的、动态的和非平稳随机的。它是神经网络（ANN）与专家系统（ES）融为一体的神经网络专家系统，其中，ANN是数值的、联想的、自组织的、仿生的方式，ES是认知的和启发式的。装置可直接取线路及其周边的模拟量、数字量，经模式特征变换输入给神经网络，专家系统对运行过程控制和训练，按最优方式收集数据或由分析过程再收集控制，对输出结果进行评估，判别其正确性、一致性，做出最终判决，经变换输出，去执行机构。即使是新型保护，也会存在着某些功能模块不正确动作的可能，这时可以过后人为干预扩展专家系统数据库或由专家系统做出判别，作为训练样本训练ANN的这部分功能模块，改变其某些网线的权值，以使下次相同情况下减少不正确动作的可能。

下面是一个简单的ANN线路保护例子。当电力系统故障时，输电线路各相、各序电压、电流也随之发生变化，特别是故障后故障相的相电压和相电流，以及接地系统在接地故障的零序电流的变化有明显的代表性。比如选输入层神经元个数为14个，分别是Uar，Uai，Ubr，Ubi，UcrUci，Iai，Ibr，Ibi，Icr，Ici，Ior，Ioi（下标r和i分别代表实部与虚部），选定输出层神经元个数为5个：YA（A相），YB（B相），YC（C相），YO（接地），YF（方向），各输出值为1，代表选中；输出值为0，代表没选中（YF为0代表反向）。这5个输出完全满足线路方向保护的需求（没考虑正向超越），隐含层神经元数目为2N+1（N为输入层神经元数目）。训练样本集包含14个输入变量和5个输出变量，而测试样本集中的样本则只有14个输入变量。

在正常状态下，令h∠δ=（EM）/（EN），h=1，δ随负荷变化，取为－60°，－50°，－40°，－30°，－20°，－10°，0°，10°，20°，30°，40°，50°，60°，有13个样本。故障情况下，δ取值为－60°，－30°，0°，30°，60°，故障点选反向出口（－0 km），正向出口（+0 km），线路中部（150 km），线末（300 km）。接地电阻Rg取值0 Ω，50 Ω，100 Ω，150 Ω，200 Ω，相间电阻Rp取值0 Ω，25 Ω，50 Ω，则共有5×4×（5+3+5×3+3）=520个样本。每个样本的5个输出都有一组期望的输出值，以此作为训练样本。而实际运行、故障时，保护所测到的电流、电压极少直接与样本相同，此时就需要用到模糊理论，规定某个输出节点。如YA（A相）在某一取值范围时，则被选中。

4结论

本文基于现代控制技术提出了人工神经网络理论的保护构想。我认为全波数据窗建立的神经网络在准确性方面优于利用半波数据窗建立的神经网络，反应速度比纯数字计算软件快几十倍以上，这样，在相同的动作时间下，可以大大提高保护运算次数，以实现在时间上即次数上提高冗余度。

一套完整的ANN保护是需要有很多输入量的，如果对某套保护来说，区内、区外故障时其输入信号几乎相同，则很难以此作为训练样本训练保护，而每套保护都增多输入量，必然会使保护、二次接线复杂化。变电站综合自动化也许是解决该问题的一个较好方法，各套保护通过总线联网，交换信息，充分利用ANN的并行处理功能，每套保护均对其它线路信息进行加工，以此综合得出动作判据。神经网络的硬件芯片现在仍很昂贵，但技术成熟时，应利用硬件实现现在的软件功能。

参考文献：

[1] Robert E.Uhrig.Application of Artificial Neural Networks in Industrial Technology[J].IEEE Trans,1994,10(3):371-377.

人工神经元网络遥感图像的恢复第7篇

1 人工神经元网络原理

人工神经元网络或简称神经网络, 是人们在对人脑思维研究的基础上, 用数学方法将其简化、抽象并模拟, 能反映人脑基本功能特性的一种并行分布处理连接网络模型。神经元网络处理信息的思想方法同传统的冯·诺曼计算机所用的思维方法是完全不同的。它的存储方式不同。一个信息不是放在一个地方, 而是分布在不同的位置。网络的某一地方也不只存储一个信息, 它的信息是分布存储的。这种存储方式决定了神经元网络进行信息处理的方法不同于冯·诺曼计算机完全根据逻辑规则运算的处理方法。神经元网络中的每一个神经元都是一个信息处理单元, 它可根据接收到的信息独立运算, 然后把结果传输出去, 这是一个并行处理。

2 人工神经网络的特点

人工神经网络在结构上并行处理、分布式存储, 因此运算速度快, 具有较理想的容错性;同时ARM/ANN/BP网络/人工神经网络还具有自学习、自组织、自适应能力。它是由大量的神经元广泛互联而成的系统, 这个结构特点决定着人工神经网络具有高速信息处理的能力。

人工神经网络的知识存储容量很大。在神经网络中, 知识与信息的存储表现为神经元之间分布式的物理联系。它分散地表示和存储于整个网络内的各神经元及其连线上。每个神经元及其连线只表示一部分信息, 而不是一个完整的具体概念。只有通过各神经元的分布式综合效果才能表达出特定的概念和知识。

3 人工神经网络的基本功能

3.1 联想记忆

可以从不完整的信息和噪声干扰中恢复原始的完整信息, 并对从未遇到过的新情况能根据以往的经验作出合理的分析和判断。这一能力使其在图像复原、图像和语音处理、模式识别、分类等方面具有巨大的应用价值。

3.2 非线性映射

可以用独特的方式对很复杂的非线性问题作分析、归纳和表述, 并作出合适的处理。

3.3 分类与识别

神经网络可以很好地解决对非线性曲面的逼近, 可以以任意精度逼近任意曲线, 因此比传统的分类器具有更好的分类与识别能力。

3.4 优化计算

神经网络经过动态演变过程达到稳定状态时, 对应的能量函数最小, 从而其稳定状态就是问题的最优解。

3.5 知识处理

主要优点是能够自适应样本数据。当数据中有噪声、形变和非线性时, 它能够正常地工作。

4 BP网络原理

误差逆传播神经网络, 简称BP (Back Propagation) 网络, 是应用最广的一种人工神经网络。人工神经网络模型可分为三类:前向网络、反馈网络和自组织网络。BP网络属于前向网络, 主要用于函数逼近、模式识别、分类及数据压缩等方面。

4.1 BP神经网络结构

BP神经网络是一种具有三层或三层以上阶层结构的神经网络。层间各种神经元实现权连接, 即下层的每一个单元与上层的每个单元都实现权连接, 而每层各神经元之间不连接。由于BP 神经网络及其算法增设了中间隐含层, 而且有相应的学习规则可循, 使其具有对非线性模式的识别能力;尤其是其数学意义明确、算法步骤分明, 更使其具有广泛的应用前景。一个典型的BP神经网络由三层构成, 输入层、隐含层和输出层。各阶层之间实行权互联方式。

4.2 BP网络是一种单向传播的多层前向网络

它通过大量样本进行有导师学习, 不断减小网络输出与用户要求间的距离, 逼近要求。其学习训练由四个过程组成。

(1) 输入模式由输入层经中间层向输出层的“模式顺传播”过程, 得到了最初网络的输出;

(2) 由网络的期望输出与网络实际输出之差得到的误差信号, 从输出层经中间层向输入层逐渐修正连接权的“误差逆传播”过程;

(3) “模式顺传播”与“误差逆传播”的反复交替进行的网络“记忆训练”过程, 用各样本反复迭代, 不断修正连接权;

(4) 网络趋向收敛, 即网络的全局误差趋向极小值的“学习收敛”过程。

网络收敛后, 就达到用户的要求, 训练过程结束。

可以看出, BP网络的训练过程归结起来为:模式顺传播→误差逆传播→记忆训练→学习收敛。

4.3 BP神经网络训练算法

输入层、隐层和输出层的单元数分别为N、L和M。输入层各神经元输入为I0, I1, …, IN-1;隐层各神经元的输出为M0, M1, …, ML-1;网络实际输出层各神经元输出为O0, O1, …, OM-1;训练样本期望各神经元输出值为E0, E1, …, EM-1;输入单元i到隐层j的权值为Vij, 隐层j到输出单元k的权值为Wjk。

BP网络训练过程具体算法如下:

1) 将权值初始化为 -1.0～1.0之间的随机数;

2) 从样本中提取特征, 取出I0, I1, …, IN-1输入网络, 指定期望输出E0, E1, …, EM-1;

3) 计算隐层输出M0, M1, …, ML-1和网络实际输出O0, O1, …, OM-1;

4) 计算实际输出与期望输出的误差;

5) 调整权值W (n+1) jk=W (n) jk+ηδkMj,

W (n+1) ij=V (n) ij+ηδjIi, 式中η为学习步长, δ为局域梯度;

6) 返回5) , 用所有训练样本反复训练网络, 多次迭代, 直到权值达到稳定。

5 人工神经网络的应用

本文提出了一种有效的神经网络优化算法, 并将该方法应用于卫星遥感图像恢复中。模拟实验结果表明, 所提算法不仅比一般神经网络训练算法收敛快, 而且图像恢复效果好。

5.1 遥感图像退化的模型

我们把卫星遥感成像系统引起的退化过程加以模型化, 用运算符号H来反映系统的退化原因, 令f (x, y) ——未退化的真实图像;g (x, y) ——退化图像;n (x, y) ——具有统计性质的附加噪声。图像退化的模型如图1所示。图1假设系统是线性的, 空间位移不变, 对模型的输入与输出之间可存在下列关系:

g (x, y) =Hf (x, y) +n (x, y) ①

若设n (x, y) =0, 则

g (x, y) =Hf (x, y) ②

令f、g和n分别代表M×N的函数矩阵, f (x, y) 、g (x, y) 和n (x, y) 的各行堆叠而成的MN维列向量, 如

undefined

可写成向量矩阵形式

g=Hf+n ③

式中, H——MN×MN维矩阵, 它包括M个部分, 每一部分的大小为N×N, 排成下列顺序

undefined

每一部分Hj由h (x, y) 的第j行构成如下

undefined

式中, h (x, y) ——周期性函数, Hj——H中的一个分块矩阵, 因此H被称为分块循环矩阵, 其中每个元素都由点扩展函数表示, 又可称它为点扩展函数矩阵。

由③式表达的图像退化模型看, 当给定g, 并对H和n有所了解后, 复原问题就要从③式中估计出f来, 显然这是一个退化过程的逆向计算问题。

求解的问题是已知g (x, y) 、h (x, y) 及n (x, y) 的一些统计性质, 求理想图像f (x, y) 的最佳估计undefined, 使得

undefined

在一定约束条件之下最小。由约束的二次规划得

undefined

式中A——M×N矩阵, b∈RM, c——常数, fi——f的一个元素, L——灰度级函数的最大值。将④式变换整理后可得最优化函数

undefined

式中:λ——常数, C——二阶差分算子, 比较④式和⑤式得

undefined

图像恢复是使⑤式函数极小而求得最佳的f (x, y) 。容易想到, 这个问题可用一个神经网络来表示, 我们可设计该神经网络的能量函数与 (5) 式相同, 这样, 可以训练该网络使之达到平衡态, 即能量极小状态, 此时各个神经元的状态即是所求结果。为此, 我们进一步设想:图像的每个像素的灰度相当于该神经网络中相应在该像素位置的神经元的状态值。这样, 训练结果就相当于我们所求的图像, 按照这个思路, 可得所要求的神经网络。

5.2图像恢复的Hopfield神经网络模型

设图像大小为M×N, 灰度级为L, 根据上面的设想可选定:我们的神经网络有MNL个神经元, 每个神经元的状态为S。若位置为i, 灰度为k的神经元状态可记为si, k (1≤i≤M×N, 1≤k≤L) , 因神经元只取 (0, 1) 值, 所以图像的实际灰度f (m, n) 应表示为

设神经元 (i, k) 与神经元 (j, l) 间的连接强度为Tik, jl, 有对称性

并且神经元也具有自反馈性, 即Tik, jk≠0。

在网络模型中, 每个神经元的输入为

其中Iik为自偏置。相应的tik的状态为

神经网络模型达到稳定状态的能量函数为

将12式与 (4) 式比较可得

其中ai、j和bi分别表示矩阵a和b的元素。可以看出, Tik, jl和Ii, k完全可以由图像恢复模型决定, 这就建立了退化图像模型与神经网络连接强度T与自偏置的关系实际上, 我们以这样的T和I构造Hopfield网。训练网络, 改变S状态, 直到12式E为极小为止, 可得S=f∧灰度值, 从而得到恢复的图像。

6实验分析

神经元网络第8篇

莱钢大H生产线由4 架轧机组成, 包括1 架二辊可逆开坯机 (BD) 、1 组万能串列精轧机组、1 架轧边机E (Edger) 和1 架万能精轧机UF (Universal Finisher) , 采用X-H轧制方法。轧制过程中, 由于受到各种因素的影响, 往往产生诸如腹板偏心、波浪以及翼缘长度超差等致命缺陷, 导致产品的成材率降低。

厚度控制系统是一个多变量的复杂系统, 难以建立对象精确的数学模型, 将神经元网络智能方法引入研究, 具有更好的快速性、更强的适应能力、更高的精度。

2 控制系统的构成

莱钢大H生产线共有15 套PLC控制系统、35 台监控站, 采用SIEMENS公司的PCS7 控制系统, 控制器选用S7-400/ET200, 变频器、编码器以Profibus方式与控制器通信, 通过两级计算机网络系统实现对各子系统工艺生产线的自动控制、全面监控。

轧机数学模型如图1 所示, 其决定了轧机辊缝、轧制力、弯辊力、轧制速度、轧制力矩、冷却温度等参数之间的关系, 在实际控制过程中, 对参数适时、适量地调整及补偿, 可以减小偏差, 提高控制精度。

3 基于BP网络的参数修正

为了补偿轧制过程数学模型的学习残差以及使板厚偏差达到最小, 引入神经元网络, 根据精轧各机架压力与测厚仪测量的偏差, 对精轧机架进行负荷的再分配, 用训练好的神经元网络预报轧制力参数并进行修正, 实现快速监控。

3.1 BP网络的数学模型

目前大部分的轧制速度信号只能在板材通过机架或机架咬钢后才能获得, 加上测量信号存在误差以及信号传输滞后等原因, 会导致轧制误差。 BP网络的数学模型是在现有模型的基础上进行改进, 以提高产品厚度精度。

3.2 BP网络的控制策略

过程自动化系统级利用神经元网络进行轧机的高精度预设定。过程控制的任务是预计算, 即在下一块型钢进入轧机之前精确地设定轧机执行的参数, 以保证获得高精度的轧制产品。预计算的基础是许多相关的数学模型或算法模型。

控制策略是将神经元和传统的数学模型组合使用, 其优点为:

(1) 对于与实际偏离很大的输入值, 具有更强的容错能力。

(2) 采用数学模型和神经元网络结合的方法, 比单纯使用数学模型或神经元网络具有更高的预测精度。

修正网络和数学模型的结合如图2 所示。修正网络和数学模型平行配置, 数学模型尽可能精确地计算目标值YM, 而神经元网络则确定数学模型计算中的误差YN, 综合两个结果科得出一个更合理、更精确的目标值Ya。

3.3 快速监控功能

快速监控功能的主要内容, 是根据来料情况、产品要求、轧制过程中各机架轧制力和测厚仪偏差确定各架轧机的辊缝调整量和速度调整量, 即重新确定各架轧机的压下、速度和温度制度。

精轧机组各架压下量的分配原则:充分利用高温的有利条件, 把压下量尽量集中在前几架, 对于后几架轧机, 为了保证板形、厚度精度和表面质量, 压下量逐渐减小。分配压下量时, 第1 架可留有适当余地, 考虑到板坯厚度的波动和可能出现咬入困难等, 可使压下量略小于允许的最大压下量; 第2、3 架应充分利用设备能力, 尽可能分配较大的压下量;以后各架, 随着轧件温度降低, 变形抗力增大, 压下量应逐渐减小。

3.4 样本数据处理

若样本数据本身带有误差和干扰, 将造成如下影响:

(1) 训练期间, 非法数据带来大的训练误差, 使网络不能收敛到理想误差。

(2) 预测阶段, 网络能够收敛, 但网络不能反映轧制参数变化的内在规律, 预测误差较大。

(3) 预测阶段, 即使网络按正常样本完成训练, 但以非法数据作为输入进行预测时, 也会出现较大的输出误差。

因此, 应对数据进行预处理:

(1) 对突发阶段扰动或明显异常的数据进行剔除。

(2) 对某个阶段内的异常数据, 由有经验的工作人员对比正常情况加以修正。

3.5 仿真分析

BP网络模型的计算过程, 采用了动量法和学习率自适应调整两种策略。动量常数定义在0 到1 之间, 指定了所使用的动量大小, 动量常数为0 时, 权值的变化由梯度决定;动量常数为1 时, 权值的变化仅等于上次权值的变化。程序设置了最大误差比率, 若超过了最大误差比率, 则舍弃新的权值, 并暂时不使用动量项。学习率自适应调整则是先给出一个初值, 然后利用乘法使之增加或减少, 以提高学习速度和算法的稳定性。

4 实际效果

利用BP神经网络对轧制厚度模型进行修正, 提高了控制精度, 成材率可达97%~98%。

参考文献

[1]丁修堃.轧制过程自动化[M].北京:冶金工业出版社, 2005

[2]葛宝明.先进控制理论及其应用[M].北京:机械工业出版社, 2007

神经元网络第9篇

对于给定刺激, 建立神经元响应与刺激之间的模型已有多种建模方法, 20世纪90年代, Olshausen和Field提出了稀疏编码模型, 对V1区简单细胞感受野进行建模[1]。目前, 其研究成果已成功地应用于图像合成、特征提取、图像恢复等方面。Bell、Hateren、Hyvarinen等人通过独立分量分析 (ICA) 方法, 得到了与稀疏编码相类似的结果[2—4]。近年来, 随着技术手段和认知水平的提高, 人们对视觉系统的处理机制有了更加深入的了解, 发现视皮层神经元的发放活动由多重因素共同影响[5], 且大多采用非线性的信息处理方式[6]。D.C.Knill等人提出了贝叶斯编码假说, 认为贝叶斯推断是通过神经元发放序列重构外部刺激的基本法则之一[7]。Pillow等利用广义线性模型 (GLM) 对视网膜神经节细胞进行建模, 预测了单个神经节细胞的刺激响应发放序列[8];Calabrese等人对GLM进行改进, 将神经元发放历史对神经元发放的影响加入模型, 在刺激滤波器后加入神经元发放历史滤波器, 预测了听觉神经元的刺激响应序列[9]。然而, 以上研究均未考虑神经元之间的耦合作用。Park和Pillow建立了基于线性-非线性-泊松 (LNP) 模型的神经元发放模型, 模型中考虑了神经元之间的耦合作用, 并用猕猴初级视觉皮层胞外记录的神经元发放数据对模型正确性进行了验证[10]。然而, 该模型计算了所有神经元之间的耦合作用, 与生物神经系统高效的信息处理机制不相符合。生物学研究表明, 生物神经系统具有高效的信息传递能力, 神经元间的连接结构具有小世界网络的特征[11—13]。

针对以上问题, 提出了一种改进的LNP模型的神经元发放模型, 模型包含三个模块:刺激调制模块, 发放历史影响模块和集群活动整合模块。刺激滤波器选择为稀疏编码模型训练的基函数, 与传统方法相比更加符合视觉神经系统的生理特性;在构建集群活动整合模块时, 考虑大脑的高效信息处理机制, 引入小世界网络建立神经元间的连接结构。最后, 利用该模型对Long Evans (LE) 大鼠V1区神经元进行建模, 对重复光栅刺激及单次刺激下的神经元响应进行预测, 验证模型的有效性和正确性。

1 初级视皮层神经元发放模型的构建

生物学研究表明, 神经元发放活动主要受三个因素的共同影响———外部刺激信息的调制作用 (如刺激或行为) 、神经元自身发放历史的影响和邻近耦合神经集群发放活动的影响[14]。基于该理论框架, 提出了一个新的神经元发放模型, 模型的总体框架如图1所示。

模型包含三个模块:刺激调制模块、发放历史影响模块和集群活动整合模块。其中, 刺激调制模块表征外部信号的协同作用, 表示为刺激滤波器A与输入图像之积, 记为AX;发放历史影响模块表征神经元自身发放历史的影响, 表示为神经元自身发放历史与发放历史滤波器h之积, 记为h Yi;集群活动整合模块表征并发的集群活动的影响, 表示为邻近神经元耦合滤波器O与耦合强度p之积, 记为∑pi Oi;三个模块加权求和后取幂值, 得到神经元的发放序列Y, 即

式 (1) 中, i, j, k为加权系数, X为输入刺激图像, Yi为神经元发放历史序列。

刺激滤波器A选择为稀疏编码模型训练的基函数;考虑到皮层神经元的连接具有小世界网络特征, 在构建集群活动整合模块时, 将神经元的耦合滤波器O乘以经小世界网络模型优化的连接系数E, 对模型神经元的连接结构进行优化。

1.1 刺激调制模块

研究表明, 初级视觉皮层的视觉处理过程受到环境统计特性的影响[15]。稀疏编码模型从自然图像中训练得到基函数, 所得基函数反映了自然图像的统计特性, 且具有简单细胞感受野的特征。

在视觉系统进行信息处理的过程中, 感受野被看作是一组滤波器, 自然图像可表示为一组基函数滤波器的线性叠加, 即

式 (2) 中X为自然图像, A为线性的基函数, S为神经元的响应。

生理学研究表明神经元的响应S具有稀疏响应的特性[16], 即同时被激活的神经元数尽可能地少。定义一个稀疏代价函数衡量响应的稀疏度

f为非线性函数

同时定义一个函数项以衡量重构误差

两项求和得到稀疏编码模型的目标函数为

使用梯度下降法寻找目标函数的最优解实现对基函数阵A的学习。学习得到的基函数 (局部) 如图2 (a) 所示。

为了更清晰地表征基函数的各项特征, 对训练后的基函数做进一步的处理。使用与兴奋区具有相同二阶统计量的椭圆来近似兴奋区形状 (如图2 (b) 所示) , 近似的椭圆公式为

式 (7) 中近似椭圆长轴与横坐标的夹角θ表示基函数的朝向特征, 椭圆的中心位置W (x0, y0) 表示基函数的位置特征, 椭圆面积F表示频率特征。

计算电生理实验测得感受野特征与基函数特征之间的误差值

取误差最小的基函数构成刺激滤波器, 匹配得到的基函数 (局部) 如图2 (c) 所示。

选择的基函数构成刺激滤波器A, 与输入图像X之积构成刺激耦合模块, 表示为

1.2 发放历史影响模块的构建

神经元响应后, 会在短暂的时间 (3~5 ms) 内形成不应期, 以防止过快的连续响应[17]。依据神经细胞的这种机制, 以神经细胞的不应期表征神经元自身发放历史的影响, 并以此构建模型的发放历史影响模块。

发放历史滤波器选择为时延函数h, 由凸的余弦分量表示, 其表达式为

神经元的不应期用神经元的发放历史序列Y与时延函数h之积来表征。因此, 模型发放历史影响模块的数学表达式为

1.3 集群活动整合模块的构建

1.3.1 模型神经元的连接结构

生物学研究表明, 脑皮层神经元节点的连接方式满足小世界网络的结构特征。因此, 在考虑神经元之间的耦合作用时, 使用小世界网络模型方法建立神经元间的连接结构。

在模型中引入小世界网络之前, 首先要定义神经元之间的距离。这里将基函数特征向量之间的欧式距离近似定义为神经元之间的距离, 距离计算公式为

式 (12) 中, N (·) 是归一化函数, 它把函数值映射到[0, 1]之间。

依据式 (12) 计算出节1.1中选则的基函数之间的距离, 并依据该距离对神经元进行标号排序。用小世界网络模型方法建立排序后的神经元之间的连接结构, 这里使用WS小世界网络模型, 得到模型神经元连接系数矩阵E, 重连后的神经元连接结构如图3所示。

连接系数矩阵E为n×n维二值矩阵 (n为神经元个数) , 矩阵元素值为0或1;E (i, j) =0表示神经元i与神经元j无连接 (即无耦合作用) , 反之, 则表示有连接 (即有耦合作用) 。

1.3.2 模型神经元之间的耦合作用

模型中神经元j对神经元i发放率的影响由两个神经元历史发放序列之间的相互作用O与耦合强度p之积来表征, 计算公式如下。

式 (13) 中, p (i, j) 为n×n维 (n为神经元个数) 耦合强度矩阵, 矩阵中的参数由响应数据拟合得到;Yi和Yj分别为神经元i和神经元j的发放历史序列;t为迭代步, 取Δt=1;{·}表示求t步内的平均值, 拟合模型参数时, 取10步内的平均值。

将神经元间的耦合作用求和后, 乘以小世界网络优化得到的连接系数矩阵E, 得到集群活动整合模块的数学表达式为

2 模型的验证方法

2.1 电生理实验

实验采用健康的成年雄性LE大鼠, 体重200~300 g。术前腹腔注射10%的水合氯醛 (4 m L/kg) 进行完全麻醉, 术中持续补注水合氯醛 (2 m L·kg-1·h-1) 以维持大鼠的麻醉状态。将大鼠头部固定于立体定位仪, 剃去头部毛发, 切开头部皮肤, 暴露颅骨, 实施开颅手术。根据脑图谱在V1区对应位置开一个2 mm×5 mm的长方孔, 操纵微型操作器将Microprobes铂铱合金微电极阵列植入大鼠的初级视觉皮层。电极阵列为2×8排列, 电极间距250μm。手术结束后, 将大鼠眼睛遮蔽休息半小时左右后再进行视觉刺激, 刺激图像为12个朝向的全屏光栅, 光栅刺激仅朝向发生改变, 空间频率保持不变, 使用Cerebus TM数据采集系统采集大鼠V1区神经元信号。

2.2 模型参数的获取

采集到的生物信号将首先用于模型基函数的选取。从在稀疏编码研究领域被广泛采用的自然图像集 (自然图像集来源网站:http://www.cis.hut.fi/projects/ica/data/images) 中选择10幅自然图像, 从自然图像中随机抽取16×16像素的图像块, 经过白化处理后, 作为稀疏编码模型的输入, 经过10 000步迭代运算后, 得到256个训练过的基函数。利用节1.1中的方法, 将这些基函数与实验记录到的12个神经元的感受野特性征相匹配, 选出匹配度最高的12个基函数。

然后, 选择的12个基函数依据式 (12) 计算距离, 排序后通过WS小世界网络模型得到神经元的连接系数矩阵E。依据节1.1~节1.3的内容构建模型的各个模块, 加权求和后得到完整模型。神经生理实验测得的实际数据为模型神经元发放历史Yi提供初始值。

模型的训练数据从神经生理实验获得的响应数据中随机抽取, 采用交叉互验证法训练和验证模型。随机抽取80%的实验数据用以训练模型参数, 20%的数据用以验证模型的准确性。采用极大似然估计法估计模型参数, 迭代至收敛。

2.3 模型的性能评价

为了验证模型的性能, 首先利用模型预测重复光栅刺激下神经元的发放序列。本文中的模型与传统模型相比主要做了两点改进, 分别为刺激滤波器的改进和神经元连接结构的优化。为了研究两个改进对模型性能的影响, 共设置了三组实验:第一组实验的设置为了研究刺激滤波器的改进对模型的影响, 将刺激滤波器的选择作为变量, 实验组模型采用稀疏编码训练的基函数作为刺激滤波器, 对照组选为生理数据拟合的Gabor滤波器, 神经元之间的连接均设置为全连接方式;第二组实验中变量为神经元的连接结构, 模型的刺激滤波器为Gabor滤波器, 实验组模型引入小世界网络优化神经元连接结构, 对照组模型设置为全连接;第三组实验用既改进刺激滤波器又引入小世界网络优化结构的模型与传统模型进行对比。

为了进一步测试模型性能, 利用模型预测单次刺激下神经元和神经元集群的响应发放率。

为了量化模型性能, 引入Pillow和Paninski提出的方法[18], 计算模型捕获PSTH方差的百分比, 计算公式为

引入相关系数与均方误差衡量预测序列与实测数据间的相关程度和预测精度, 计算公式分别为

神经元网络第10篇

然而,泛函网络同神经网络一样,其结构设计是一个复杂问题,其复杂性重要表现在三个方面:第一,采用什么类型的泛函网络结构和基函数簇,往往由人类专家根据经验知识做出判断;第二,泛函网络的结构和泛函参数的确定,这一点往往很难由人工确定;第三,在网络结构确定的基础上,同样存在局部极小问题。目前,也有一些用遗传规划[4]来解决以上问题,并取得了很好的成果。但是基函数簇如何选取,理论上至今还没有给出一个通用的设计方法,基函数簇选取的好坏直接影响着泛函网络的逼近性能,如何避免因基函数簇样本选取不足而导致泛函网络的逼近误差过大或过多而导致过配问题。文章提出熵的聚类思想来解决这问题提供了一条新的更有潜力的途径。熵聚类的思想最大的特点是对输入数据进行分析,根据每个点的熵值进行归类。利用熵聚类得出泛函网络中基函数集中函数的个数,如选择径向基函数作为基函数集的话,通过熵聚类不仅能找出基函数个数还能确定其中心值。

基于此,文中将熵聚类思想与泛函网络结合,把泛函网络看成是结构和参数的优化搜索过程,对泛函网络结构和泛函参数共存且相互影响进行最优搜索实现泛函网路结构和泛函参数的共同学习,提出一种基于熵聚类的泛函网络方法。为了更能体现出熵聚类的优越性,文章将采用径向基函数来作为基函数集。可以通过熵聚类来确定中心的位置。最后仿真实验证明,利用熵聚类确定网络的结构及大小,最终改善了泛函网络的性能。

1 基于熵聚类的泛函网络设计方法

1.1 泛函网络模型

一般地泛函网络[1]由以下元素组成:1)输入单入层:这是输入数据的一层单元,输入单元以带有相应名字的实心圆来表示;2)输出单元层:这是最后一层单元,它输出网络的结果是数据。输出单元也是带有相应的名字来表示。3)一层或是多层神经元:每一个神经元是一个计算单元,它计算的是一组神经元或输出单元提供数据。神经单元相互连接,没一个神经元的输出可作为另一个神经元活输出单元输入数据的一部分,一旦给定输入值,输出便由神经元的类型来确定,它由一函数定义。例如,假如有一个神经元具有S个输入(x1,x2,....,xs)及k个函数fj,j=1,2,...,k,使得yj=fj(x1,x2,...,xs);j=1,2,...,k.函数fj又网络的结构来确定,神经元由带有相应fj函数的名称用圆圈来表示;(4)有向连接线;他们将输入层、中间层、输出单元层连接起来,箭头表示信息流向,所有这些元素一起形成了泛函网络的结构,它确定了网络的泛函能力。

图1给出了一简单的泛函网络结构以及与它对应的神经网络结构图2。

图1中输入模式是{x1,x2,x3},神经元函数fj,j=1,2,3;输出x6。其中最重要的是神经元函数fj的选择。根据Castillo的做法是将每一个神经元函数fj表示成一些已知基函数簇的线性组合的形式,如多项式、三角函数、Fourier展开级数等。至于与神经网络区别,本文不再赘述,请参考文献[3]。

1.2 基于熵聚类的泛函网络设计方法

与神经网络一样,泛函数网络也有各种各样的结构。我们不可能用一个统一的通用的结构来描述所有的泛函网络,也不可能用一个统一的泛函方程来表示所有的泛函网络。我们只能选取其中的具体的某种网络结构来介绍。目前,在泛函网络中应用最广泛的是可分离的泛函网络。如图3所示:

从以上图可以看出,逼近能力的好坏完全取决于神经元函数的正确选择,据Castillo的做法是根据问题所蕴含的“先验知识”采取一定简化假设选取一些基函数簇,将每一神经元函数fj表示成一些已知基函数簇的线性组合的形式,再由最小二乘法等回归技术确定其中的泛函参数,通过对比选择其中最好的一个作为最终结果。

函数fj由泛函网络结构确定,泛函网络结构优化过程只对基函数和变量进行操作,无需考虑泛函网络参数的影响。先利用熵聚类的思想对输入数据进行分析,找出聚类的中心,中心的个数相当于基函数的个数。如果选择的径向基函数,聚类中心就为径向基函数的中心。

1.3 熵聚类算法选择RBF中心

该思想基于信息熵理论的基本原理:越是有序排列的数据(如有聚类特征的数据),熵越小;越是无序的、混沌的数据,熵越大。

设M维空间的N个输入数据点X=(x1x2…xN),熵聚类算法将输入数据中的每个点xi的熵Ei表示如下:

其中:i=1,2,…,N;Sij是表示两点xi和xj的相近度。它的定义如下:

其中:Dij表示xi和xj的欧几里德距离;α表示指数函数的曲率。

函数Sijlog2Sij+(1-Sij)log2(1-Sij),其中0≤Sij≤1,在Sij=0.5处取得极大值1,而Sij→0或Sij→1,函数均趋于极小值0,由此估算曲率参数表示数据点间的平均距离[5]。因此,和某些数据点距离很近和很远的数据点对该点的熵贡献极小,而和该点距离接近平均距离的点对该点的熵贡献很大。由以上分析可知,熵值越小的数据点,越是分布在密集的中心区域,越有较高的概率成为聚类中心;熵值越大的数据点,越是分布在稀疏的区域,越有较低的概率成为聚类的中心。然而,对于远离中心区域的孤立点也具有极小的熵值,显然这些点不应成为聚类中心,应该拒绝接受它为聚类中心,算法对这些点进行了处理。该算法描述如下:

熵聚类算法:

1)设M维空间的N个输入数据点X=(x1,x2,…xN),计算各数据点xi的熵Ei,并设循环控制变量m=1;

2)选择第m个聚类中心xcm,满足:(选含最小熵值的点作为聚类中心);

3)计算X中与xcm的相近度大于β的数据点集Xm;

4)考虑到远离聚类中心的孤立点也拥有极小的熵值,或者在X中除去一些数据后,剩余的分布在分散区域的零散点都不适合做聚类中心.设阈值γ=0.05N,N表示数据点的总数.若Xm中的数据点大于γ,则接受xcm为聚类中心.从X中去除Xm:X=X-Xm,转6);

5)若Xm中的数据点数不大于γ,则拒绝接受xcm为聚类中心.为加快算法收敛速度,标志Xm中的点数不在作为聚类中心的候选点;

6)若X中的聚类中心候选点数不大于γ,结束;否则,m=m+1,转2)。

将训练样本的数据应用上述聚类算法,将会得到数据的聚类中心的个数和初始值。如果将图3中的Φi取为G‖x-ci‖∈{G(‖x-c1‖),G(‖x-c2‖),G(‖x-c3‖),…},通过此算法就确定了ci的值。

基函数的个数已经确定,根据图3的泛函网络结构可构造其能量函数。

其中,u=xj+1-xj,yj=y(xo+ju),j=1,2,…,n-k.a1,a2,…,ak+m是常数。ej+k是在xj+k处的逼近误差。{Φi}={G(‖x-c1‖),G(‖x-c2‖),G(‖x-c3‖),…},其中ci由熵聚类算法来确定它的个数和值,。其中dmax为所选取中心之间的最大距离。对Q求导可得:

构造学习算法如下:

2 计算机仿真实验

考察已知函数的逼近性能,其曲线形式图4。我们仍采用图3的泛函网络结构,基函数集F={Φi(x)i=1,2,3,},其中Φi定义为{G(‖x-c1‖),G(‖x-c2‖),G(‖x-c3‖),…}。x在[0,5]之间通过随机选取或是均匀选取100个样本点作为训练样本。学习率α,β取为0.001,通过熵聚类算法,得到神经元基函数的个数和初值。再人工规定F={fj},j个数和径向基函数的中心。两种算法都用fig.3的泛函网络结构来训练,其训练结果如表1所示。在[0.5]上以0.1为间隔取50个点做测试样本对训练好的网络进行测试,其测试结果如表2所示:

从表中可以看出,利用熵聚类的思想设计泛函网络,对网络结构和泛函参数共存且相互影响进行最优搜索实现泛函网络结构和泛函参数的共同学习,有效地提高了泛函网络的收敛精度。

3 结论

文中把泛函网络看作是结构和泛函参数的优化搜索过程,利用熵聚类的思想设计泛函网络,对网络结构和泛函参数共存且相互影响进行最优搜索实现泛函网络结构和泛函参数的共同学习,有效地提高了泛函网络的收敛精度,并且可获得更为合理的网络结构。

摘要：泛函网络是神经网络的一般化推广,同神经网络一样,至今还没有系统设计方法能够对给定问题设计出近似最优的结构。鉴于此,利用熵聚类的思想来设计泛函网络,对网络每一神经元的基函数和泛函参数共存且相互影响的最优搜索来实现泛函网络结构和泛函参数的共同学习。提出一基于熵聚类思想来设计泛函网络的方法,有效地提高了泛函网络的收敛精度,并可获得更为合理的网络结构。

关键词：泛函网络,熵聚类,神经元函数

参考文献

[1]Castillo E.Functional Networks[J].Neural Processing Letters,1998,7:151-159

[2]Castillo E,Cobo A,Cutierrez J M.Functional Networks with Applications[M].Kluwer Academic Publishers,1999

[3]Iglesias A,Arcay B,Cotos J M,et al.A comparison between functional networks and artificial neural networks for the prediction of fishingcatches[J].Neural computer&applied,2004,13:24-31.

[4]Zhou Yongquan,Wang Dongdong,Zhang Ming.Proceedings of the 6th World Congress on Intelligent Controland Automation[C].2006:21-23.

神经元网络第11篇

本文将自适应单神经元控制器与Smith预估器相结合的方法应用于主动队列管理,利用神经元的自学习、自适应能力,以及不需要对被控对象进行精确辨识的特点,弥补Smith预估器的不足,实现对大纯滞后对象的有效控制。

1 基于单神经元-Smith的AQM控制机制

1.1 设计目标

本控制器的设计目标是基于单神经元-Smith设计一个AQM控制器来稳定路由中的缓存队列,使队列长度稳定在目标值附近,从而大大提高链路的利用率,减小分组丢失,保证业务流的Qo S。于是将单神经元控制器和Smith预估控制相结合构成单神经元-Smith控制,如图1所示。本文控制对象采用TCP/AQM拥塞控制模型。

图1所示系统中,被控变量是队列长度q(t),0q代表目标队列长度,被控对象代表TCP源端、路由以及其它子系统的组合。图1中e-0R s代表纯滞后时间,1G(s)为发送窗口的传递函数,G2(s)为缓冲器队列长度的传递函数,(1-e-R0 s)G 1(s)G 2(s)表示Smith补偿函数。

通过适当的变化,图1所示的控制系统结构图可以等效为图2的控制系统结构图。从图2可以看到,Smith预估系统最大的优点是将时滞环节移到了闭环控制系统以外,使控制品质得到很大提高。

1.2 单神经元控制器的设计

单神经元作为构成神经网络的基本单位,具有自适应能力,而且结构简单易于计算。而PID控制器的参数整定与工程指标联系密切,若将这两者结合,则可以在一定程度上解决PID控制器参数不易在线实时整定、难于对一些复杂过程和参数时变系统进行有效控制的不足。基于此本文应用单神经元自适应PID控制器进行主动队列管理。

单神经元自适应PID控制器结构框图如图3所示。

图中转换器的输入为期望的输出值r(k)和输出y(k);转换器的输出为神经元学习控制所需要的状态量1x、2x、3x。这里:

z(k)=x1(k)=y(k)-r(k)=e(k)为性能指标,k为神经元的比例系数,k>0。神经元通过关联搜索来产生控制信号,即,式中的iω(k)为对应于ix(k)的加权系数。

单神经元自适应控制器是通过对加权系数的调整来实现自适应、自组织功能,权系数调整是按有监督的Hebb学习规则实现的。单神经元学习算法为:

式中,z(k)=e(k)。

ηI,ηP,ηD分别为积分、比例、微分的学习速率,对积分I、比例P和微分D分别采用了不同的学习速率ηI,ηP,ηD,以便对不同的权系数分别进行调整。

而在大量的实际应用中,通过实践表明,PID参数的在线学习修正主要与e(k)和Δe(k)有关。基于此可将单神经元自适应PID控制算法中的加权系数学习修正部分进行修改,即将其中的ix(k)改为e(k)+Δe(k),改进后的算法如下:

式中,Δe(k)=e(k)-e(k-1),z(k)=e(k)。

采用上述改进算法后,权系数的在线修正就不完全是根据神经网络学习原理,而是参考实际经验制定的。

算法中,k值的选择非常重要。k值越大,则快速性越好,但超调量大,甚至可能使系统不稳定。当被控对象时延增大时,k值必须减少,以保证系统稳定。k值选择过小,会使系统快速性变差。由于k值选取具有此重要的作用,故采用非线性变换在线修正的方法,使其具有自适应的特性。

此时k为的初始(稳态)值;λ为调整系数,一般取k值的十分之一。

这样,当偏差较大时,K(k)也较大,iω(k+1)增大,加快响应速度;反之,K(k)近似为k,减小超调量。而k的在线调整削弱了ηi对控制特性不利影响的一面,只需对学习速率进行趋向正确的粗选即可。

2 实验验证与分析

本文在MATLAB平台上采用文献[1]的网络拓扑结构进行仿真实验,瓶颈链路位于节点A和节点B之间,链路容量为15Mbps(3750packets/s,分组缺省大小为500bytes),所有业务源均为TCP业务源,除节点A的队列采用AQM算法以外,其余队列均为Drop Tail,实验中所有节点缓存大小为200packets,参考队列长度q0=50packets。

实验中将单神经元-Smith主动队列管理控制器分别与未考虑延时补偿的传统PID控制器以及考虑延时补偿的DC-AQM算法进行比较。

网络延时的构成包括传播延时与排队等待延时,为了验证主动队列管理算法在大时延网络中的控制性能(响应速度、稳态误差、适应性等),在固定其他网络参数的条件下,RTT取值400ms,N取值分别为60、80、100、120,然后固定TCP连接数N=60,RTT分别取值为400ms、600ms、800ms、1000ms。

实验以队列长度能否稳定在参考值q0附近为主要观察目标,这是因为主动队列管理的目的就是通过将队列长度稳定在参考值附近,获得较高的吞吐量、低延时和低抖动。图中,横坐标表示时间(s),纵坐标为队列长度(packet)。

2.1 单神经元-Smith主动队列管理算法与PID算法比较

(1)TCP连接数N取值分别为60、80、100、120,此时缓存区的队列等待延时呈逐渐增大的趋势。仿真结果如图4所示,可以发现,随着N的逐渐增大,PID控制器振荡幅度也越来越大,稳定时间越来越长,而单神经元-Smith控制超调量较小,稳定时间较短,仍然能够维持较好的暂态和稳态特性。

(2)固定TCP连接数N=60,RTT分别取值为400ms、600ms、800ms、1000ms,仿真结果如图5所示。随着RTT时间的增大,PID控制器的队列依然表现出剧烈的振荡,这必然造成吞吐量的下降以及丢包率的增加,而针对大延时网络设计的单神经元-Smith控制器依然能使队列维持良好的稳定性。

2.2 将单神经元-Smith控制器算法与其他带延时补偿的主动队列管理算法进行比较

文献[1]使用内模控制设计了具有延时补偿能力的主动队列管理控制器(DC-AQM),丢弃率的表达式为:

其中,

丢弃概率的计算公式为:

在图5(d)和6(d)的仿真环境下,即RTT=1000ms、N=60和RTT=400ms、N=120网络延时较大的极端网络条件下,对DC-AQM算法和单神经元-Smith算法进行仿真对比,结果如图6(a)、(b)所示。

实验中,DC-AQM具有克服延时的作用,没有出现大幅振荡。相比较而言,单神经元-Smith主动队列管理控制器在网络条件变化的初始阶段出现了一定的超调。但可以看出,不论在N=120或RTT=1000ms的大延时网络环境下,DC-AQM都较单神经元-Smith控制算法响应速度慢,非常缓慢的逼近期望队列值50,说明DC-AQM的微分作用强,积分作用弱,在网络环境改变时存在稳态误差,该算法不能适应负载和延时的变化,这与文献[1]的结论部分总结一致。实验中单神经元-Smith队列长度虽然有一定的超调,但队列的振荡较小并迅速降低,回落到期望队列值,在收敛时间上具有更大的优势,在两种极端网络状况下都能达到较好的控制效果。

3 结束语

基于单神经元-Smith的主动队列管理方法在本文所给的大延时网络环境中表现出较好的控制效果。这说明将Smith预估器与自适应单神经元结合,针对大延时动态网络的主动队列管理进行设计,可以有效的补偿网络延时对队列管理稳定性的影响,同时单神经元的自学习与自适应能力使得这个算法具有针对动态变化网络的适应能力,能够快速、准确、稳定的进行主动队列管理了。

摘要：本文利用智能控制理论设计了针对大延时网络的单神经元-Smith AQM(Active Queue Management)算法。对算法的设计目标、参数整定规则等问题进行了深入研究,最后的仿真结果验证了该算法在大延时网络主动队列管理中的有效性。

关键词：拥塞控制,主动队列管理,智能控制

参考文献

[1]任丰原.林闯.任勇等.大时滞网络中的拥塞控制算法软件学报.2003.

[2]李士勇.模糊控制、神经控制和智能控制论[M].哈尔滨:哈尔滨工业大学出版社.2004.

[3]MISRA,GONG Wei-bo.TOWSLEY.Fluid-based Analysis of a Network of AQM Routers Supporting TCP Flows with an Application to RED:Proceedings of ACM/SIGCOMM’00[C].Stockholm,Sweden:[s.n.].2000.

[4]Hollot,MISRA,TOWSLEY et al.A control Theoretic Analysisof RED:Proceedings of IEEE/INFOCOM’01[C].Anchorage.USA:IEEE Press.2001.

[5]刘金琨.先进PID控制及其MATLAB仿真[M].北京:电子工业出版社.2003.

本文来自 99学术网(www.99xueshu.com)，转载请保留网址和出处

【神经元网络】相关文章：

单神经元网络论文05-23

神经网络网络舆情09-03

反向神经网络05-13

广义神经网络05-30

集成神经网络06-10

神经网络模型06-19

组合神经网络08-09

神经网络网络舆情论文04-24