一种适用于功能电路的自组织神经网络模型构建

巨政权,张海川,满梦华

(1.军械工程学院 静电与电磁防护研究所,石家庄 050003;2.解放军63961部队 25分队,北京 100012)

1 引 言

复杂电磁环境对电子系统具有很强的干扰作用。然而,生物体的神经系统却表现出非凡的适应性与鲁棒性[1]。特别是在过量电刺激的作用下,生物体内的电磁信号传递却不受影响,个体的生理活动仍然能够正常运行。若将生物体神经系统的这种特性引入到电子电路实践中,可用于提高电子系统的抗电磁干扰能力以及复杂电磁环境下电子装备的可靠性。传统的人工神经网络(Artificial Neural Network,ANN)在自适应学习、信息处理方面具有较好的鲁棒性和容错能力[2-5],但在构建具有生物神经系统特性的电子系统时,其具有以下局限性:一是传统的神经网络模型与电子电路之间没有较好的对等映射关系;二是传统神经网络模型的权值变换硬件实现可行性较差。

为解决上述问题,本文借鉴传统人工神经网络设计架构,提出了一种具有较强自组织特性的神经网络模型。该模型与电子电路具有较好的对等映射关系。后续实验也证明了应用该模型进行权值变换硬件实现的可行性。而且,基于该模型,可较为方便地实现各种功能电路,并使得实现的电路整体具有一定的自组织特性,为后续实现具有自修复、自适应特性的电路提供了理论和技术基础支撑。

2 自组织神经网络模型的构建

2.1 神经元模型[6-8]

神经元模型由加权变换、激励变换两部分组成,如图1所示。G(·)和 f(·)分别表示加权变换和激励变换函数。向量P=(p1,p2,…,pm)为神经元输入向量,A=(a1,a2,…,at)为激励向量,t为激励参数量。A=G(P)=PW,其中 W(W为m×t矩阵,每列均为坐标向量)为加权矩阵,描述了神经元对输入向量的遴选情况。根据神经元在不同状态下激励特性不尽相同的特点,激励函数f(·)在此具有可变性。b为神经元的激励输出,c为神经元状态函数,用于描述神经元的状态。当c=1时,神经元正常;c=0时,神经元失效,输出值恒为0。

图1 神经元模型Fig.1 The neuron model

该模型的数学形式可表示为

提出的自组织神经网络神经元与传统神经网络神经元的主要区别有两点:第一,权值只有0和1两种情况,即只有断开、连接两种状态;第二,激励函数是一个由多个具体函数组成的函数群,可根据具体状态激活其中某一函数。

2.2 神经网络模型

在自组织神经网络模型中,借鉴分层前馈方式人工神经网络模型[2]进行网络拓扑构建,一个由m×n个神经元组成的神经网络如图2所示。

图2 自组织神经网络模型Fig.2 The self-organizing neural networks model

由图2可知,自组织神经系统对信号进行分层、并行传递,每层输出包含传递信息的所有特征。神经元无需知道传递信息所有情况,只按照某种既定规律进行信号转化传输。神经网络中权值矩阵 W确定了神经网络的逻辑结构,若第(i,j)个神经元对应的参数为Wi,j、fi,j和ci,j,则整个神经网络可由权值矩阵W、功能矩阵F、状态矩阵C唯一确定:

若第 k层的输入向量Pk=(p1,k,p2,k,…,pm,k),输出向量Bk=(b1,k,b2,k,…,bm,k),则由公式(1)可知,bi,k=ci,kfi,k(PkWi,k),其中 i=1,2,…m。从网络拓扑可知,Pk+1=Bk,k=1,2,…,n,且有P1=(p1,1,p2,1,…,pm,1)为已知初始输入向量,所以网络中的信号流可描述为

式中,i=1,2,…,m;k=1,2,…,n。

2.3 信号在神经网络中的传递过程

在自组织神经网络模型中,信号在自组织神经网络中分层并行传递,每层对信号的传递是一种解释传递,即将上层传递的信号“解释”为下层所能理解的信号。系统输出与输入信号不尽相同,但其“解释”对应同一组信息特性,即具有相同物理意义。

神经网络所传输的信号来自识别系统输入信号X=(x1,x2,…,xt)。要对识别信息无失真传输,则必须有t≤m,即所传输信号向量的长度不能大于神经网络所能传输向量的最大长度。若符合无失真传输要求,可将X直接赋值给P1,即P1=X。

网络输出的生物意义是指将神经网络中传输的有效信号传输给大脑识别的过程。有效输出信号Y=(y1,y2,…,yk)是指可被大脑接收的信号,是第n层神经元输出的一个真子集,即k≤m,识别所需信号向量长度不能大于网络所能传输向量的最大长度。网络输出Y=BnV,V为输出权值矩阵(每列均为坐标向量的m×k矩阵),其物理意义为在第n层神经网络的输出中有序筛选出有用信号。结合公式(2),自组织神经网络模型的信号传递过程可表示为

式中,i=1,2,…,m;k=1,2,…,n。

3 功能电路到神经网络映射及其自组织实现

3.1 功能电路到神经网络的映射

一般来说,功能电路由多个基本电路单元(或器件)按照特定的拓扑结构连接而成。若将电路输入(输出)映射为神经网络输入(输出),基本电路单元(器件)映射为神经元,电路连接映射为权值连接,电路拓扑映射为神经网络拓扑,则电子电路与神经网络具有较好的对等映射关系,如图3所示。

图3 电子电路与神经网络的对等映射Fig.3 The mapping between the electronic circuit and the neural networks

图4给出了由电路功能到神经网络的映射关系。易见,在映射过程中,同一种电路功能可由多种电路拓扑实现。同时,同一种电路拓扑可以对应多种空间上的物理实现,即基于同功能的电路在同一神经网络上可通过权值矩阵和函数矩阵变换,以多种物理结构加以实现,这便是本文中构建神经网络系统进行自组织,以及后续研究利用其实现自修复、自适应电路的物理基础。

图4 电路功能到神经网络的映射Fig.4 The mapping form function to the neural networks

3.2 自组织方法描述

在神经网络发生“异常”时,其自组织特性是保证系统逻辑拓扑不变和功能正常实现的基础。此时,神经网络系统常需要重组,重组步骤为:首先对每层内神经元随机生成一个逻辑序号形成一个层逻辑序列,然后再根据每层中逻辑序列与物理序列的情况完成权值矩阵与函数矩阵的变换,即实现系统自组织。

为便于描述,定义 Wk=(W1,k,W2,k,…,Wm,k)、Fk=(f1,k,f2,k,…,fm,k)分别为第 k层所对应的权值矩阵向量和功能函数向量,V=(V1,V2,…,Vm)为输出权值矩阵向量,Vi为输出权值矩阵V的第i个行向量,则系统自组织方法可描述如下:

神经网络整体重组可分解为若干单层重组事件并依次进行处理,其变换算法可描述为

需要说明的是,各层随机产生的神经元逻辑序列,相当于对其物理序列所构建的行向量进行多次列变换形成,所以变换矩阵Mi必为某一单位矩阵经过相应的列变换而来。由于层逻辑序列在整个自组织过程中仅起到桥梁作用,可以考虑直接对单位矩阵E进行多次随机行(列)变换来确定 Mi,即 Mi=rand(E)。从而,神经网络的自组织过程又可描述为

4 实例分析

下面以2×2乘法器为功能电路,取6×6的网络结构,本文中提出的自组织神经网络模型对电子电路的承载和自组织方法可描述如下。

4.1 神经元的确定

根据2×2乘法器特点,可设计神经元为2输入、1输出的单元,如图5所示。

图5 神经元的设计Fig.5 The neuron designed

图5中,i、j表示此神经元为第j层第i个神经元;a、b表示所对应的输入连接第j-1层第a、b神经元输出;c为神经元功能函数标号,其中,1为与非,2为或,3为异或,4为与。

4.2 功能电路的实现[9,10]

借助遗传算法,可求解2×2乘法器承载于6×6神经网络模型时的一种具体物理实现,如图6所示,其对应的电路拓扑如图7所示。

图6 2×2乘法器的物理实现Fig.6 Physical implementation of the 2×2 multiplier

图7 2×2乘法器的电路拓扑Fig.7 The topplogy of the 2×2 multiplier

规定由坐标向量组成的m×n维矩阵可用其各列向量对应的坐标数表示为[(t1,t2,…,tn)],ti表示其第i个列坐标向量的第ti元素为1,则构建的神经网络参数可描述为

4.3 自组织方法的描述

(1)单层重组,M1=M′,M2=M3=M4=M5=E时,神经网络参数为

(2)相邻两个层重组,M1=E,M2=M3=M′,M4=M5=E,神经网络参数为

(3)所有层重组,M1=M2=M3=M4=M5=M′,神经网络参数为

通过对5种情况下的网络结构进行简化,消除冗余神经元,可以发现:经过不同重组方式后,神经网络所对应的电路逻辑拓扑保持一致,电路功能唯一。因此,可以得出结论:所设计的自组织神经网络模型对功能电路具有较好的承载性和自组织特性。

5 结束语

自组织神经网络模型的构建是将生物自组织特性引入电子电路设计实践的一种尝试,其自组织过程实质就是在电路功能不变情况下,基于网络拓扑进行不同物理实现的相互转换。当网络中某个神经元的某个功能受损或者神经元损毁,可通过神经网络的自组织特性,利用同层中其它神经元的冗余功能或者层中的冗余神经元进行替代,从而确保电路逻辑拓扑的稳定性及功能的完备性。在此基础上可开展后续研究,进一步实现电子系统的自修复和自适应特性,提高复杂电磁环境下电子装备的可靠性。

[1] 刘尚合,原亮,褚杰.电磁仿生学——电磁防护研究的新领域[J].自然杂志,2009,31(1):1-7.LIU Shang-he,YU AN Liang,CHU Jie.Electromagnetic Bionics-A New Study Field of Electromagnetic Protection[J].Chinese Journal of Nature,2009,31(1):1-7.(in Chinese)

[2] Martin T Hagan,Howard B Demuth,Mark H Beale.神经网络设计[M].戴葵,宋辉,谭明峰,等,译.北京:机械工业出版社,2002.Martin T Hagan,Howard B Demuth,Mark H Beale.Neural Network Design[M].Translated by DAI Kui,SONG Hui,TAN Ming-feng,et al.Beijing:China Machine Press,2002.(in Chinese)

[3] 何新贵,许少华.过程神经元网络[M].北京:科学出版社,2007.HE Xin-gui,XU Shao-hua.Process Neural Networks[M].Beijing:Science Press,2007.(in Chinese)

[4] Morgado Dias F,Antunes A.Fault Tolerance of Artificial Neural Networks:an Open Discussion for a Global Model[J].International Journal of Circuits,Systems and Signal Processing,2010,4(1):9-16.

[5] 赵德芳,张天骐,金翔,等.基于 BP神经网络的直扩信号扩频码盲识别[J].电讯技术,2010,50(10):28-35.ZHAO De-fang,ZHANG Tian-qi,JIN Xiang,et al.DSSS Signal Spread Spectrum Codes Blind Identification Based on BP Neural Network[J].Telecommunication Engineering,2010,50(10):28-35.(in Chinese)

[6] 安全,梁川,吴平.脉冲响应神经网络的构建[J].信息与控制,2009,38(4):455-460.AN Quan,LIANG Chuan,WU Ping.Construction of Impulse Response Neural Networks[J].Information and Control,2009,38(4):455-460.(in Chinese)

[7] Jason Gauci,Kenneth O Stanley.Autonomous Evolution of Topographic Regularities in Artificial Neural Networks[J].Neural Computation,2010,22(7):1860-1898.

[8] Javier Macia,RicardV Solé.Distributed robustness in cellular networks:insights from synthetic evolved circuits[J].Journal of Royal Society Interface,2009,33(6):393-400.

[9] Sekanina L.Evolutionary functional recovery in virtual reconfigurable circuits[J].ACM Journal on Emerging Technologies in Computing Systems,2007,3(2):1-22.

[10] WANG J,LEE C H.Evolutionary design of combinational logic circuits using VRA processor[J].IEICE Electronics Express,2009,6(3):141-147.