神经网络的联想记忆功能可以分为两种,一是自联想记忆,另一种是异联想记忆。
①自联想记忆(Associativememory):假定有m个样本矢量X(i),其中i=0,1,2,3...m-1.若网络输入Xj=Xk+?,Xk表示第k个样本,?是由于噪声﹑干扰或图形缺损等因素引起的偏差。要求输出Y=Xk,也即去掉偏差使信号按样本复原。神经网络所具有的此种功能称为自联想记忆功能。
②异联想记忆(Hetero-associativememory):与自联想记忆不同,它涉及两组样本,若样本Xk与样本Zk一一对应,当具有偏差的输入信号为X=Xkj+?时,输出为Y=Zk,此联想为异联想功能。
Hopfield神经网络属于自联想记忆。下面将讨论异联想记忆神经网络,重点介绍由KoskoB.年提出的双向联想记忆神经网络BAM(Bidirectional
AssociativeMemory)。BAM有离散型﹑连续型和自适应型等多种形式。
此处主要介绍离散型BAM神经网络。
1.BAM结构﹑算法及稳定性
1.1BAM结构及工作原理
若N维矢量A与M维矢量B的表达式分别如下:
构成一组矢量对,共有P对样本矢量。将它们存入双向联想存储器即可进行由A到B或由B到A的双向联想。即给定A(或B)可以经联想作用得到对应的标准样本B(或A)。当有噪声或缺损时,联想功能可以使样本对复原。
1.BAM神经网络结构
利用人工神经网络实现的BAM有多种形式,此处介绍一种最基本的形式,也称Kosko型BAM。下图给出了由双层双向网络构成的BAM结构,其中,与矢量A相应的一层有N个节点,另一层对应矢量B,由M个节点构成。两层之间双向连接。假定由B向A的传输为正向,正向的突触权重矩阵为W;反之,由A向B的传输为反向。
2.BAM神经网络工作原理
如果输入矢量由上层加入,且相应于网络中B的状态,则经W的作用产生A的稳定状态。同样,如果输入矢量由下层加入,且相应于网络中A的状态,则WT的作用产生B的稳定状态。当任意矢量输入时,网络要经过若干次迭代计算演变到稳定状态。为了说明此过程,可以将BAM与自联想记忆原理相对比,对自联想来说,其演变过程为:
WX(t)=X(t+1)
WX(t+1)=X(t+2)
??????→X(t+k)
经k次迭代后收敛,对应网络的稳定状态。
对BAM双向联想神经网络,当任意矢量输入时,网络迭代演变过程为:
直到A﹑B均为稳定状态,演变过程结束。
1.2BAM权矩阵设计及稳定性分析
1.BAM权矩阵设计
BAM网络的学习仍按Hebb规则进行。若给定P个双极性矢量对:
由这些样本计算权重矩阵表达式为:
2.BAM稳定性分析
如果BAM网络神经元函数的阈值等于零,则称为齐次BAM网络。定义齐次BAM网络的能量函数为:
一般情况下,神经元非线性函数阈值非零,此时构成非齐次BAM网络。它的能量函数表达式为:
θi为A的第i元素ai对应的阈值,μj为B的第j元素bj对应的阈值,假设神经元非线性函数f为硬限幅函数特性,则描述BAM动态特性的方程式为:
正向传输(由B联想A)
反向传输(由A联想B)
由以上关系式可以证明,网络在演变过程中能量函数E递减,即?E0。网络稳定。
赞赏
人赞赏
转载请注明:http://www.dachaoe.com/yxxx/6412.html