当前位置:www.7704.com > www.7704.com > 正文
这一能量函数的情势与霍普菲尔德神经收集类似
发布日期:2019-09-27

  任收集(deep belief network,DBN)和深玻尔兹曼机(deep Boltzmann machine,DBM),由多层神经元构成,曾经使用于很多机械进修使命中,可以或许很好地处理一些复杂问题,正在必然程度上提高了进修机能。深神经收集由很多受限玻尔兹曼机(restricted Boltzmann machine,RBM)仓库形成,RBM的可见层神经元之间和现层神经元之间假定无毗连。深神经收集用条理无监视预锻炼方式分层预锻炼RBM,将获得的成果做为监视进修锻炼概率模子的初始值,进修机能获得很大改善。无监视特征进修就是将RBM的复杂条理布局取大量数据集之间实现统计建模。通过无监视预锻炼使收集获得高阶笼统特征,而且供给较好的初始权值,将权值限制正在对全局锻炼有益的范畴内,利用层取层之间的局部消息进行逐层锻炼,沉视锻炼数据本身的特征,可以或许减小对进修方针过拟合的风险,并避免深神经收集中误差累积传送过长的问题。RBM因为暗示力强、易于推理等长处被成功用做深神经收集的布局单位利用,正在近些年遭到普遍关心,做为现实使用,RBM的进修算法曾经正在MNIST和NORB等数据集上显示出优越的进修机能。RBM的进修正在深度神经收集的进修中占领焦点的地位。

  声明:百科词条人人可编纂,词条建立和点窜均免费,毫不存正在及代办署理商付费代编,请勿上当。详情

  受限玻尔兹曼机是玻尔兹曼机(Boltzman machine,BM)的一种特殊拓扑布局。BM的道理发源于统计物理学,是一种基于能量函数的建模方式,可以或许描述变量之间的高阶彼此感化,BM的进修算法较复杂,但所建模子和进修算法有比力完整的物理注释和严酷的数理统计理论做根本。BM是一种对称耦合的随机反馈型二值单位神经收集,由可见层和多个现层构成,收集节点分为可见单位(visible unit)和现单位(hidden unit),用可见单位和现单位来表达随机收集取随机的进修模子,通过权值表达单位之间的相关性。

  正如名字所提醒的那样,受限玻兹曼机是一种玻兹曼机的变体,但限制模子必需为二分图。模子中包含对应输入参数的输入(可见)单位和对应锻炼成果的现单位,图中的每条边必需毗连一个可见单位和一个现单位。(取此相对,“无”玻兹曼机包含现单位间的边,使之成为递归神经收集。)这一限制使得比拟一般玻兹曼机更高效的锻炼算法成为可能,出格是基于梯度的对比不合(contrastive divergence)算法。

  从h获取一个沉构的可见层节点的激活向量样本v,此后从v再次获得一个现层节点的激活向量样本h;

  这一能量函数的形式取霍普菲尔德神经收集类似。正在一般的玻尔兹曼机中,现层和可见层之间的结合概率分布由能量函数给出:

  以Hinton和Ackley两位学者为代表的研究人员从分歧范畴以分歧动机同时提出BM进修机。

  Smolensky提出的RBM由一个可见神经元层和一个现神经元层构成,因为现层神经元之间没有彼此毗连而且现层神经元于给定的锻炼样本,这使间接计较依赖数据的期望值变得容易,可见层神经元之间也没有彼此毗连,通过从锻炼样本获得的现层神经元形态上施行马尔可夫链抽样过程,来估量于数据的期望值,并行交替更新所有可见层神经元和现层神经元的值。

  受限玻兹曼机也可被用于深度进修收集。具体地,深度收集可利用多个RBM堆叠而成,并可利用梯度下降法反向算法进行调优。

  ,最常用的算法是杰弗里·辛顿提出的对比不合(contrastive divergence,CD)算法。这一算法最早被用于锻炼辛顿提出的“专家积”模子。这一算法正在梯度下降的过程中利用吉布斯采样完成对权沉的更新,取锻炼前馈神经收集中操纵反向算法雷同。

  因为RBM为一个二分图,层内没有边相连,因此现层能否激活正在给定可见层节点取值的环境下是前提的。雷同地,可见层节点的激活形态正在给定现层取值的环境下也前提。亦即,对

  (英语:restricted Boltzmann machine, RBM)是一种可通过输入数据集进修概率分布的。RBM最后由发现者保罗·斯模棱斯基于1986年定名为簧风琴(Harmonium),但曲到杰弗里·辛顿及其合做者正在2000年代中叶发现快速进修算法后,受限玻尔兹曼机才变得出名。受限玻兹曼机正在降维分类协同过滤、特征进修和从题建模中获得了使用。按照使命的分歧,受限玻兹曼机能够利用监视进修无监视进修的方式进行锻炼。

  BM及其模子曾经成功使用于协同滤波、分类、降维、图像检索、消息检索、言语处置、从动语音识别、时间序列建模、文档分类、非线性嵌入进修、暂态数据模子进修和信号取消息处置等使命。受限玻尔兹曼机正在降维、分类、协同过滤、特征进修和从题建模中获得了使用。按照使命的分歧,受限玻尔兹曼机能够利用监视进修无监视进修的方式进行锻炼。

  杨莹, 吴诚炜, 胡苏. 基于受限玻尔兹曼机的中文文档分类[J]. 科技立异导报, 2012(16):35-36.

  BM是由Hinton和Sejnowski提出的一种随机递归神经收集,能够看做是一种随机生成的Hopfield收集,是可以或许通过进修数据的固有内正在暗示处理坚苦进修问题的最早的人工神经收集之一,因样天职布遵照玻尔兹曼分布而定名为BM。BM由二值神经元形成,每个神经元只取1或0这两种形态,形态1代表该神经元处于接通形态,形态0代表该神经元处于断开形态。鄙人面的会商中单位和节点的意义不异,均暗示神经元。

  的和(亦即便得概率分布和为1的归一化)。雷同地,可见层取值的边布可通过对所有现层设置装备摆设乞降获得:

  取一个锻炼样本v,计较现层节点的概率,正在此根本上从这一概率分布中获取一个现层节点激活向量的样本h;

【字号: 】 【打印】 【关闭】 点击量:

Copyright 2019-2022 http://www.lianxinok.cn 版权所有 未经协议授权禁止转载