RBM 算法理解
RBM 算法理解 这份笔记参考了很多网上的资源，也加入很多自己的理解和详细推导， 非常适合初学者使用， 这篇笔记属于复合型产物，感谢那些网上无私奉献自己心得的人们。RBM能量模型这里说一下RBM的能量模型,这里关系到RBM的理解能量模型是个什么样的东西呢?直观上的理解就是,把一个表面粗糙又不太圆的小球,敚到一个表面也匕较粗糙的碗里,就随便往里面一扔,看看小球停在硫的哪个地方。一般来说停在碗底的可能性比较大,停在靠近碗底的其他地方也可能,甚至运气好还会停在碗口附近(这个碗是比较浅的一个碗):能量模型把小球停在哪个地方定义为一种状态,每种状态都对应着个能量,这个能量由能量函数来定义,小球处在某和状态的概率(如停在碗底的概率跟停在碗口的慨率当然不一样)可以通过这种状态下小球具有的能量来定义(换个说法,如小球停在了碗∏附近,这是·种状态,这个状态对应着一个能量,而发生“小球停在碗口附近”这种状态的概率,可以用来表小,表小成,其中是能量函数),其实还有一个简单的理解,球在碗底的能量一般小于在碗边缘的,比如重力势能这,显然碗底的状态稳定些,并且概率大些,就是我认为的能量模型。1.概率分布函数。各个节点的取值状态是概率的、随机的,这里用了3种概率分布来描述整个RBM网络,有联合概率密度,条件概率密度和边缘概率密度2.能量函数。随机神经网络的基础是统计力学,差不多思想是热力学米的,能量函数是描述整个系统状态的一种测度。系统越有序或者概率分布越集中(比如小球在碗底的情况),系统的能量越小,反之,系统越无序并且概率分布发散(比如平均分布),则系统的能量越大,能量函数的最小值,对应着整个系统最稳定的状态RBM能量模型的作用是什么呢?为什么要弄清楚能量模型的作用呢?第一、RBM网终是一种无监督学习的方法,无监督学习的目的自然就是最大限度的拟合输入数据和输出数据。第二、对于组输入数据来说,如果不知道它的分布,那是非常难对这个数据进行学习的。例如:如果我们实现写出了高斯函数,就可以写出似然睬数,那么就可以进行求解,就知道大致的参数,所以实现如果不知道分布是非常痛苫的·件事情,但是,没关系啊,统计力学的一项硏究成果表明,任何概率分布都可以转变成基于能量的模型,即使这个概率分布是未知的。我们仍然可以将这个分布改写成能量函数第三、能量函数能够为无监督学习方法提供个特殊的东两)日标函数b)标解换句话说,使用能量模型使得学丬一个数据的变得容易叮行了。能否把最优解的求解嵌入能量模型中至关重要,决定着我们具体问题求解的好坏。能量模型要捕获变量(这里我理解的是各个分量之间的关系)之间的相关性,变量之间的相关程度决定了能量的高低。把变量的相关关系用图表是一个图,以概率为测度,所以是概率图)模型的能量模型。由上面所说,RBM是一种概率图模型,既然引入了概率,那么就可以通过采样技术来求解,在CD( contrastive diⅳ vergence)算法中采栟部分扮演着模拟求解梯度的角色。能量模型需要定义一个能量函数,RBM能量函数如下:()=∑∑∑∑这个式子的含义非常明显,每个节点有一个能量, hidden和wsbe之间的连接也有个能量,如何求解呢?如果ⅵ isible有组取值(1,0,1),对应的 hidden取值是(1,0,1,01,0,分别带入上面的公式,最后得到的结果就是能量,这里要注意到()里面的地位是相等的,不存在先后顺序,这是一个结构整体的能量值为什么要搞能量函数?前面指出未知分布不好求解但是可以通过能量函数米表示,那么能量函数的概率模型很大程度上可以得到未知分布的概率模型,这样大致就知道了未知分布的分布既然知道了—个RBM网络 hidden和 visible整个框架的能量函数,那么可以定义这个能量函数(能量)出现的概率,很显然这个能量的出现与 hidden和sbe的每个节点的取值都有关系,那么这个能量出现的概率就是和的联合概率密度里可以将能量函数理解成小球在碗里面具体的一个位置所具有的一个能量,那么联合概率密度就是能量也就是这个状态出现的概率)这个概率不是随便定义的,是有统计热力学解释的定义了联合概率密度,那么我就可以得到一个分布,现在再回来前面的知识,可以得到1最初是未知分布的数据,求解参数,完全无从下手2.将未知分布的数据与能量函数联合在起3定义这个能量函数出现的概率,其实也就是对应着未知分布数据一个函数出现的概率4我们可以得到能量函数的概率分布,这个分布就叫 Gibbs分布,这里不是一个标准的Gibs分布,而是一个特殊的 Gibbs分布,这个分布有一组参数,其实就是能量函数中的那儿个前面知道∫下面可以得到边缘概率密度和()∑∑也可以得到条件概率密度和∑∑从概率到极大似然上面的内容已经得到了Gb分布的各种概率密度函数,现在回到最初的目的,即求解让RBM网络表示的Gibs分布最大可能的拟合输入数据,或者换一种说法,求解的目标可以认为是让RBM网终表示的 Gibbs分布与输入样本的分布尽可能的接近现在的小问题是“最大可能的拟合输入数据"这句话怎么定义:假设表小样本空间,即里面含有很多个不同的,是输入样本的分布,()表示训练样本的概率,再假设是RBM网络表示的 Gibbs分布的的边缘分布,即可以理解成每种不同情况的都对应着一个概率。输入样本的集合定义为,那么样木真实的分布和RBM网络表示的边缘分布的KL距离就是2者之间的差异性(KL的详细讲解见附录),样本的真实分布(什么是样本的分布?见附录)与RBM网络表示的边缘分布的KL距离如下所示()20)-0=2()0)2()(如果输入样本表小的分布与RBM表小的Gbbs分布完全符合,这个KL距离就是0,否则是一个大于0的数山附录对熵的定义(在KL讲解里面)可知,上面)的第一项是输入样本的熵,这个是·个固定的数,输入样本固定了,熵就固定了,第二项明显无法直接求。由KL的性质可知,KL是一定大于0的,那么当第二项最大的时候,整个KL最小,我们本来的日的也是求KL最小。注意到第二项-∑()()中的()当样木固定的时候,是固定的而函数是递增的,即当∑()最大即可。在实际应用中,我们采用的是∑(),其中是样本的个数。这里的-∑()就是极大似然估计(这里大家可以∈代替了∈Ω,这是为什么呢?拿一个2维向量来说,(1,0),(1,1),(0,0)这3个的概率和是1,(0,1)出现的概率是0,那么样本空间是(1,0),(1,1),(0,0),但是我们采样的时候只采样到∫(1,0),(1,1),那么这次的输入样本的集合就是(1,0)(1,1))。结论就是求解输入样本的极大似然,就能让RBM网络表示的 Gibbs分布和样本本身表示的分布最接近。求解极大似然这里对似然的定义参考我的另一篇笔记EM算法这个样本从所有样本被取到的概率为0)=∏(b)b∈6()=(0)=∑(0)c⊙在RBM模型中,上面的似然函数写成(上面的式子中是样本,也可以理解为一个isbe节点):(O)-(0)-l()O∈()=∏(b)=∑()0∈对这个函数进行求导02(066∈⊙66我们由能量模型应该也知道了()的概率∑,那么下面开始求导∑06∑c8上面这个式子一定要注意一个问题,即第一项的和第二项的00是不一样的。第一项的是固定的里面的取多少它就取多少而第二项里面的是所有可能的,其实这个细节也可以从∑和∑中发现出来()注意到()和,上面的式子可以写成∑0606∑()∑x((2m0)2x(2m0606第一项和第二项分别是和的期望,这2个是不同的,第一060个求在下的期望,第二项求的是这个函数在概率()下的期望。将O和()由最前面的东西代换,可得到以下3个式了∑∑∑∑∑∑()∑∑()∑()∑∑(这里用到了一个技巧∑这里∑是指hden中第个向量为0,其他分量的值任取的一组向量。?岁∑()∑()∑()∑()∑∑∑∑)-∑()-∑∑()()-∑()∑()∑∑=∑()-∑∑()()=∑()-∑()∑())-∑()(可以发现和的第二项都含有∑,这意味着要对进行遍历,这明显不可能,但是算梯度需要怎么小呢?这时就可以通过 markov采样来算,只要抽取一堆样本,这些样本符合RBM网络表示的Gibs分布,就可以把上面3个偏导数算出来。具体的处理过程是对于每个训练样本,都用某种抽样方法抽取一个对应的,这个是符合RBM网络所表示的Gbs分布的。那么对于整个训练集{米说,就得到一组对应的符合RBM网络表示的Gibs分布的样本集{然后拿这个样本去估算第二项∑,那么梯度就可以用以下的式了来近似了:()(=)-∑()(=)-∑()上面的式子中表小第个训练样木,是所对应的符合RBM网络表小的Gs分布的样本,在式子中用表示。梯度求出来了,就可以求解了,最后不断迭代就可以得到
- 2020-12-11下载
- 积分：1
车辆动力学及控制（拉贾马尼）
本文主要介绍了车辆动力学及控制，主要内容包括车辆侧向动力学、自动车道保持的转向控制、车辆纵向动力学、车辆纵向控制、自适应巡航控制等等。汽车先进技术译从车辆动力学及控制(美) Rajesh Rajamani著王国业江发潮等译机械工业出版社本书主要讨论了足以体现车辆动力学特征的,而且能够满足设计车辆控制系统需要的车辆动力学模型,给出了这些模型的特性,和由这些模型开发出的实际汽车控制系统的基本结构。本书涵盖了巡航控制、自适应巡航控制、制动防抱死系统、车道自动保持系统、高速公路自动行驶、横摆稳定性控制、发动机控捌、被动悬架、主动悬架和半主动悬架、轮胎模型以及轮胎路面参数识别,书中特别介绍了几种目前科研中经常采用的轮胎模型。本书可供汽车行业和大专院校里从事控制系统研究的工程师和专家们参考,也可用作汽车专业研究生的教材。Vehicle Dynamics and ControlRajesh RajamaniOriginal ISBN 9780-387-26396-9Translation from the English language edition:Vehicle Dynamics and Control by Rajesh RajamaniCopyright Rajesh Rajamani 2006Published by Springer Science Business Media, InAuthorized Simplified Chinese edition is published by cmP,All Rights Reserved本书中文简体版由 Springer出版社授权机减工业出版社独家出版发行版权所有,侵权必究。北京市版权局著作权合同登记号:01-2009-3284图书在版编目(CI)数据车辆动力学及控制/(美)拉贾马尼( Rajamani,R)著:王国业,江发潮等译北京:机械工业出版社,2010.11(汽车先进技术译丛书名原文: Vehicle Dynamics and ControlIsBN9787-11l-31283-3I.①车…Ⅱ.①拉…②王…③江…Ⅲ①汽车—动力学Ⅳ.①U461.1中国版本图书馆CI数据核字(2010)第132639号机被工业出版社(北京市百万庄大街22号邮政编码10007)策划编辑:徐巍责任编辑:刘煊版式设计:霍永明责任校对:刘怡丹封面设计:鞠杨责任印制:杨曦北京中兴印刷有限公司印刷2011年1月第1版第1次印刷169mm×239mm,19印张·369千字00g1—3000册标准书号:ISBN978-7-111-31283-3定价:5900元凡购本书,如有缺页、倒页、脱页,由本社发行鄧调换电话服务网络服务社服务中心:(010)88361066销售一部:(010)68326294门户网:htp://w.cmpbook.com销售二部:(010)88379649教材网http://www.cmpedu.com读者服务部:(010)68993821封面无防伪标均为盗版译者的话本书论述了能足以体现车辆动力学特征、满足车辆控制系统设计需要的车辆动力学模型的建立方法以及车辆动力学控制系统的设计。本书较其他同学论若具有深入、系统和实用的特点,是一本既有理论研究意义又有实际应用价值的参考书。Rajamani教授是明尼苏达大学机减工程系先进控制和微型传感器实验室主任, IEEE/ ASME学报编委。我们关注 Rajamani教授的研究是从2002年他发表的“基于GPS实时识别轮胎-路面摩擦系数”的文章开始的, Rajamani教授长期从事车辆控制技术领域的研究,发表重要论文70余篇,涉及到本书内容的主要方面。2006年我们在网上查到此书,看后觉得此书具有理论研究和实际应用价值,对我国从事车辆动力学及其控制领域的科研人员会有具体指导和帮助,于是有了翻译此书的想法。翻译和出版工作得到机械工业出版社汽车分社的大力支持,在此表示由衷感谢。本书第1章、第2章、第3章、第6章、第7章、第8章由王国业翻译,第4章、第5章、第9章、第10章由江发潮翻译;第11章、第12章、第13章第14章由侯春敏翻译,李淑艳老师审译了部分章节,樊月珍老师参与了本书的部分翻译工作。全书终稿由中国农业大学余群教授审阅,叶阳、曾蔚英、付燕荣、李元、章娟丽、刘恩托、朱妮、付晓丹、肖龙等参与了本书的部分翻译整理工作,在此表示感谢由于水平所限,本书难免有翻译不当之处,欢迎读者提出宝贵意见。译者言作为一名车辆工程专业研究生的指导教师,我经常觉得需要一本对有关汽车控制系统的研究成果及其应用进行总结,以及建立开发这些系统所需的车辆动力学模型的论著。已经出版的为数不多的几本介绍车辆动力学的论著已远远不能满足当今车辆控制系统工程师的需要。车輛控制系统工程师们需要既简单又足以体现车辆动力学特征的,最主要地还要满足设计车辆控制系统需要的车辆动力学模型。本书将试图介绍这样的模型,以及由这些模型开发出的实际汽车控制系统。本书涵盖了巡航控制、自适应巡航控制、制动防抱死系统、车道自动保持系统、高速公路自动行驶、横摆稳定性控制、发动机控制、被动悬架、主动悬架和半主动悬架、轮胎模型以及轮胎一路面参数识别。本书特别介绍了几种在文献中经常采用的轮胎模型。随着汽车在全球范围内应用日广,发展能够更好地适应公路系统,更节能、更舒适、更安全,同时对环境的破坏达到最小的交通体系就显得更加重要。为了达到这诸多方面的,甚至互相冲突的要求,现代汽车越来越倚重于综合应用传感器、调节器和反馈控制的电子控制系统。本书适合供那些在汽车行业和大专院校里从事这类控制系统研究的工程师和专家们参考,同时也适合作为车辆动力学和控制方向的研究生教材。在本书出版后如果发现有排版错误和其他错误将会在下面的网址上及时改Eohtlp://www.menet,utmulledu/wrajamani/vde.htrula如果读者发现了这些错误能够告知我们,我们将会很感激。Rajesh Rajamani译者的话前言第1章概论画画画画画画画b画面晶面量垂西酯面鲁1.1驾驶员辅助系统n■t非自聊t·虚章。售日·申量F·鲁,,·鲁费鲁日···。里自甲日····翻1.2主动稳定性控制系统……1.3平顺性……1.4用于解决交通堵塞的技术着福日画_a自面a自ma曲自at_幽由■面。■1虚自面_虚虚曲自鲁1.4.1自动化公路系统……··。如口·着。中自··由·非·“非·自非abt·士;普1.4.2“交通友好”的自适应巡航系统1.4.3窄型工勤车辆倾斜控制日章∮,面P鲁曹鲁鲁·音·曾1.5排放和燃油经济性……画··。画看·画翻福而福藤·酯番酯串■着昌■备晶鲁音看串看非。着自着即息是t自自1.5.1混合动力汽车…1.5.2燃料电池汽车咖_物鲁咖D自t曲自电P翻4567888参考文献第2章车辆侧向动力学画“面垂“垂画“由音晋音画面音“请普非音番自面音“普普香F;新鲁音曹鲁鲁鲁鲁2.1商业应用开发中的汽车侧向运动控制系统2.1.1车道偏离预警系统2.1.2车道保持系统122.1.3横摆稳定控制系统132.2车辆侧向运动的运动学模型……………………………………………142.3两轮车辆侧向动力学的模型…2.4相对旋转坐标系中点的运动222.5关于路面误差力学模型的讨论……………………………;……232.6动力学模型中的横摆角速度和侧偏角的讨论………2627从车辆坐标系到地面坐标系………………272.8路面模型中:要幽妻脂中着康曹垂萨曹萨者要p曹普鲁,中曹沿。围自·看_“翻d垂垂更吾道垂音自垂曹业函,2.9本章小结参数表参考文献32Ⅵ车辆动力学及控制第3章自动车道保持系统的转向控制·着费·新单和着群;音「+吾吾吾请·非非自音343.1状态反馈343.2动力学方程的稳态误差……………………363.3稳态转向…………………………………393.3.1稳态转向的转向角393.3.2方向角误差能否达到零值…423.3.3非零方向角误差的影响=“m“++..=4·:.:.;4:·:···罗3.4考虑不同的纵向速度433.5输出反馈3.6全反馈闭环系统………………………443.7比例控制闭环系统分析473.8带超前补偿器的回路分析……523.9带超前补偿器的仿真性能……553.10闭环系统性能分析……………………………………563.10.1随车速的性能变化…563.10.2随传感器位置的性能变化…583.1I带超前传感器测量的补偿器设计………593.12本章小结…………………………………………………………60参数表61参考文献∵…………………62第4章车辆纵向动力学4.1整车纵向动力学644.1.1空气阻力■■面654.1.2轮胎纵向力……………………………………………………………664.1.3纵向轮胎力和滑动率之间的依赖关系684.1.4滚动阻力∴………………--4694.1.5法向载荷的计算…………………………………………………714.1.6轮胎有效半径计算4.2传动系统动力学…………………734.2.1变矩器………………………………………………………744.2.2传动系的动力学模型754.2.3发动机动力学…………………74.2.4轮胎动态性能774.3本章小结………………"78參数表目录Ⅶ参考文献自要面世曾曾t世d百哥;,.79第5章车辆纵向控制815.1引言……………………………………………………815.1.1自适应巡航控制系统…815.1.2避撞系统…画福音画看新面晶825.1.3自动化公路系统5.2纵向自动控制的优点……………………835.3巡航控制系统士由…845.4巡航控制系统的上层控制器…………855.5巡航控制系统的下层控制器e:曹e4吾垂普看!串·垂事当星量■看『四■鲁875.5.1根据期望加速度计算发动机转矩…8755.2发动机控制………………鲁量吾日8956防抱死制动系统……895.6.I目的…………………曹音一t自普曹晋普推會鲁量曾·曹曾曹鲁·中·香5.6.2ABS的功能925.6.3基于减速度门限值的算法……………………………………………935.6.4其他ABS控制算法………9656.5关于ABS的近期研究出版物…975.7本章小结…………………………………………97参数表………………………………………………………97参考文献第6章自适应巡航控制…11006.1引言1016.2车辆跟随准则…………1026.3控制系统结构……………………………1036,4车队的稳定行驶1046.5固定车距与自主控制…1046.6固定时距控制策略的自主控制…曹曹看鲁费普音·中自鲁音曹鲁鲁鲁鲁鲁吾平6.6.1基于CTG车距控制策略的车队稳定行驶……1076.6.2典型的延迟值1096.7过渡控制……………………11167.1过渡控制器的必要性…………………………………………………11167.2通过R-R图设计转换控制器…1126.8下层控制器…11569本章小结………………………………………116Ⅷ蠡车辆动力学及控制参数表鲁翻…116参考文献…………………………………117第6章附录…………………………………118第7章车队的纵向控制………………1217.1自动化髙速公路系统……………………12172自动化高速公路系统中的车辆控制……………………1217.3纵向控制结构…1227.4车辆跟随准则……………………1237.4.1单个车辆的稳定行驶…1237.4.2车队的稳定行驶1247.5信号及系统范数的背景2447.5.1信号的范数………………………1247.5.2系统的范数……………………………1257.5.3利用诱导范数矸究信号放大257.6保证车队稳定行驶的设计方法………1277.7固定车距的自主控制…………………………………………………1277.8采用无线通信的固定车距控制策略7.9实验结果………b。都…………1317.10下层控制器………………………………………………………1327.11参数未知车辆的自适应控制13311.1重新定义符号…………………………1337.11.2自适应控制器………………………………………1347.12本章小结………………………………………………………………136参数表··,·翻·137参考文献…………138第7章附录…垂最车·………………139第8章电子稳定性控制………………………1418.1引言……………………141音·非·。·。。非4··非·。非非m中··,·即··量着,··音章·8.1.1稳定性控制原理1418.1.2汽车厂商开发的稳定性控制系统1428.1.3稳定性控制系统的种类…………………………………………………1428.2差动制动控制系统…s………14382.1车辆动力学模型……1438.2.2控制系统架构………………………………………………1458.2.3理想的横摆角速度中自鲁··即··中·鲁··中·更·鲁·鲁助··使曹·中兽,46
- 2021-05-07下载
- 积分：1
