EM算法详细例子及推导
EM算法详细例子及推导数θ),那么对于上面的实验,我们可以计算出他们出现我们观察到的结果即0=(5,9,.8,4,7,20=(B,A,A,B,4)的概率函数P(X=x10),2z)⑨)就叫做θ的似然函数。我们将它对θ求偏导并令偏导数为0,就可以得到如的结果P(X=x0,=20))=(;P(z=A)3(1-P(z=A)2C10(1-64)10A(1-6C104(1-0(1-6B)C106n(1-6我们将这个问题稍微改变一下,我们将我们所观察到的结果修改一…下我们现在只知道每次试验有几次投掷出正面,但是不知道每次试验投掷的是哪个硬币,也就是说我们只知道表中第一列和第三列。这个时候我们就称Z为隐藏变量( Hidden variable),X称为观察变量( Observed variable)。这个时候再来估计参数θ4和θB,就没有那么多数据可供使用了,这个时侯的估计叫做不完整数据的参数估计。如果我们这个时候冇某种方法(比如,正确的猜到每次投掷硬币是A还是B),这样的话我们就可以将这个不完整的数据估计变为完整数据估计当然我们如果没有方法来获得更多的数据的话,那么下面提供了一种在这种不完整数据的情况下来估计参数θ的方法。我们用迭代的方式来进行:(1)我们先赋给θ一个初始值,这个值不管是经验也好猜的也好,反正我们给它一个初始值。在实际使用中往往这个初始值是有其他算法的结果给岀的,当然随机给他分配一个符合定义域的值也可以。这里我们就给定64=0.7,6B=0.4(2)然后我们根据这个来判断或者猜测每次投掷更像是哪枚硬币投掷的结果。比如对于试验1,如果投掷的是Δ,那么出现5个止面的概率为C10×0.75×(1-07)5≈0.1029:;如果投掷的是B,出现5个正面的概率为C105×0.43×(1-0.4)5≈0.2007;基于试验1的试验结果,可以判断这个试验投掷的是使币A的概率为0.10290.10290.2007)-0.389是B的概率为02007(0.1029+0.2007)06611。因此这个结果更可能是投掷B出现的结果(3)假设上一步猜测的结果为B,A,A,B,A,那么恨据这个猜测,可以像完整数据的参数仙计一样(公式2重新计算的值这样一次一次的迭代2-3步骤直到收敛,我们就得到了θ的估计。现在你可能有疑问,这个方法靠谱么?事实证明,它确实是靠谱的。期望最大化算法就是在这个想法上改进的。它在估计每次投掷的硬币的吋候,并不要确定住这次就是硬币A或者B,它计算岀来这次投掷的硬币是A的概率和是B的概率;然后在用这个概率(或者叫做Z的分布)来计算似然函数。期望最大化算法步骤总结如下:F步骤先利用旧的参数值〃计算隐藏变量Z的(条件)分布P(万=2|Xn2),然后计算logP(,X=m)的期望B(o(2,X=x)=∑∑P(Z=别X=)P(Z=X=x)其中θ是当前的值,而θ是上一次迭代得到的值。公式中已经只剩下θ一个变量了,θ是一个确定的值,这个公式或者函数常常叫做Q函数,用Q(6,6)来表示。M步骤极大化Q,往往这一步是求导,得到由旧的θ值′米计算新的θ值的公式aQ总结一下,期望最大化算法就是先根据参数初值估计隐藏变量的分布,然后根据隐藏变量的分布来计算观察变量的似然函数,估计参数的值。前者通常称为E步骤,后者称为M步骤3数学基础首先来明确一下我们的目标:我们的目标是在观察变量X和给定观察样本:1,x2,…,rn的情況下,极大化对数似然函数(=>nP(X2=x;)(5)其中只包含观察变量的概率密度函数P(X2=2)=∑P(X=n,=)这里因为参数θ的写法与条件概率的写法相同,因此将参数θ写到下标以更明确的表述其中Z为隐藏随机变量,{}是Z的所有可能的取值。那么6)=∑h∑P(X=x,z=2)∑h∑。Px=x这里我们引入了一组参数(不要怕多,我们后面会处理掉它的)a,它满足可能的;,0;∈(0,1和∑;a=1到这里,先介绍一个凸函数的性质,或者叫做凸函数的定义。∫(x)为凸函数,=1,2,…,m,A∈[0,1∑1A对∫(x)定义域中的任意n个m1,x2,…,xn有f(∑Aa)≤∑mf(xr)i=1对于严格凸函数,上面的等号只有在x1=2xn的时候成立。关于凸函数的其他性质不再赘述。对数函数是一个严格凸数。因而我们可以有下面这个结果0)=∑hn∑≥∑∑ah(X=2n,2=C现在我们根据等号成立的条件来确定a;即P(X=x,Z=2)C(10)其中c是一个与j无关的常数。因为∑,=1,稍作变换就可以得到P(X;=x;)现在来解释下我们得到了什么。c;就是Z=2;在X=x;下的条件概率戌者后验概率。求α就是求隐藏随机变量Z的条件分布。总结一下目前得到的公式就是)-∑∑P(Xi=i,Z(12)直接就极大值比较难求,EM算法就是按照下面这个过程来的。它就是大名鼎鼎的琴生( Jensen)不等式(1)根据上一步的θ来计算α,即隐藏变量的条件分布(2)极大化似然函数来得到当前的的估计3.1极大似然估计好吧,我觉得还是再说说极大似然估计吧。给定一个概率分布D,假设其概率密度函数为f,其中f带有一组参数6。为了估计这组参数6,我们可以从这个分布中抽出一个具有n个采样值的X1,X2,…,Yn,那么这个就是n个(假设独立)同分布随机变量,他们分别有取值x1,x2…,xn,那么我们就可以计算出出现这样一组观察值的概率密度为lI f(ai)(13)对于f是离散的情况,就计算出现这组观察值的概率10)注意,这个函数中是含有参数0的。0的极大似然估计就是求让上面似然函数取极大值的时候的参数O值。般来说,会将上面那个似然函数取自然对数,这样往往可以简化计算。记住,这样仅仅是为了简化计算。取了自然对数之后的函数叫做对数似然函数。ln()=∑lnf(n)因为对数是一个严格单调递增的凹函数,所以对似然函数取极人值与对对数似然函数取极大值是等价的。3取了对数之后还可以跟信息熵等概念联系起来4关于凸函数有很多种说法,上凸函数和下凸函数,凸函数和凹函数等等,这里指的是二阶导数大」(等」)0的一类函数,而凹函数是其相反数为凸数的一类函数32期望最大化算法收敛性如何保证算法收敛呢?我们只用证明l(04+1)≥1(00)就可以了l(0(t11)∑∑(+1)1PX=x;2=2)(+(t+1∑∑nf(X=x;,z=z;)(+1)(t)o(tn /(r=i,Z=2(t)≥∑∑ahn(t)7(0其中第一个人于等于号是因为只有当a取值合适(琴生不等式等号成立条件)的时候才有等号成立,第二个人于等于号正是M步骤的操作所致。这样我们就知道l(θ)是随着迭代次数的增加越来越人的,收敛条件是值不再变化或者变化幅度很小。4应用举例4.1参数估计很直接的应用就是参数估计,上面举的例子就是参数估计42聚类但是如果估计的参数可以表明类别的话,比如某个参数表示某个样本是否属于某个集合。这样的话其实聚类问题也就可以归结为参数估计问题。References[]最大似然估计[oNline].Availablehttp://zh.wikipediaorg/wiki.%E6%9c%80%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1[2] Ceppellini, r, Siniscalco, M.& Smith, C.A. Ann. Hum. Genet. 20, 97-115(1955)3 Hartley, H. Biometrics 14, 174-194(1958)4 Baum, L.E., Petric, T, Soulcs, G.& Weiss, N. Ann. Math. Stat 41, 164-171(1970)[ 5] Dempster, A P, Laird, N.M., Rubin, D B.(1977). "Maximum Likelihoodfrom Incomplete Data via the em algorithm. Journal of the royal statis-tical Society Series B(Methodological)39(1): 1-38. JSTOR 2984875 MR0501537[6]Whatistheexpectationmaximizationalgorithm[oNline].Avaiable:http//ai. stanford. edu/-chuongdo/papers/em tutorial pdf[7TheEmAlgorithmOnline.Availablehttp://www.cnblogs.com,jerrylead/ archive/2011/04/06/2006936html
- 2020-12-07下载
- 积分：1
矩阵论 方保镕 周继东 李医民 课本pdf
清华大学出版社 矩阵论 方保镕 周继东 李医民 课本pdf格式本当较系纯,全面地介绍了矩阵的基本理论、方法及其应用,其配书光盘包含全书客量习趣评解和拟考试自测试题解答提示本书在编写过程中。力求做到以下几点理论严谨。重点突出:既重视几何理论,又兼应用背景或異体应用结构合理,既有系统性,适合全面阅该(多学时)又具有可分性,便于逃读(少学时3取材丰露(活多种特殊矩阵与持运算选则,面海前沿。能反哄最看进展(如辛空问。辛变换)4深入浅出,文字流畅,读本书只需具番高等数学和线性代数的基本知识IsBN7-302-09208-79787302092087定价:39.00元《含光盘0151,2125D矩阵论Matrix Theory方保鎔周继东李医民编著Fang Baurmng Zhs Jidong Li Yimin北业老图014⑨清华大学出版社 Springer北京内容介本书比较全面、系统地介绍了矩阵的基本理论方法及其应用。仝书分上,下两篇,共1章,分别介绍线性空间与线性算子内积空间与等积变换,A矩阵与若尔当标准形,赋炮线性空间与矩阵范数,矩阵的微积分运算及其应用,广义逆矩阵及其应用,矩阵的分解矩阵的克罗内克积、阿达马积与反积,几类特殊矩阵(如:非角矩阵与正矩阵循环炬阵与素炬阵随机矩阵和双随机矩阵单调矩M矩阵与H矩阵、T矩阵与克尔矩阵等),辛空间与辛矩阵等内容。各章均配有一足数量的习题。附录中还给出了几套模拟自测试题。为了方便读者学习和参考本书备有一张光盘,其中包含各章习题详解和模孜考试自测试题的解答提示等供读者选用本书可作为理工科大学各专业研窕生的学位课程教材,也可怍为理王科和师范类院佼高年级本科生的选修课教材,并可供有美专业的敦师和工程技术人员参考版权所有剩印必究。举报电话:01062782989139011042913860310933书在版编自(QP)数据矩阵论/方保幣,周继东,李医民编著.北京:清华大学出版社,204.111SBN7-302092087矩…·Ⅲ.①方…鬧…③李…Ⅲ.矩阵一理论一高等学校一教材Ⅳ,Oλ51.21中国版本图书馆C数据核字(204)第082981号出版者:清华大学出版社址址:北京清华大学学研大厦http邮编:100084社总机:010-62770175害户服务:010-62776969组稿填辑:陈朝群文稿鶄辑;王海印装者:北京鑫海金溴胶印有限公司发行音:新华书店总店北京发行所开本::85×280印:25字数:532千字版次;2004年1]月第1雁2004年11月箱1次印刷书甘:lSBN7-302092087/0·389印:i~50c0定价:39.00元(含光盘本书如存文字不清漏印以及缺页倒页脱团等印装质量问题,请与清华人学出版社出版部联系调換。联系电话:(010)627701753:03或010)6279704FOREWORD前言随看科学技术的迅速发展古典的线性代数知识已不能满足现代科技的需要矩阵的理论和方法业已成为现代科技领域必不可少的工具。诸如数值分析,优化理论徵分方程概率统计,控制论,力学,电子学网络等学科领域郡与矩阵理论有着密切的联系,甚至在经济管理、金融,保险,社会科学等领域,矩阵理论和方法也有着十分重要的应用。当今电子计算机及计算技术的迅速发展为矩阵理论的应用开辟了更广的前景。因此,学习和掌握矩阵的基本理论和方法,对于工科研究生来说是必不可少的。目前,全国的工科院校已普遍把“矩阵论”作为研究生的必修课。为此,1989年我们根据国家教委制定的工科研究生学习矩降论”课程的基本要求编写了这本教材,并于1993年和19年由河海大学出版社正式出版,在部分高校讲授过多年。为使本书适应新世纪的要求,这次又对本书进行了充实更新,并对内容作了精心的处理。奉书内容分上,下篇,共10章,比较全面、系统地介绍了矩阵的基本理论方法及其应用。第1章与第2章重点介线性空间与线性算子、内积空间与等积变换等,这部分内容既是线性代数知识的推广和深化,又是矩阵几何理论的基础,熟练掌握和深氮理解它们对后面内容的学习乃至将来正确处理实际问题有很大的作用。第3章至第5章主要介绍A矩阵与若尔当标准形,赋范线性空间与矩阵范数矩阵的积分运算及其应用。这些内容是矩阵理论研究矩阵计算及应用中不可缺少的工具和手段。以上5盘内容均为191年国家教育委员会工科研究生数学课程教学指导小组对“矩阵论“课程所制定的基本要求,故本书把它们放A上篇约为2~3学分(讲授36-54学时)。考虑到矩阵理论的完整性,系统性,又能反映最新进展同时为满足某些专业多学时教学的需,本书的下篇安有:第6章介绍广义逆矩阵及其应用;第7章介绍矩阵的因子分解;第8章介绍几类特殊阵,请如非负矩阵与正矩阵素矩阵与循环矩阵随机矩阵和双随机阵单调矩阵M矩阵与H矩阵,T矩阵与汉克尔矩阵等:第9章介绍矩阵的克罗内克积阿达马积与反(Fan)积:第10章介绍辛空间与辛矩阵,这部分内容反映学科的前沿,有着广阔的应用前景,这在同类教材中是独有的。本书每章精迭了一定数量的习题。考虑到矩阵论课程的理论性强概念比较抽象,且有独特的思方式和解题技巧,有些读者在矩阵论做这些习题时可能会感到比较困难,为使这部分读者更好地掌握这门课程的教学内容,我们特意提共一张光盘,其屮包含夲B各章习题详解和模拟考试闩测试题解答等,供渎者选用,月录中带新号的内容用于选学或自学本引入新概念时既重视几何理论,乂兼颇廈用背景或具体应用;既有系统忖,适全血阅读(多学时),又具有可分性,便于选读(少学时);既注重取材得了(涵盖多种特殊矩阵殊运算法则),乂能够面向前沿,反映最新进展(如♀空间、辛变换)。木书的编非浅人深,阅读木书只需貝备高等数学和线性代数的基本知识作者诚挚地慼谢能麗教授他仔细审阅了全部书稿,并提出∫不少有益的议。参与本书第10章编写「仁的还有工如云教投同时要感谢冯康数授注道柳研究员对第10章编写工作的指导和帮助木书可作为理科大学各专业研究生约学位课程教材,过可作为理科和师范类院校高华级本科牛的选修课教材,并可供有关专业的教师和工程技术人员参考由于著者水平有限,书中如有不妥乃至谬误之处,祈望读者批评指正编著者CONTENTS目录前言即中南‘4h自中‘4b日B‘目·4··自D■血·第1章线性空间上的线性算子■■■■昌郾■4■■L■■■■■司昌■■4.1线性空间…1..1线性空间的定义及基本性质…………….1.2层、维数与坐标…………………1.1.3线性子空间丬题1.l……………“…………………"…………"………………………………212线性算子及其矩阵,警中■■自■曾q■PP………241.2.1线柱空间上的线性算子242问构算与线性空间同妳272.3线性算子的矩阵表示29i.2.4线性算子的运算31.2.5线性变换与方阵……142.6线性变换的特征值问题…421.2.7炎性变换的不变子空间■·■司L■■↓■4·晶日■■↓晶晶■昌■■1·』4_d54习题].2……………………………………………………56第2章内积空间上的等积变换…32内空间14日+日◆号P·F日中P唱号72.1.1内积与欧几里得空间『會■會■會冒■日鲁■7■百■自日P中■會2.1.2西空间介绍昌■■血晶■昌■■■■■■晶口日昌■p习题2.l……………………………………………………………742.2等积变换及其矩阼bt+rv吾T■"■■■2.2.1正交变换与正交矩阵2.2.2两类常用的正交变换及其矩阵………M>矩阵论2.2.3酉变换与酉矩阵介绍■■■v■■如v如4a■_■■■1■■『卜;卜+』■■■晶画■■日■1自自自自自.2.4正交投影变换与正交投影矩阵………"…96习题2.2…………………………………………………………………:1912.3埃尔米特变换及其矩阵……………■仙■■會■『山中…1103对称变换与埃尔米特变换………………1039.2埃尔米特正定、半正定矩阵…………106矩阵不等式1092.3.4埃尔米特矩阵特征值的性质1112.3.5一般的复正定矩阵………,……,1l42.3.6正规矩阵平昏尋晋忄【十■昏引■昏卜↓山↓4『昏十;山血b■■昏◆曲冒■■啬雪■■詈■『■血T■會■■■115习题2.3…,………………………………·…"………t……117第3章矩阵与若尔当标准形■日■P:日日日··..··卓a:c吗3.1λ矩阵…………………………"……………3.1.1A矩阵的概念………………3.1.2矩阵在相抵下的标准形…………………………1223.1,3不变因子与初等因子………………………………]243.2若尔当标准■品■量Pφ十4T■『■冒■■■n■……………1363.2.1数字矩阵化为相似的若尔当标准形……………………1363.2.2若尔当标准形的应用s147凯莱哈密赖定理与最小多项式149「题3……;…s""·55第4章赋范线性空间与矩阵范数4.1赋范线性空问…""F"t"t"!*…"………1584.1.1向量的范数………………………l584.1,2向量范数的性质…165习题4.1………………………………■■■昌↓·4+十P咱甲■■■■卓命·自如1674,2矩阵的范数…1+■h4b······■·日■···中··.日日日日4■■晶4·◆旮■T■■日中:1684.2.1矩阵洹数的定义与性质…………………………………1684.2.2算了范数■P申P■曾■■■■脚自自4.2,3谱范数的性质和谱半径且7习题■自■◆t自『自即↓■↓■11794,3摄动分析与矩阵的条件数…………8(目录4.3.1病态方程组与病态矩阵………………………184.3.2矩阵的条件数…I8I4.3.3矩阵特征值的提动分析……▲■■罪ψ●ψ如d4dd↓山喜血↓山t…185习题4.3■··中·平鲁即唱會申噜4■冒■曾自P宁■唱■曾■■■■■■■■■■自■曾自■■罪自咖q司血自日自·■■罪■聊■暴■b■看■■■第5章矩阵分析及其应用……………………………………………………1925.1向量序列和炬阵序列的极限………41925.1.L向量序列的极限………中·『■■■■■■■■唱食p"n■p■1925,1,2矩阵序列的极限…1945.2矩阵级数与矩阵函数………………1985.2.1矩阵级数……95.22矩阵函数中中曹号■量■俨■會■■■■自■自■曲自昌■口■206函数矩阵的微分和积分……………65.3.1阵数矩阵对实变量的导数1···日日■日早+4『P■-日.命4■4自中自啁日血聊217532函数矩阵特殊的导数……………………….2215.3.3矩阵的全做分22653,4函数矩阵的积分吾4■自四日日■自自自自自1日日日品+幽国日日4早·血■·即2285.4矩阵微分方程……"…""""""ss……2295.41常系数齐次线性微分方程组的解………………,295.4.2常系数非齐次线性微分方程组的解……3654.3n阶常系数微分方程的解………………………….239习题5a·PDI中日号日吾目.日品↓中◆自■■当血▲日日日“导吾t…"…"244下篇第6章广义逆矩阵及其应用………………………"…!………2516.1矩阵的几种广义逆6.1,1广义逆矩阵的基本概念25]6.1.2减号近A◆·■·■■■■b■b■即■■■··◆…………2526.1.3自反减号邀A上■鲁■血■自■■25G6.1.4最小范数广义逖Am6.1.5最小乘广义逆A1……■■·自…2656,1.6加号逆A257
- 2021-05-07下载
- 积分：1
