反向传播算法推导—全连接神经网络
反向传播算法是人工神经网络训练时采用的一种通用方法，在现代深度学习中得到了大 规模的应用。全连接神经网络(多层感知器模型，MLP)，卷积神经网络(CNN)，循环神 经网络(RNN)中都有它的实现版本。算法从多元复合函数求导的链式法则导出，递推的 计算神经网络每一层参数的梯度值。算法名称中的“误差”是指损失函数对神经网络每一层 临时输出值的梯度。反向传播算法从神经网络的输出层开始，利用递推公式根据后一层的误 差计算本层的误差，通过误差计算本层参数的梯度值，然后将差项传播到前一层(w, x,)+b这个神经元接受的输入信号为向量(),向量()为输入向量的组合权重,为徧置项,是标量。神经儿对输入冋量进行加权求和,并加上偏置项最后经过激活函数变换产生输出为表述简洁,我们把公式写成向量和矩阵形式。对每个神经元,它接受的来自前一层神经元的输入为向量,本节点的权重向量为,偏置项为,该神经元的输出值为先计算输入向量与权重向量的内积,加上偏置项,再送入一个函数进行变换,得到输出这个函数称为激活函数,典型的是函数。为什么需要激活函数以及什么样的函数可以充当激活函数,在之前的公众号文章“理解神经网终的激活函数”中已经进行了介绍。神绎网络一般有多个层。第一层为输入层,对应输入向量,神绎元的数量等于特征向量的维数,这个层不对数据进行处理,只是将输入向量送入下一层中进行计算。中间为隐含层,可能有多个。最后是输出层,神经元的数量等于要分类的类别数,输出层的输岀值被用来做分类预测。下面我们来看一个简单神经网络的例了,如下图所示这个网络有层。第一层是输入层,对应的输入向量为,有个神经元,写成分量形式为(),它不对数据做任何处理,直接原样送入下一层。中间层有个神经元,接受的输入数据为向量,输出向量为,写成分量形式为。第三个层为输出层,接受的输入数据为向量,输出向量为,写成分量形式为()。第一层到第层的权重矩阵为(,第二层到第三层的权重矩阵为()。权重矩阵的每一行为一个权重向量,是层所有神经元到本层某一个神经儿的连接权重,这里的上标表小层数如果激活函数选用函数,则第二层神经元的输出值为+(-(+0)+(1+(0)(-(()第三层神经元的输出值为如果把代入上面二式中,可以将输出向量表示成输出向量的函数。通过调整权重矩阵和偏置项可以实现不同的函数映射,因此神经网终就是一个复合函数需要解决的·个核心问题是·旦神经网络的结构(即神经元层数,每层神经元数量)桷定之后,怎样得到权重矩阵和偏置项。这些参数是通过训练得到的,这是本文推导的核心任务个简单的例子首先以前面的层神经网络为例,推导损失函数对神经网络所有参数梯度的计算方法假设训练样本集中有个样本()。其中为输入向量,为标签向量。现在要确定神经网络的映射函数:什么样的函数能很好的解释这批训练栟本?答案是神经网络的预测输出要尽可能的接近样本的标签值,即在训练集上最小化预测误差,如果使用均方误差,则优化的目标为:∑‖()-其中()和都是向量,求和项内部是向量的范数平方,即各个分量的平方和。上面的误差也称为欧氏距离损失函数,除此之外还可以使用其他损失函数,如交叉熵、对比损失等。优化目标函数的自变量是各层的权重矩阵和梯度向量,一般情况下无法保证目标函数是凸函数,因此这不是一个凸优化问题,有陷入局部极小值和鞍点的风险(对于这些概念和问题之前的公众号文章“理解梯度下降法”,“理解凸优化”中己经做了详细介绍)这是神经网络之前一直被诟病的一个问题。可以使用梯度下降法进行求解,使用梯度下降法需要计算出损失函数对所有权重矩阵、偏置向量的梯度值,接下来的关键是这些梯度值的计算。在这里我们先将问题简化,只考虑对单个样本的损失函数()-‖后面如果不加说明,都使用这种单样木的损失函数。如果计算出了对单个样木损失函数的棁度值,对这些梯度值计算均值即可得到整个目标函数的梯度值。和(要被代入到网络的后一层中,是复合函数的内层变量,我们先考虑外层的和。权重矩阵是一个x的矩阵,它的两个行分别为向量(和是个维的列向量,它的两个元素为()和()。网络的输入是向量,第一层映射之后的输出是向量首先计算损失函数对权重矩阵每个元素的偏导数,将欧氏距离损尖函数展开,有((+))(())6(如果,即对权重矩阵第行的元素求导,上式分了中的后半部分对来说是常数。根据链式法则有S()+()O如果,即对矩阵第二行的元素求导,类似的有:可以统一写成可以发现,第一个下标决定了权重矩阵的第行和偏置向量的第个分量,第二个下标决定了向量的第个分量。这可以看成是一个列向量与一个行向量相乘的结果,写成矩阵形式为上式中乘法⊙为向量对应元素相乘,第二个乘法是矩阵乘法。是个维列向量,+也是一个维列向量,两个向量执行⊙运算的结果还是个维列向量。是一个元素的列向量,其转置为维行向量,前面这个:维列向量与的乘积为的矩阵,这正好与矩阵的尺寸相等。在上面的公式中,权重的偏导数在求和项中由部分组成,分别是网络输出值与真实标签值的误差激活区数的导数+(),本层的输入值。神经网络的输出值、激活函数的导数值本层的输入值都可以在正向传播吋得到,因此可以晑效的计算出来。对所有训练样本的偏导数计算均值,可以得到总的偏导数对偏置项的偏导数为:如果上式分子中的后半部分对来说是常数,有:()⊥()如果类似的有这可以统写成:写成矩阵形式为偏置项的导数由两部分组成,分别是神经网络预测值与真实值之间的误差,激活函数的导数值,与权重矩阵的偏导数相比唯一的区别是少了。接下来计算对和的偏导数,由于是复合函数的内层,情况更为复杂。()是个的短阵,它的个行向量为(),(,(,(。偏置项()是维向量,个分量分别是(),(,(),(。首先计算损失函数对的元素的偏导数:而上式分子中的两部分都有,因此都与有关。为了表述简活,我们令:根据链式法则有:其巾((和和都是标量和()是两个()向量的内积,的每一个分量都是()的函数。接下来计算和这里的一是个向量,衣示的每个分量分别对求导。当时有:后面个分量相对于求导变量(都是常数。类似的当时有:()0)(()和时的结果以此类推。综合起来有:同理有:()十如果令合并得到()()[()-)。()。()写成矩阵形式为()最后计算偏置项的偏导数()类似的我们得到:合并后得到()写成矩阵形式为:(0)至此,我得到了这个简单网络对所有参数的偏导数,接下来我们将这种做法推广到更般的情况。从上面的结果可以看岀一个规律,输出层的权重矩阵和偏置向量梯度计算公式中共用了()-)()对」隐含层也有类似的结果完整的算法现在考虑一般的情况。假设有个训练样本(),其中为输入向量,为标签向量。训练的目标是最小化样木标签值与神经网络预测值之闩的误差,如果使用均方误差,则优化的目标为:其中为神经网络所有参数的集合,包括各层的权重和偏置。这个最优化问题是·个不带约束条件的问题,可以用梯度下降法求解。上面的误差函数定义在整个训练样本集上,梯度下降法每一次迭代利用了所有训练样本,称为批量棁度卜降法。如果样木数量很大,每次迭代都用所有样木进计算成木太高。为了解决这个问题,可以采用单样本梯度下降法,我们将上面的损失函数写成对单个样本的损失函数之和:定义对单个样本()的损失函数为)=-()如果采用单个样本进行迭代,梯度下降法第次迭代时参数的更新公式为:nV如果要用所有样本进行迭代,根据单个样本的损失函数梯度计算总损失梯度即可,即所有样本梯度的均值用梯度下降法求解需要初始化优化变量的值。一般初始化为一个随机数,如用正态分布(a)产生这些随机数,其中G是一个很小的正数到日前为止还有一个关键问题没有解决:日标函数是一个多层的复合函数,因为神经网络中每一层都有权重矩阵和偏置向量,且每一层的输出将会作为下一层的输入。因此,直接计算损失函数对所有权重和偏置的梚度很复杂,需要使用复合函数的求导公式进行递推计算几个重要的结论在进行推导之前,我们首先来看下面几种复合函数的求导。又如下线性映射函数:其中是维向量,是×的矩阵,是维向量。问题:假设有函数,如果把看成常数,看成的函数,如何根据函数对的梯度值Ⅴ计算函数对的梯度值Ⅴ?根据链式法则,由于只和有关,和其他的≠无关,因此有:c∑(对于的所有元素有:写成矩阵形式为:问题:如果将看成常数,将看成的函数,如何根据V计算Ⅴ?由于任意的和所有的都有关系,根据链式法则有写成矩阵形式为这是一个对称的结果,在计算函数映射时用矩阵乘以向量得到,在求梯度时用矩阵的转置乘以的梯度得到的梯度。问题:如果有向量到向量的映射:
- 2020-12-09下载
- 积分：1
MIMO雷达波形设计与杂波仿真
这是一篇论文，系统介绍了MIMO雷达的基本原理、波形设计，并对杂波做了建模和仿真。分类号密级UDC注1学位论文MIMO雷达波形设计与杂波仿真(题名和副题名)陈翔(作者姓名)指导教师李军副教授电子科技大学成都(姓名、职称、单位名称)申请学位级别硕士学科专业信号与信息处理提交论文日期2015.3.30论文答辩日期2015.56学位授予单位和日期电子科技大学2015年6月答辫委员会主席评阅人注1:注明《国际十进分类法UDC》的类号WAVEFORM DESIGN FORMIMO RADAR AND CLUTTER SIMULATIONA Master thesis submitted toUniversity of Electronic Science and Technology of chinaMajor: Signal and Information ProcessingAuthor.Chen Xiangadvisor:Li JunSchoolSchool of Electronic Engineering独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其他人已经发表或撰写过的研究成果,也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我·同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。作者签名:日期:年月日论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定,有权保留并向国家有关部门或机构送交论文的复印件和磁盘,允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的仝部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存、汇编学位论文(保密的学位论文在解密后应遵守此规定)作者签名导师签名:日期:年月日摘要摘要多输入多输出( Multiple- nput multiple- Output,MMo)雷达是一种近十几年才发展起来的新体制雷达,它发射的是彼此相互正交的信号,这样MIMO雷达的信号类型与可控参数就比传统相控阵雷达更为丰富与复杂。良好的波形设计能够充分利用MIMO○雷达丰富的空时频资源,能够提高日标的探测、跟踪性能并且降低被敌方截获的概率。因此,正交波形设计是研究MMO雷达系统的关键之处,优化波形的优劣将直接决定MMO雷达性能的好坏。本文主要针对MMO雷达背景研究了两种新的正交波形优化设计方法,并结合实际工程应用背景和需求,优化改进了多相编码序列的优化算法。同吋,对MIMO雷达的地杂波进行建模分析,给出了双基地MIMO雷达的地杂波的仿真。木文涉及的内容主要包含下面几点:1.对MIMO雷达的基本结构、工作原理及特点分别进行阐述,讨论了MIMO雷达正交波形的类型和形式2.研究了基于新循环算法(CAN, Cyclic algorithm-ncw)来设计正交波形通过将相关峰值旁辦水平的最小化问题等价为一个频域最小化问题,进而转化为一个二次函数的最小化问题,并对这一二次函数不断循环优化,最终获得最优值。该算法具有很强的计算能力,能够满足雷达对超长编码的需求,冋时设计出的正交波形具有较低的相关特性,最后对该算法的相关特性进行分析。3.研究了基于序列二次规划算法()设计的连续相位编码信号,并通过在目标函数中添加严格正交约束条件使得设计出的信号具有严格正交性,提升了杂波对消的效果,能够有效的提升目标的探测性能。同时将“和信号”相关旁辦引入到目标函数之中,改善了“和信号”的相关输出。通过相位量化过程使得设计出的信号满足工程上对离散相位的要求,并对量化特性以及参数约束条件对相关峰值旁瓣量的影响让行了分析4.对MIMO雷达地杂波进行仿真,通过对两种不同幅度分布的杂波仿真分别对零记忆非线性变换法和球不变随机过程法进行研究分析,并对这两种杂波仿真方法进行比较与总结,同时对双基地MIMO雷达地杂波进行建模与仿真并进行分析关键词:MIMO雷达,正交波形设计,“和信号”相关旁瓣,严格正交性,杂波仿真ABStRaCtABSTRACTMultiple-input multiple-output (MIMO) radar as a new radar system wasdeveloped in the last decade and it has become the focus of the current internationaresearch. MIMO radar transmitter signals are mutually orthogonal to cach other, so thetype of mimo radar signal with richer controllable parameters and more complex thanthe conventional phased array radar. a good waveform designed can take full advantageof MIMO radar rich space-frequency and code resources, it could also improve targetdetection, tracking performance and reduce the probability of being intercepted by theenemy. Therefore, orthogonal waveform design is the key point of mimo radar systemsOrthogonal waveform design will directly determine the performance of MIMO radarare good or badThe main content about this article is researched two new orthogonal waveformdesign optimization methods, combined with practical engineering background andneeds, improved and optimization multi-phase coding sequence algorithms. meanwhileMIMO radar clutter is modeled by analyzing the bistatic MIMO radar cluttersimulationContents of this article are mainly involved in the following areas1. The basic structure of MiMo radar and the basic working principles aredescribed, discussed the types and forms of MIMO radar orthogonal waveform2. Research based on Can algorithm design orthogonal waveforms, by equivalentcorrelation peak sidelobe level minimization problem is a frequency-domainminimization problem, and then transformed into a quadratic function minimizationproblem and loop optimization sub-problems, and ultimately got the best value. Thealgorithm has a strong computing power, able to meet the demand for long- coded radarand the orthogonal waveforms has a low correlation characteristic. Finally, analyzed therelevant characteristics about this algorithm3. Research based on sequential quadratic programming algorithm design ofcontinuous phase encoded signals, and in the objective function by adding stringentconstraints make orthogonal design with strictly orthogonal signals, thereby improvinthe noise cancellation effect, it can effectively enhance the target detection accuracyMeanwhile, the sum-signal"associated sidelobe being introduced into the objectiveABSTRaCTfunction, improve the"sum-Signal"of the correlation output. Such that the quantizationprocess on the phase of a signal designed to meet the engineering requirements of thediscrete phase, and the quantization characteristics and parameter constraints on theamount of side lobe correlation peaks are analyzed4. Research on MIMO radar ground clutter modeling and simulation, through zeromemory nonlinearity simulation Weibull distribution clutter and through sphericallyinvariant random processes simulation K distribution clutter, and compared andsummarized this two methods. Meanwhile, for bistatic MiMo radar ground clutter hasbeen simulated and analyzedKeywords: MIMO radar, orthogonal waveform design, sum-signal"correlationsidelobe, strict orthogonal, clutter modeling目录目录第一章绪论……1.1研究背景与意义1.2研究动态与发展现状….·······1.2.1MIMO雷达波形设计现状223122MIMO雷达动态及发展状况1.3主要工作及内容安排第二章MMO雷达原理及波形设计概述2.1MIMO雷达基本原理及其特点2. I MIMO雷达基木原理2L2MIMO雷达特点22MMO雷达波形分类及设计特点2,21MIMO雷达正交波形设计特点222MIMO雷达波形分类23本章小结第三章基于CAN算法的MIMO雷达波形设计143.1MIMO雷达正交波形设计原理.酯音音看。普音DD音音番音音垂音看看3.2于CAN算法的正交波形设计;垂..看看看垂垂D垂垂·垂.垂。垂。着看垂音垂非·垂。垂非看153.2.1问题模型描述……153.2.2设计方法及设计流程…………173.23设计结果3.3基于CAN算法相关特性分析.233.3.1编码长度对相关峰值旁辦的影响233.3.2信号个数对相关峰值旁瓣的影响2434本章小结25第四章基于序列二次规划算法的MMO雷达波形设计264.1序列二次规划的数学描述264,2连续相位编码信号设计.274.2.1设计方法及设计流程1看看274.2.2设计结果。,看音音着着;音音DD看垂音音音自看看垂。垂DD音音音,音垂看看垂294.3量化及量化后相关特性分析…
- 2021-05-06下载
- 积分：1
