VINS论文推倒及代码解析
VINS 的功能模块可包括五个部分:数据预处理、初始化、后端非线性优化、闭环检测及闭环优化。代码中主要开启了四个线程,分别是:前端图像跟踪、后端非线性优化(其中初始化和 IMU 预积分在这个线程中)、闭环检测、闭环优化。、总体框架Measurement PreprocessingInitializationCamera(30hz)Feature Detectionnd rackerVisual-lnertialInitializedis- onlySfMAlignmentIMU (100hMU Pre-integrationLocal Visual-Inertial: OldestSliting WindowNewestNonli+、 Keyframe?OptimizationBundle Adjustment II Loop detectionwith RelocalizationStates from Loop ClosureFealure retrievel oop Deleted二二1---11------22===Global Pose Graph4-DoF Pose Graph OptimizationKeyframe DatabaseOptimization图1VINS框架ⅵINS的玏能模块可包括五个部分:数据预处理、初始化、后端非线性优化、闭环检测及闭环优化。代码中主要开启了四个线稈,分别是:前端图像跟踪、后端非线性伉化(其中初始化和IMU预积分在这个线程中)、闭环检测、闭环优化各个功能模块的作用上要有:1.I图像和MU预处理●图像:提取图像 Harris角点,利用金字塔光流跟踪相邻帧,通过 RANSAC去除异常点,最后将跟踪到的特征点push到图像队列中,并通知后端进行处理●IU:将IMU数据进行积分,得到当前时刻的位置、速度和旋转(PVQ),同时计算在后端优化中将用到的相邻帧的预积分增量,及预积分误差的 Jacobian矩阵和协方差项。1.2初始化首先,利用SFM进行纯视觉佔计滑窗內所有帧的位姿及3D点逆深度,最后与IMU预积分进行对齐求解初始化参数1.3后端滑窗优化将视觉约束、IMU约束和闭环约束放在·个大的目标函数中进行非线性优化,求解滑窗内所有帧的PVQ、bias等。L M States in the sliding windowIMU:k States from loop clos1Camera:冷 MU measurements>visual measurements★ Catur图2滑窗优化示意图14闭环检测和优化利用D)BoW进行闭环检测,当检测成功后进行重定位,最后对整个相机轨迹进行闭环优化。U预积分VisionIMUVision图3MU预积分示意图21当前时刻pVQ的连续形式将第k唢和第kl帧之间的所有IMU进行积分,可得第kHI帧的位置、速度和旋转(PVQ),作为视觉估计的初始值,这里的旋转采用的四元数。v△t+k+1∈[k,k+1]rW(at-ba ) -owletbk JtE[k, k+1]n(,-bdt∈[k,k+1]其中,a2和O为ⅠMU测量的加速度和角速度,是在Body自身坐标系, world坐标系是IMU所在的惯导系,上式的旋转公式推导可参考附录10.1。22当前时刻PVQ的中值法离散形式公式(1)给出的是连续吋刻的相机当前PVR的达代公式,为了跟代码致,下面给出基于中值法的公式,这与 Estimator:; processIMg(O函数中的Ps]、Rs]和Vs是一致的,IMU积分出来的第j时刻的物理量可以作为第j帧图像的初始值。tr t+a26t(2)ka,St其中q(a1-ba)-g"+q:+1(a+1-ba)(a;+o;+1)2.3两帧之间PVQ增量的连续形式通过观察公式(1)可知,IvU的预积分需要依赖与第k帧的ν和R,当我们在后端进行非线性优化时,需要迭代更新第κ唢的ν和R,这将导致我们需要根据每次迭代后值重新进行积分,这将非常耗吋。因此,我们考虑将优化变量从第k帧到第κ+1帧的IU预积分项中分离开来,通过对公式(1)左右两侧各乘Rb,可化简为:R(+p2k-=2△)+ak+1b其中DtElk, k+1t∈[k,k+1R k(at-bar)ldt)Wendtt∈[kk+1这样我们就得到了连续时刻的MU预积分公式,可以发现,上式得到的MU预积分的值只与不同时刻的a2和o相关。这里我们需要重新讨论下公式(5)预积分公式,以ab,为例,我们发现它是与MU的bias相关的,而bias也是我们需要优化的变量,这将导致的问题是,当每次迭代时,我们得到一个新的bias,又得根据公式(巧5)重新对第k帧和第k+1帧之间的IMU预积分,非常耗时。这里假设预积分的变化量与bias是线性关系,可以写成:ab,+/6n6ba+/16b+8 8ba +p(6)k+1sb24两帧之间PVQ增量的欧拉法离散形式面给出离散时刻的IMU预积分公式,首先按照论文中采用的欧拉法,给出第i个MU时刻与第i1个IMU时刻的变量关系为b+1k+的6t+元R(P)(1+R(P")(a2-bbn)δt25两帧之间PⅤQ增量的中值法离散形式卜面给出代码中采用的基」中值法的IMU预积分公式,这与 Estimator: processIMUO函数中的 Integration Base: push backo上是一致的。注意这里跟公式(2)是不一样的,这里积分出来的是前后两顿之间的IU增量信息,而公式(2)给出的当前帧时刻的物理量信息+1+B k St +=a, &tbb+1Bi + au1其中a,=slqilai-bai)+qiDi t aitl2.6连续形式下PVQ增量的误差、协方差及 JacobianIMU在每个吋刻积分出来的值是有误差的,下面我们对误差进行分析。首先我们直接给出在t时刻误差项的导数为:sa00016a000000-82(066hkR;0006|=00-(a-bh)0-1192k|+|000|mLL000016ba00101n000018b000F+ozk+ Gt其中:F25×15,G215×2,62x1,n12×,上式推导可参考附录102。下面我们讨论它的作用,将其可以简写为:6之k=F62z+Gtnt根据导数定义可知:62b=1m24-6262+8=62+628t=(+F6t)6z+(Gt6t)nt(11)这里我们对公式(1)的IMU误差运动方程再说明,将上式和EKF对比可知,上式恰好给出了如EKF一般对非线性系统线性化的过程,这里的意义是表示下一个时刻的IMU测量误差与上一个时刻的成线性关系,这样我们根据当前时刻的值,可以预测出下一个时刻的均值和协方差,而公式(1)给出的是均值预测,协方差预测公式如下Pb+6=(1+Ft)P(+Fl6t)7+(G,t)Q(G18t)ot(12)上式给出了协方差的选代公式,初始值Pk=0。其中,Q为表示噪声项的对角协方差矩阵000003000另外根据(11)式可获得诀差项的 Jacobian的迭代公式:(I+F26t)(14)其中 Jacobian的初始值为bk=12.7离散形式的PVQ增量误差分析我们首先直接给出PVQ增量误差在离散形式下的矩阵形式,为了与代码一致,我们修改下变量顺序,这和代码中 midPointIntegration(函数是一致的。(但不知为何计算的V中与前四个噪声项相关的差个负号?)1t fo660f106t‖loeBk+1=0f211f20016bδb0[6b102001rnot000kRkotk+1(15006t0n0000δt其中,推导可参考附录10.3:stE(ak-ba)02-4B+1(kk+121k+1b.)6t|6t2(Rr+ rk+18t2Stn=71=Rk+1(a+1-b)6tWr+ wf1=Ik+11+Gb。)δt-Rn+1(ak+121=-2配+1Stl st21(RK+Ruts)4rula1RrotstStR+1(a1R,+114/+11t28离散形式的PVQ增量误差的 Jacobian和协方差将公式(15)简写为:k+1F15×158215×1+V15×13Q则 Jacobian的迭代公式为k+15×15=F/k(16)其中, Jacobian的初始值为/k=l。这里计算出来的k+1只是为了给后面提供对bias的acoblar。协方差的迭代公式为P+15×15=FPFr+vQv(17)其中,初始值P=0。Q为表示噪声项的对角协方差矩阵:00000000aa000Q18×180a00(18)000000三、后端非线性优化31状态向量状态向量共包括滑动窗口内的n+l1个所有相机的状态(包括位置、朝向、速度、加速度计bias和陀螺仪bias)、 Camera到IMU的外参、m+1个3D点的逆深度X=[xr=pw,vb bpc,q3.2目标函数吗+(喻,2)+2(19)其中三个残差项即误差项分别为边缘化的先验信息、IMU测量残差、视觉的重投影残差。三种残差都是用马氏距离表示。根据《十四讲》中高斯牛顿法,若要计算目标函数的最小值,可以理解为,当优化变量有一个增量后,目标函数值最小,以IU残差为例,可写成如下所示:nin lre2bk, X+8Xrk x)+HSⅩDk+1oXk+1k+1其中HB,为B关于 XIK Jacobian,将上式展开并令关于6X的导数为0,可得增量δx的计算公式:H k 8X=k+1TB那么,公式(28)可写成+∑+∑Tk∑1rc上式中,B为MU预积分噪声项的协方差,P为vual观测的噪声协方差。当MU的噪声协方差P越大时,其信息矩阵Pk,将越小,意味着该MU观测越不可信,换句话说,因MU噪声较大,越不可信IMU预积分数据,而更加相信 visual观测。注意,这里的IMU和vsua协方差的绝对值没有意义,因为考虑得是两者的相对性可将上式继续简化为:(Ap+AB +Acox=bp +bB +bc其中,Ap,AB和Ac为 Hessian矩阵,上述方程称之为增量方程。33MU约束1)残差:两帧之间的PVQ和bias的变化量的差△tx+k+1bk qbk+1bR+1 xyz+g"△t)-Bk(20)sbbbb其中各增量关于bias的 Jacobian可从公式(16)的大 Jacobian中的相应位置获得。上面与代码中 Integration base: evaluateD对应,2)优化变量pb, 0W, Svb ,8ba:,bor Opb,, 80W ,Swb,, bakr, Sba3)Jacobian:计算 Jacobian时,残差对应求偏导对象分别为p6e,6vB,6h,ba],6b,6b
- 2020-12-07下载
- 积分：1
飞机机票系统
网上机票预订系统，里面有详细的外部接口需求、性能需求、软件属性需求、数据需求、概念设计以及详细设计的部分代码相关内容,如果满意可以点击订票,把相关信息添加到机票数据库表中,如果不满意,可以点重置,所有信息清空,再重新选择。●退票窗口,用户可以根据用户信息表中的我的机票信息査询,找出机票号,在输入到机票号査询里,点击査询获得你的杋票信息以及价格显示,点击退票则在数据库机票信息表中朋除本条信息。●管理员界血的管理员添加芥血能对管理员信息进行査询、添加、删除和修改,包括用户名、登陆密码和联系方式。管理员界面的舱位信息的査询、添加、删除和修改,包括舱位等缴编号、舱位等级名称、提供的各种服务类别,以及备注信息等。●管理员界面的客机信息界面对客杋信息的添加、修改、删除和査询,包括客机编号、客机型号、购买时间、服役时间、经济舱座位数量、公务舱座位数量、头等舱座位数量以及备注信息等。●管理员界面的航线信息界面对航线信息的添加、修改、朋除和査询,包括航线编号、出发城市、到达城市、航班日期、出发时间、到达时间、客机编号、经济舱价格公务舱价格、头等舱价袼和备注信息等。●客户等级信息的的添加、修改、删除和查询,包括客户等级编号、客户等级名称折扣比例和备注信息等。管理员界面的用户信息查询,能查询所有的已注册的用户信息。管理员界面订票信息界面,可以査询所有的已订的机票的信息。23用户特点及一般约束1.管理员和用户的登陆要求合法的管理员以及用户才能登陆体统,防止系统被无关人员动用,使用字符串匹配对用户名和密码进行判断。管理员和用户的登录对相应的操作权限也不一样,如果是用户登录,管理员的窗口属性为不可用,管员冇舱位信息管,客杋信息管理,航线信息管理客户类型信息管理,客户信息和订票信息管理,用户主要有舱位査询,客机信息査询,航线信息查询,客户类型信息查询,自己的信息管理,和自己订票和退票2管理员的日常操作管理员可以对舱位信息,客杋信息,航线信息,客户类型信息,进行査询、修改和删除操作,可以对客户信息和订票信息只有査询操作。3用户的的日常操作用户可以进行注册然后登陆系统,可以查询舱位信息,客机信息査询,航线信息查询,客户类型信息,可以对自己的信息进行修改,可以定票(按照肮班号进行预订机票,显示所订机票的信息和价格,进入支付系统付账,并再次要求客户确认,确认无误后订票成功)可以退票(在特殊情况下(如天气不适合飞机起降,飞机延误超过30分钟)等给予全额退票,如果是个人原因只能退50%),对退票后的机票要在未售出机票中重新体现24功能需求(用DFD图表示)241用户注册的DFD图顶层图:点击新用填写信息P获得确认注册成功可户注册填写相应的登录信息注册图点击新用写信息PIP2获得确认户注册填写相应的返回用户注册成功信息注册信息D添加用户信息数据流图开输入用广名和密码而断用P名和测码是青正提错忍录金理面判断管理阻标志录时f结束242用户订票的DFD图顶层图用户登杳阅积订1层图PLP2用广登输入要查查洵机处理订订票订票成询D1机票信2层图D2订票信息票信息票信息P用户信息用户登陆处理用户查询用户查询订票信D3机票已卖完节息信息用户信息用户证信检查机票是D4订票有误信D1用户信息否存在机票数冒已满信息错更新机票误信息书信信用户243退票的DFD图顶层图白票信息用户登陆退票退票成功1层图D订票记用户登处理订票取消机票退票成机票信退款处退票的原因D2退票的相关规244机票信息查询的DFD图顶层图用户登的机票铜查询机机票层图:P用户脊找机处理机票机.票信机单D票信息清D2机票信25外部接口需求在用户界面方面要求错误信息格式均以弹出提示框的形式出现,硬软件接∏方面没有特别的需求,一般用户都可以直接使用。25性能需求因为系统夲身较小,并不投入实际应用,因此响应时间、结果精度方面可能会比较差,数据量大小方面能够处理较大的数据量。26软件属性需求在数据检索、数据增删改方面必须做到丝亳不差,满足软件开发的正确性要求。必须考虑充足的异常处哩机制以及软件的复用性,以便增强软件的健壮性。在安仝保密性方面倣到不同身份所能处理的事务不同,避免保密数据泄漏:设置足够的触发器对不安全的数据修改进行回滚操作,进而保证了安全性要求。所廾发出来的软件必须是叮维护的,不能把一些东西做的太妣。27数据需求(ER图表示)管理员信息实体E-R图如图2-1所示。管理员信息实体管理员编号管理员电话管理员用户名管理员密码舱位等级信息实体E-R图如图22所小。船位感位等线号m>均日图2-3客机信息实体ER图航线信息实体ER图如图2-4所示信比号备思出发城市到达球市图2-4航线信息实体ER图客户类型信息实体ER图如图2-5所示癣型实斗鬥型端号客广型姓名折比例图25客户类型信息实体ER图客户信息实体ER图如图2-6所示。吞户信实售户号客姓名联票图2-6客户信息实休ER图订票信息实体ER图如图2-7所示订票信息实体订票倌息号客户共客户信恩航线信息图2-7订票信息实体ER图实体之间关系的ER图如图2-8所示。舱位等信息机信容户垄型信客户记线设置户信息航线信息顸订机票□订哪信图28实体之间关系的ER图三、概要设计3.1总体设计(系统总流程图)网上机票预订系統用理路录广|需共●验证登陆名密码,正确进入主菜单,根据登录时所选的脊录方式(客户、管理员)的不同分别对用户设定不同的访问权限(如果是输入的客户用户名和密码正确,选择以客户方式登陆则主界面里面的管理员界面不能用,如果输入的是管理员的相应用户密码正确,以管理员的方式登陆则管珥员界面可用)不正确则清空登录框,最多可以输入三次,三次不止确系统会自动关闭登陆界面FrmLoFan用户名:Wg=icha距码:客尸登阵地定●新用户注册,新用户可以注册,注册时输入用户名可以杏询用户可不π用,可用就可以注册,注册时可以判断用户输入的密码和验证密码是否相同,相同才给以注册,如果满意可以点注册,注册成功后用户可以选择不用在回到登陆界面,可以直接陆到用户主界面,以后就可以用这个用户登录了,如果不满意,点取消,所有信息清空,重新输入注册界面Farm⊥Teg1tcrx用户注册1个人信启垆写用户名: ansi chao校验是古有重名操示长用片名由家字和导母组前A已1q位密码确认:**两输入的密码应一瘿姓名:思超性别:黑身份证号:同502419809029313庭址;太原迎新街联方式:卩3468832247输入正确的于机号电子信箱:i≤i2203183.cm我是一个开的人个人奋注:据不内提亮
- 2020-12-01下载
- 积分：1
