华为FusionInsight HD 2.7 技术白皮书.pdf
华为FusionInsight HD 2.7 技术白皮书，详细介绍了华为版Hadoop的各个组件功能。华为FusionInsight是华为企业级大数据存储、查询、分析的统一平台。华为 Fusionlnsight hd27技术白皮书日录目录1简介…1.1 Fusionlnsight hD概述1.2 FusionInsight HD组件介绍.2重点组件介绍52.集群管理 Manager622分布式文件系统HDFS23统一资源管理和调度框架YARN24分布式批处理引擎 Mapreduce.25分布式数据库 HBase2.6数据仓库组件Hive27分布式内存计算引擎 Spark28全文检索组件Solr.29批量数据集成 Loader( Scoop)….122.10实时数据采集 Flume142.11流式事件处理( Storn)…2.11.1 Storm2.11.2 StreamCQL…2.11.3 Flink2.12分布式高速缓存 Redis2.|3分布式消息队列 Kafka2.14作业编排与调度 Oozie...........212.15数据继承入凵Hue文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书1简介简介1.1 FusionInsight HD概述1.2 FusionInsight hD组件介绍文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 FusionInsight hd27技术白皮书1简介11 FusionInsight hD概述FusionInsight是华为仝业级大数据存储、查询、分析的统一平台,能够帮助全业快速构建海量数据信息处理系统,通过对巨量信恳数据实吋与非实时的分析挖掘,发现全新价值点和企业商机应用层REST API数据服务明细影像推荐/伪控关系轨迹Data世像ServiceREST API/SQL/SDKloaderMe知认FormerManager数据分析Data Farm数据集成信数据挖识、服务框智慧配置管理性能管理告警管理数据处理发全管理DataoS hadoop Spark2 STORM(Flink LibrA租户管理灾备管理FusionInsigh解决方案由5个子产品 FusionInsight hD、 Fusioninsight libra、FusionInsight miner、 FusionInsight Farmer和1个操作运维系统 FusionInsight manager构成FusionInsight HD:企业级的大数据处理环境,是一个分布式数据处理系统,对外提供大容量的数据存储、分析查询和实时流式数据处理分析能力。usionInsight HD包括 Zookeeper、 Hadoop、 HBase、 Loader、 HBase、Hive、Hue、 Oozie、 Phoenix、Solr、 Redis、 Spark、 Streaming、 Kafka、E、 Flink等组件。FusionInsight miner:个业级的数据分析平台,基于华为 FusionInsight hd的分布式存储和并行计算技术,提供从海量数据中挖掘出价值信息的平台。FusionInsight Farmer:企业级的大数据应用容器,为企业业务提供统一开发、运行和管埋的平台。Fusionlnsight Manager:企业级大数据的操作运维提供,提供高可靠、安全、容错、易用的集群管理能力,支持大规模集群的安装部署、监控、告警、用户管理、权限管理、审计、服务管理、健康检査、问题定位、升级和补丁等功能FusionInsight librA:企业级的MPP关系型数据库,基于列存储和MPP架构,是为面向结构化数据分析而设计开发的,能够有效处理PB级别的数据量。 FusionInsightLibrA在核心技术上跟传统数据库有巨大差别,可以解决很多行业用户的数据处理性能问题,可以为超大规模数据管理提供高性价比的通用计算平台,并可用于支撑各类数据仓库系统、BⅠ( Business intelligence)系统和决策支持系统,统一为上层应用的决策分析等提供服务。文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 FusionInsight hd27技术白皮书1简介12 FusionInsight hD组件介绍数招外析数据集成菜群理款据挖握数据挖掘处理Mahout(on MRMI I ib(on Spark)ahx款什理作业调应DSL领域描述语U。2e枇处互询KV面流式杏诈HiveparksQLRedisStreamcQL批量分市式计算引Loade故障管卫七处理流处理附件处理MapReduceFlinkstorm实时采性能管理分布式资源管Y消思队列安仝售翅Kalka分布式存储雪NOSQL数招库按素引≤QL行惴格式租户管理上传下载FtnonHDFSOROPalyueLCai bun De莫分布式文件系统备份曾理HDFSFusionInsight hd需要对廾源组件进行封裝和增强,对外提供稳定的大容量的数据存储、查询和分析能力。各自组件提供功能如下Manager:作为运维系统,为 I FusionInsight hD提供高可靠、安全、容错、易用的集群管理能力,支持大规模集群的安装/级/补丁、配置管理、监控管理、告警管理、用户管理、租户管理等。HDFS: Hadoop分布式文件系统( Hadoop Distributed File System),提供高吞吐量的数据访问,适合大规模数据集方面的应用。HBase:提供海量数据存储功能,是一种构建在HDFS之上的分布式、面向列的存储系统。Oozie:提供了对开源 Hadoop组件的任务编排、执行的功能。以 Java Web应用程序的形式运行在 Java servlet容器(如: Tomcat)中,并使用数据库来存储工作流定义、当前运行的工作流实例(含实例的状态和变量)。Zookeeper:提供分布式、高可用性的协调服务能力。帮助系统遷免单点故障,从而建立可靠的应用程序Redis:提供基于内存的高性能分布式KV缓存系统。Yarn: Hadoop2.0中的資源管理系统,它是一个通用的资源模块,可以为各类应用程序进行资源管理和调度。Mapreduce:提供快速并行处理大量数据的能力,是一种分布式数据处理模式和执行环境。Spark:基于内存进行计算的分布式计算架Hive:建立在 Hadoop基础上的井源的数据仓库,提供类似SQL的HⅤeQL语言操作结构化数据存储服务和基本的数据分析服务。Loader:基 J Apache Scoop实巩 FusionInsight hD与关系型数据库、p/sp文件服务器之间数据批量导入导出工具:同时提供 Java api/ shell!务调度接口,供第三方调度平台调用。●Hue:提供了开源 Hadoop绀件的 WebUI,可以通过浏览器操作HDFS的目录和文件,调用 Oozie米创建、监控和编排工作流,可操作 Loader组件,査看Zo< eeper集群情况。文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 FusionInsight hd27技术白皮书1简介Flume:一个分布式、可靠和高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Fume提供对数据进行简单处理,并写入各种数据接受方(可定制)的能力。●Solr:一个髙性能,基于 Lucene的全文检索服务器。Solr对 Lucene进行了扩展,提供比 Lucene更为肀富的查询语言,同时实现」可配置、可扩展,并对查询性能进行了优化,并且提供了一个完善的功能管理界面,是一款非常优秀的全文检索引擎Kafka:一个分布式的、分区的、多副本的实时消息发布-订阅系统。提供可护展、扃吞吐、低延迟、高可靠的消息分发服务Storm:一个分布式、可靠、容错的实时流式数据处理的系统,并提供类SQLtreaInCQL)的查询语言Fink:分布式的、高可用的、能保证 Exactly Once语义的针对流数据和批数据的处理引擎SparkSQL:基于 Spark引擎的高性能SQL引擎,可与Hive实现元数据共享。Mahaut:提供基于 Mapreduce的数据挖掘算法库MLLib:提供基于 Spark的数据挖掘算法库phx:提供基于 Spark的图处理算法库文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书2重点组件介绍2重点组件介绍21集群管理 Manager22分布式文件系统HDFS2.3统一资源管理和调度框架YARN24分布式批处理引擎 MapReduce2.5分布式数据库 HBase2.6数据仓库组件Hive27分布式内存计算引擎 Spark28全文检索组件Solr2.9批量数据集成 Loader( Scoop)210实时数据采集 Flume2.ll流式事件处理( Storm)212分布式高速缓存 Redis213分布式消息队列 Kafka2.14作业编排与调度 Oozie2.15数据继承入口Hue文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书2重点组件介绍21集群管理 ManagerManager是 FusionInsight H的运维管理系统,为部署在集群内的服务提供统一的集群管理能力。 Manager支持大规模集群的安裝部署、性能监控、告警、用户管理、权限管理、审计、服务管理、健康检査、日志采集、升级和补丁等功能图2-1 Manager逻辑架构w已妇UP SereIAMCEPPMS匚就动aLdapOM M AgentNode AgentNTP ClerDHTLFusionInsight ManagerFusionInsight Manager由OMS和 NodeAgent组成:●OMS:操作维护系统的管理节点,OMS·般有两个,互为主备。NodeAgen:操作维护系统中的所有被管理节点,每个节点上一个。表2-1业务模块说明模块名称描述Web Service是一个部署在 Tomcat下的web服务,提供 Manager的htts:接口,用于通过浏览器访问 Manager。同时还提供基于 Syslog和SNMP协议的北向接入能力ControllerManager的控制中心,负责汇聚来自集群中所有节点的信息,统一问管理员展示,以及负责接收来自管理员的操作指令,并且依据操作指令所影响的范围,向集群的所有相关节点同步信息nodeAgent存在于每一个集群节点,是 Controller对部署在该节点上组件做切操作的代理。代表本节点上部署的所有组件与 Controller交互,实现整个集群多点到单点的汇聚IAM负责记录审计日志。在 Manager的U上每一个非查询类操作,都有对应的审计日志文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书2重点组件介绍模块名称描述PMS性能监控模块,搜集每一个OMA上的性能监控数据并提供査询CEP汇聚功能模块。比如将所有OMA上的磁盘已用空间汇总成一个性能指标FMS告警模块,搜集每一个OMA上的告警并提供查询OMMAgent各节点上面性能监控和告警的Agen,负责收集该 Agent Node上的性能监控数据和告警数据CAS统一认证中心,登录 Web service时需要在CAS进行脊录认证,浏览器通过URL自动跳转访问CASAOS权限管理模块,管理用户和用户组的权限OMS Kerberos提供单点登录及 Controller与 Nodc agent间认证的功能OMS Ldap在集群安装前为用广认证提供数据仔储,在集群安装后作为集群中Ldap的备份DatabaseManager的数据库,负责存储配置、监控、告警等信息NTP负责集群内部各节点与OMS节点之向的时钟同步和OMS节点与外部时钟源之间的时钟同步。22分布式文件系统HDFSHDFS是 Hadoop的分布式文件系统,实现大规模数据叮靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写,多次读”的特征,而数据“写”操作是顺序写,也就是在文件创建时的写入或者在现有文件之后的添加操作。HDHS保证一个文件在个时刻只被一个调用者执行写操作,而可以被多个调用者执行读操作。图2-2分布式文件系统HDFSHDFS ArchitectureMetadata(Name, re)Metadata. opsNamenode/home/foo/data. 3Black opsRead DatanodesDatanodesReplicationBlocksRack 1WriteRack 2文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司
- 2020-12-07下载
- 积分：1
鲁棒控制——LMI处理方法
俞立老师的经典书籍——《鲁棒控制——基于线性矩阵不等式的处理方法》振动论坛鲁棒控制—线性矩阵不等式处理方法俞著清华大学出版社振动论坛(京)新登字158号内容简介木书结合作者的研究工作,详细介绍了基于线性矩阵不等式的不确定系统食棒控制的概念、理论及设计方法。主要为謇括日前应用广泛的线性矩阵不等式的概念、理论、算法及相关软件:基于线性矩阵不等式处理方法的线性时不变系统性能分析和缤合方法:重点介绍了不确定系统的模型、曹棒性能分妡、鲁棒砂以H控制、LM区域及相应的区域极点配置方法,绪合二次型性能指标的保性能控制、鲁榨方差控制对将系统的分析与鲁棒控制器设计、不确定系统的鲁滤波问题及鲁棒滤波器设计本书反映了近年来鲁棒控制领域中的最新研究成果,系统介纲了线性矩阵不等式这一有效工具,它在应用中的典型处理方法及 MATLAB软件中的LMI具箱,本书可作为从事自动控制工作的科研员、工技术人员以及高等院校自动化及其他相关专业教师高年级学生和研究生的参老用书版权所有,翻印必究本书封面貼有清华大学出版杜激光防伪标签,无标签者不得销售。书名:鲁棒控制—线性矩阵不等式处理方法作者:俞立著出版者:清华大学出版社(北京清华大学学研大厦,的编100084)http://www.lup,lsingt:ua.educn费任编辑:朱英彪印刷者:北京通州区大中印刷发行者:新华书店总店北京发行所开本;787×10921:16即张;17.75字数:403千字版次:202年12月第1版20年12月第1次印刷书号:ISEN730245854-7/O·269印数:0001~400定价:26.00元振动论坛前言在实际工业控制牛,各种工业牛产过程、生产设备以及其他众多的被控对象,其动态牿性一般鄱难以用精确的数学模型来描述。有时即使能获得被控对象的精确数学模型,但白于过于短杂,使得难以对其进行有效的掉制性能分析和综合,因此必须进行适当的简化。另一方面,难着生产过程中主作条件和环境的变化,控制系统中元器件的老化或损坏,被控对象本身的特性也会随之发生变化。所有这些因素使得描述被控对象的数学模型和实际对象之间不可避免地具有误差。因此,在工程实践中,釆用基于精确数学模型的现代控制理论方法所设计的控制系统往往难以具有所期望的性能,甚至连系统的稳定性都难以得到保证。鲁棒控制理论结合系统模型参数不确定性和外部找动不确定性的考虑,研究系统的鲁棒性能分析和综合问题,弥衤了现代控制理论需要对象精确数学模型的缺陷,使得系统的分析和综合方法加有效、实用棒挖制自提出以来,很快受到了人们的广泛重视和研究,取得了一系列的研究结果和方法,并在一些工程领域中获得了成功的应用。特别地,随着线性短阵不等式及求解凸优化问题的内点法的提出,为许多控制问题的分析和求解提供了有效工具。 MATLAB软件中线性矩阵不等式工具箱的推出使得各种线性矩阵不等式问题的求解旻加方便、直接从而,进一步推动了线性矩阵不等式处理方法在系统和控制领域中的应用。本书系统介绍了线性矩阵不等式的概念、性质、求解线性矩阵不等式相关问题的算法以及 MATLAB软件中的线性矩阵不等式工具箱。结合作者的研究工作,介绍了基丁线性矩阵不等式的鲁棒控制性能分析和综合方法,并指出了一些在系统和控制中有广泛应用价值的线性矩阵不等式典型处理方法。作者努力将售棒控制的最新研究成果和方法反映存本书中,但限于篇幅,书中所包含的内容仅仅是鲁棒控制研究成果的很少-部分。振于作者的水平,书中不妥和错误之处在所难免,恳请广大读者批评指正本书中介绍的作者研究工作及本书的撰写得到了国家然科学基金和教育部高校优秀青年教帅教学科研奖励计划的资助,在此表示衷心的感谢。作者02年5月杭州振动论坛目录第1章引言…第2章线性矩阵不等式……621线性矩阵不等式的表示式口·■■■甲↓郾■■.■看■■bL■2Ll1线性矩阵不等式的般表示2l2可转化成线性矩阵不等式表小的问题213复线性矩阵不等式的处理…10214非严格线性矩阵不等式22一堂标准的线性矩阵不等式间题23求解线性矩阵不等式问题的算法23.1椭球法…Isn15232内点法↓乐24关于矩阵不等式的一些结论1824.1矩阵变量的消去法1T·平P1t幽山I82.4.2 S-procedureP甲■20第3章系统性能分析.连续时间系纷…2331.1系统增益指标∴233,12H性能甲日唱·■唱日4自·日血即141■4b1293.13H性能3132离散时间系统1鲁日日司即■命b命即■■■■■着■■■着L=,341第4章控制系统综合.4.1F控制4.l.1状态反馈H控制…d?■■424.],2输出反馈Hx控制■p即42H2控制43H2H控制平1■十■昏■b■m■■■4■qp6144设计示例64第5章不确定系统的分析与综合685]不确定模型68振动论坛會棒控制——一线性矩阵不等式处理方法511不确定状态空闻模型68512不确定线性分式模型■p■b血d卩■b■52鲁棒稳定性分忻P‘■■日音牛114a日4521二次稳定性522仿射二次稳定性I"P}4Pbb4b4}·53鲁棒性能分析.…■■昏■昏1山■d■晶t■■p聊8354鲁棒F2H控制■■■山昏晉昏晋■+口■口■口6541问题的描述和准备…86542H2H整制器设计91第6章区域极点配置1亠山品品61LMI区域9761.】LM区域的描述…,-11111976,2D-稳定性分析…〓P■■■■■■■■■■10062具有闭坏k域极点约束状态反馈控制器设计0463鲁棒D-稳定性分析日日日语■山■,1763无结构不确定性1963.2结构不确定性111464输出反馈控制器设计,第7章保性能控制1227】连续系统的保性能控制…··■■晶■上h香≠p甲日目甲日唱黑L聊■12272离散系统的保性能掉制.12了73其有闭环极点约束的保性能挡制131731鲁棒性能分析…132732二次D保性能控制器设计看自;血自自血即血日昏■是■如4135第B章鲁棒方差控制1418I连续系统的鲁棒方差控制.■d昏【山■血晶b14181.Ⅰ系统性能分析1418L.2状态反馈控制器设计14813输出反愤控制器设计14682离散系统的鲁棒方差控制152第9章时滞系统的分析和综合15891时滞系统的稳定性…15891.1时滞独立的稳定性条件……,1599.1.2时滞依赖的稳定性条件,+--114141609.1.3 Lurie时滞系统的稳定性分析T宁宁·自血日甲自自要振动论坛自录92时滞系统的鲁棒稳定性分析16992.!时滞独立的鲁棒稳定性条件P·q甲,甲■15992.2时滞依赖的鲁棒稳定性条件17493不确定滞系统的保性能控制.■■■■793.1鲁棒性能分析I789.32状态反馈俣性能控制器设计,4.4.418393.3输出反馈俣性能控制器设计1869.34不确定离散时滞系统的保性能控制I9394时滞系统的玨控制941时滞系统的性能分析,…199942H控制器设计943不确定离散时滞系统的鲁棒H控制207第10章寯波器设计213101B滤波器设计2I310.2FH滤波器设计2l9第11章大系统射分散控制22311时滞系统的分散稳定化控制22311,2离散关联系统的分散保性能控制229l1,21保性能分析■■■山■↓山 -r.E= PPE+■▲画2291121分散保性能控制器设计234附录ALM工具箱介绍■L■■■an·■■甲口■看■■口■山241A.F线性矩阵不等式及相关术语……24LA.2线性矩阵不等式的确定■■■■昏昏斷■+d山夏旷aaa■_画d■242A.3信息提取2499A4绒性矩阵不等式求解器■■■■■■日■司罾■严早■■■吾-■山■山m矿画maaa250A.5结果验证…258A6修改一个线性矩阵不等式系统A.7一些进一步的功能261A.8系统棋型描述…,267参考文献270振动论坛第1章引言自20世纪5年代末现代控制理论誕生以米,控制理论得到了飞速的发展,并在20世纪60年代然航天领域中得到成功的应用。但是,现代控制理论在随后的工业应用中却遇到了很大的困难。我们知道,现代控制理论的许多结果都是基于对象的一个数学模型,根据系统的性能要求,通过刈被控对象的数学模型进行分析来设计系统的控制律,进而将所得到的控制律应用于被控对象来保证闭环系统貝有所期望的性能。显然,当对象模型不能精地描述被控对象或在系统运行过程中模型和实际对象产生侃离时,基于这栟的模型设计的控制系统很难保证具有所期望的性能要求实际上,对于复杂物理系统的模型,存在以下两个问题描述物理系统的解析模型很难,甚至不可能精确地刻画,因此为了便于处理,不得不筒化模刑:2.一个模型,无论多么详细,都不可能是物理系统的一个濤确表示。因此,模型存在本质的不精确性。建模中的以上两个方面称为模型的不确定性。对于一个复杂系统,为了得到一个较为简单的模型,一种处珄方法是将其分解线性部分和非线性部分的组合,进而用一个更空易处理和分析的对象来替代这个非线性邺分,达到简化原文复杂系统棋型的目的考虑由以下非线性微分方程描述的复杂动态系统x=f(x, m)H(x, u)初始条件是x(0),x()、y()和()是向量值函数,∫和h是光滑的向量值函数。在特殊的运行点附近,可以将系统(1.)分解成一个线性部分和一个线性部分的组合特别地,可以在原点x,)=(0,0处进行这样的分解。定义系统Ax t Bu+gtr, Wv=Cx+IH+rx, uj其中:A、B、C和D是系统(11)的一个线性化近似g(x,叫)=f(x,)-Ax-Br(, u)-hr, u)-Cx-Du显然,这样定义的系统(1.2)和系统(1:)是等价的。因此,它们之间存在-—对应的关系。得到这样的等价系统的一种方式是将函数∫和h在原点处线性化,可得Cl(x.)=(0.0)x,)=(0,Q)0.0Ca(x,)=()振动论坛鲁棒控制——线性矩阵不等式处理方浊进一步可以将方程(12)受成以下等价的形式:x= Ar I Bu I wL1.3y=cx+Da+脚2(14)(w1,w2}=(g(x,L),r(x,)(1.5设G是宙(1.3)~(1.4)式确定的映射;对给定的初始条作x(0),門2,)以(x环,y)。Ω是由(1.5)式确定的映射:(x,n)卜(1,2)。因此,〈1.3(1〕式描述的系统可以用图11来表示图11系统分解容易看到,G是系统的线性部分,Q是静杰的非线性映射。这样就将系统的非线性部分分离出来,归入到映射g中,非线性部分和线性部分通过反馈关联联系起来更一般地,我们用这样的方法不仅可以处理系统的非线性特性,而且也可以处理系统的某些动态特性。考虑由以下方程组描述的系练f2(x1,x2(1y=H(x1,x2,采用前面系统分解思想,对系统(16)中的方程x=f(x1,x2,4)卩=(x,x2进行分解,并得到:=团x+B+8(x2f2(x1,x2,a)(1.)卩=C1x+D4+r(x,x2,a)进步,系统(17)中的方程等价于以下的线性方程:x=A1x1+BM+即8y=C,+Du+M其中,w2}=(g1(x,x2,),P(x,x2,Bm)x2=f1(x,x2,x)(1,9)设G是由方程(18)描述的线性系统;(w3,2,(x,,y),是由(9)式描述的系统:(x1,4)"(m,m2)。对这样定义的G和Q,图1也同样描述了系统(1.6)。
- 2020-12-06下载
- 积分：1
|
联系客服（QQ：3324461878）
