华为FusionInsight HD 2.7 技术白皮书.pdf
华为FusionInsight HD 2.7 技术白皮书，详细介绍了华为版Hadoop的各个组件功能。华为FusionInsight是华为企业级大数据存储、查询、分析的统一平台。华为 Fusionlnsight hd27技术白皮书日录目录1简介…1.1 Fusionlnsight hD概述1.2 FusionInsight HD组件介绍.2重点组件介绍52.集群管理 Manager622分布式文件系统HDFS23统一资源管理和调度框架YARN24分布式批处理引擎 Mapreduce.25分布式数据库 HBase2.6数据仓库组件Hive27分布式内存计算引擎 Spark28全文检索组件Solr.29批量数据集成 Loader( Scoop)….122.10实时数据采集 Flume142.11流式事件处理( Storn)…2.11.1 Storm2.11.2 StreamCQL…2.11.3 Flink2.12分布式高速缓存 Redis2.|3分布式消息队列 Kafka2.14作业编排与调度 Oozie...........212.15数据继承入凵Hue文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书1简介简介1.1 FusionInsight HD概述1.2 FusionInsight hD组件介绍文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 FusionInsight hd27技术白皮书1简介11 FusionInsight hD概述FusionInsight是华为仝业级大数据存储、查询、分析的统一平台,能够帮助全业快速构建海量数据信息处理系统,通过对巨量信恳数据实吋与非实时的分析挖掘,发现全新价值点和企业商机应用层REST API数据服务明细影像推荐/伪控关系轨迹Data世像ServiceREST API/SQL/SDKloaderMe知认FormerManager数据分析Data Farm数据集成信数据挖识、服务框智慧配置管理性能管理告警管理数据处理发全管理DataoS hadoop Spark2 STORM(Flink LibrA租户管理灾备管理FusionInsigh解决方案由5个子产品 FusionInsight hD、 Fusioninsight libra、FusionInsight miner、 FusionInsight Farmer和1个操作运维系统 FusionInsight manager构成FusionInsight HD:企业级的大数据处理环境,是一个分布式数据处理系统,对外提供大容量的数据存储、分析查询和实时流式数据处理分析能力。usionInsight HD包括 Zookeeper、 Hadoop、 HBase、 Loader、 HBase、Hive、Hue、 Oozie、 Phoenix、Solr、 Redis、 Spark、 Streaming、 Kafka、E、 Flink等组件。FusionInsight miner:个业级的数据分析平台,基于华为 FusionInsight hd的分布式存储和并行计算技术,提供从海量数据中挖掘出价值信息的平台。FusionInsight Farmer:企业级的大数据应用容器,为企业业务提供统一开发、运行和管埋的平台。Fusionlnsight Manager:企业级大数据的操作运维提供,提供高可靠、安全、容错、易用的集群管理能力,支持大规模集群的安装部署、监控、告警、用户管理、权限管理、审计、服务管理、健康检査、问题定位、升级和补丁等功能FusionInsight librA:企业级的MPP关系型数据库,基于列存储和MPP架构,是为面向结构化数据分析而设计开发的,能够有效处理PB级别的数据量。 FusionInsightLibrA在核心技术上跟传统数据库有巨大差别,可以解决很多行业用户的数据处理性能问题,可以为超大规模数据管理提供高性价比的通用计算平台,并可用于支撑各类数据仓库系统、BⅠ( Business intelligence)系统和决策支持系统,统一为上层应用的决策分析等提供服务。文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 FusionInsight hd27技术白皮书1简介12 FusionInsight hD组件介绍数招外析数据集成菜群理款据挖握数据挖掘处理Mahout(on MRMI I ib(on Spark)ahx款什理作业调应DSL领域描述语U。2e枇处互询KV面流式杏诈HiveparksQLRedisStreamcQL批量分市式计算引Loade故障管卫七处理流处理附件处理MapReduceFlinkstorm实时采性能管理分布式资源管Y消思队列安仝售翅Kalka分布式存储雪NOSQL数招库按素引≤QL行惴格式租户管理上传下载FtnonHDFSOROPalyueLCai bun De莫分布式文件系统备份曾理HDFSFusionInsight hd需要对廾源组件进行封裝和增强,对外提供稳定的大容量的数据存储、查询和分析能力。各自组件提供功能如下Manager:作为运维系统,为 I FusionInsight hD提供高可靠、安全、容错、易用的集群管理能力,支持大规模集群的安装/级/补丁、配置管理、监控管理、告警管理、用户管理、租户管理等。HDFS: Hadoop分布式文件系统( Hadoop Distributed File System),提供高吞吐量的数据访问,适合大规模数据集方面的应用。HBase:提供海量数据存储功能,是一种构建在HDFS之上的分布式、面向列的存储系统。Oozie:提供了对开源 Hadoop组件的任务编排、执行的功能。以 Java Web应用程序的形式运行在 Java servlet容器(如: Tomcat)中,并使用数据库来存储工作流定义、当前运行的工作流实例(含实例的状态和变量)。Zookeeper:提供分布式、高可用性的协调服务能力。帮助系统遷免单点故障,从而建立可靠的应用程序Redis:提供基于内存的高性能分布式KV缓存系统。Yarn: Hadoop2.0中的資源管理系统,它是一个通用的资源模块,可以为各类应用程序进行资源管理和调度。Mapreduce:提供快速并行处理大量数据的能力,是一种分布式数据处理模式和执行环境。Spark:基于内存进行计算的分布式计算架Hive:建立在 Hadoop基础上的井源的数据仓库,提供类似SQL的HⅤeQL语言操作结构化数据存储服务和基本的数据分析服务。Loader:基 J Apache Scoop实巩 FusionInsight hD与关系型数据库、p/sp文件服务器之间数据批量导入导出工具:同时提供 Java api/ shell!务调度接口,供第三方调度平台调用。●Hue:提供了开源 Hadoop绀件的 WebUI,可以通过浏览器操作HDFS的目录和文件,调用 Oozie米创建、监控和编排工作流,可操作 Loader组件,査看Zo< eeper集群情况。文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 FusionInsight hd27技术白皮书1简介Flume:一个分布式、可靠和高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Fume提供对数据进行简单处理,并写入各种数据接受方(可定制)的能力。●Solr:一个髙性能,基于 Lucene的全文检索服务器。Solr对 Lucene进行了扩展,提供比 Lucene更为肀富的查询语言,同时实现」可配置、可扩展,并对查询性能进行了优化,并且提供了一个完善的功能管理界面,是一款非常优秀的全文检索引擎Kafka:一个分布式的、分区的、多副本的实时消息发布-订阅系统。提供可护展、扃吞吐、低延迟、高可靠的消息分发服务Storm:一个分布式、可靠、容错的实时流式数据处理的系统,并提供类SQLtreaInCQL)的查询语言Fink:分布式的、高可用的、能保证 Exactly Once语义的针对流数据和批数据的处理引擎SparkSQL:基于 Spark引擎的高性能SQL引擎,可与Hive实现元数据共享。Mahaut:提供基于 Mapreduce的数据挖掘算法库MLLib:提供基于 Spark的数据挖掘算法库phx:提供基于 Spark的图处理算法库文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书2重点组件介绍2重点组件介绍21集群管理 Manager22分布式文件系统HDFS2.3统一资源管理和调度框架YARN24分布式批处理引擎 MapReduce2.5分布式数据库 HBase2.6数据仓库组件Hive27分布式内存计算引擎 Spark28全文检索组件Solr2.9批量数据集成 Loader( Scoop)210实时数据采集 Flume2.ll流式事件处理( Storm)212分布式高速缓存 Redis213分布式消息队列 Kafka2.14作业编排与调度 Oozie2.15数据继承入口Hue文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书2重点组件介绍21集群管理 ManagerManager是 FusionInsight H的运维管理系统,为部署在集群内的服务提供统一的集群管理能力。 Manager支持大规模集群的安裝部署、性能监控、告警、用户管理、权限管理、审计、服务管理、健康检査、日志采集、升级和补丁等功能图2-1 Manager逻辑架构w已妇UP SereIAMCEPPMS匚就动aLdapOM M AgentNode AgentNTP ClerDHTLFusionInsight ManagerFusionInsight Manager由OMS和 NodeAgent组成:●OMS:操作维护系统的管理节点,OMS·般有两个,互为主备。NodeAgen:操作维护系统中的所有被管理节点,每个节点上一个。表2-1业务模块说明模块名称描述Web Service是一个部署在 Tomcat下的web服务,提供 Manager的htts:接口,用于通过浏览器访问 Manager。同时还提供基于 Syslog和SNMP协议的北向接入能力ControllerManager的控制中心,负责汇聚来自集群中所有节点的信息,统一问管理员展示,以及负责接收来自管理员的操作指令,并且依据操作指令所影响的范围,向集群的所有相关节点同步信息nodeAgent存在于每一个集群节点,是 Controller对部署在该节点上组件做切操作的代理。代表本节点上部署的所有组件与 Controller交互,实现整个集群多点到单点的汇聚IAM负责记录审计日志。在 Manager的U上每一个非查询类操作,都有对应的审计日志文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司华为 Fusionlnsight hd27技术白皮书2重点组件介绍模块名称描述PMS性能监控模块,搜集每一个OMA上的性能监控数据并提供査询CEP汇聚功能模块。比如将所有OMA上的磁盘已用空间汇总成一个性能指标FMS告警模块,搜集每一个OMA上的告警并提供查询OMMAgent各节点上面性能监控和告警的Agen,负责收集该 Agent Node上的性能监控数据和告警数据CAS统一认证中心,登录 Web service时需要在CAS进行脊录认证,浏览器通过URL自动跳转访问CASAOS权限管理模块,管理用户和用户组的权限OMS Kerberos提供单点登录及 Controller与 Nodc agent间认证的功能OMS Ldap在集群安装前为用广认证提供数据仔储,在集群安装后作为集群中Ldap的备份DatabaseManager的数据库,负责存储配置、监控、告警等信息NTP负责集群内部各节点与OMS节点之向的时钟同步和OMS节点与外部时钟源之间的时钟同步。22分布式文件系统HDFSHDFS是 Hadoop的分布式文件系统,实现大规模数据叮靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写,多次读”的特征,而数据“写”操作是顺序写,也就是在文件创建时的写入或者在现有文件之后的添加操作。HDHS保证一个文件在个时刻只被一个调用者执行写操作,而可以被多个调用者执行读操作。图2-2分布式文件系统HDFSHDFS ArchitectureMetadata(Name, re)Metadata. opsNamenode/home/foo/data. 3Black opsRead DatanodesDatanodesReplicationBlocksRack 1WriteRack 2文档版本01(2017-07-30)华为专有和保密信息版权所有c华为技术有限公司
- 2020-12-07下载
- 积分：1
智能步进电机驱控芯片TMC5160中文手册-带书签.pdf
中文版的芯片手册，官方刚翻译不久，本人添加了所有书签，包含我的笔记注释，绝对可以成倍提高开发效率！TMC5160 DATASHEET(Rev. 1.08/2018-NOV-19)目录10.1温度传感器3操作原则…看。香看音102短路保护..…731.1关键概念10.3开路诊断……751.2控制接口斜坡发生器…761.3软件1.4运动和控制电机11.1实际单位换算761.5静止态自动降电流.8112运动轮廓1.6 STEALTHCHOP2& SPREADCYCLE驱动……8113讴度阈值791.7 STALLGUARD2-机械负载传感114参考开关1.8 COOLSTEP-负载自适应电流控制…91.9 DCSTEP-负载相关速度控制…STALLGUARD2负载检测..821.10编码器接口∴…..10121调整 STALLGUARD2阈值SGT引脚分配12.2 STALLGUARD2更新速率和滤波器123检测电机堵转3521封装外形……11124用 STALLGUARD实现归零2.2信号描述12125 STALLGUARD2操作局限性85示例电路15COOLSTEP操作8631标准应用电路…15131对用户的好处…32外部栅极电压调节器.16132C00 OLSTEP设置.8633选择 MOSFET和斜率17133调节 COOLSTEP,883.4调整MOSF氏T桥臂19步进/方向接口sPI接口141时序4.1SP数据报结构.142改变分辩率4.2SP|信号23143 MICROPLYER和静止检测914.3时序24寄存器…D|AG输出…9251通用配置寄存器2715.1脉冲/方向模式925.2速度相关的驱动特性控制寄存器∴33152运动控制模式925.3斜坡发生器岢存器35DCSTEP 945.4编码嚣寄存器5.5电机驱动寄存器161用户好处42162设计 DCSTEP…STEALTHCHOP∴52163运动控制模式下的 DCSTEP9561参数自调整16.4 DCSTEP模式下的堵转检测9562 STEALTHCHOP选项16.5 DCSTEP操作中的测量电机实际速度.966.3 STEALTHCHOP电流调节器….16.6步进/方向模式下的 DCSTEP……976.4基于速度的定标……58紧急停止1006.5 STEALTHCHOP和 SPREADCYCLE两者组合.596.6 STEALTHCHOP的标志位增量编码器ABN接口∴1016.7空转和被动制动61181编码器时序102SPREADCYCLE和经典斩波方式63182没置编码器以匹配电机分辨率∴…..102183闭环10271 SPREADCYCLE斩波器647,2经典恒定关断时间斩波器67直流电机或螺线管104选择采样电阻19.1螺饯管操作104基于速度的模式挫制快速配置指南105诊断和保护73人门∴110www.trinamic.comTMC5160 DATASHEET(Rev. 1.08 /2018-NOV-19421.1初始化例程11027.2地的布线119独立操作模式273桥臂电压的布线119111274供电滤波119外部复位..113275布线示例120时钟振荡器和输入113封装机械数据.22241内部时钟…∴113281TQF48EP封装尺寸图…122242外部时钟113282 QFN-WA封装尺寸124283封装代码125最大电气参数设计理念,126电气特性114声明126261操作范围114262直流特性和时序…ESD敏感126115263热特性11732图表127布线考虑119修订历史128271芯片底部焊盘119参考…128www.trinamic.comTMC5160 DATASHEET(Rev. 1.08 /2018-NOV-19操作原则TMC5160运动控制和驱动芯片是C門U和大功率步进电机之间的智能功率接口器件。所有步进电机逻辑完全在TMC5160内,不需要软件来控制电机一一只需提供目标位置。TMC5160提供了许多独特的増强功能,这些功能通过集成的控制驱动器得以实现。TMC5160的六点斜坡发生器自动使用 stealthchoesTep, costEp, and stallguard2来优化每个电机的运动。TMC5160将TMC2100、TMC2130和TMC513系列扩展到更高的电压和更高的电机电流TMC5160提供三种基本操作模式:模式1:全功能运动控制和驱动器所有步进电机逻辑完全在TMC5160内。不需要软件来控制电机—一只需提供目标位置。SDMoDE接地使能此模式模式2:脉冲和方向驱动器像TMC4361这样的外部高性能S-rεmp运动制器或￠pU产生与系统內其他部件(如电杌)同步的脉冲和方向信号。TMC5160控制电流和运动模式,并反馈电机状态。 micro Plyer自动平滑运动。SDMⅥODE接高电平使能此模式。模式3:简单的步进和方向驱动器TMC5160裉据步进和方向信号控制电机。 micro Plyer自动平滑运动。不需要CPU:配置由硬件引脚完成。静止保持电流控制由TMC5160完成。可选的反馈信号作为错误检测和冋步标志的输岀。SP|MODE接地, SD MOD接高电平使能此模式TMC5160SOUTI StepBlABREMP generatethtronmotor driversA interfaceeado,dle千aprag"arnrsteppemctoDIAG/INT out4206 er tryDIAGO SWNngle wirak dlanosicsinfare16MH亿r→HtellGuard2Tudose:3V。-5vCC 10一oth GD: UART modeoct driver enable图11TMC5160基本应用框图(运动控制器)www.trinamic.comTMC5160 DATASHEET(Rev. 1.08 /2018-NOV-192OUTtage TMC5160redUcionInterfacespread OyclestealthahopSRBHsteppeDIAG/INTDIAG1ingle wira931. 121 MHtCKINstallGuard2Tv图12TMC5160步进/方向模式应用框图TMC5160carge pumAnigratioDMD2ConfiguratonCntrol resisterpmgrarmmahlAmotorspreadace (CNDCFGSllIndex pulseDriver erpBMMA23.3v5r5vCC villagec1→SRALStandalone modeapt driver enable图13TMC5160独立模式驱动器应用框图11关键概念TMC5160实现了 TRINAMIC产品独有的高级功能。这些特征在许多步进电机应用有效的提高了精度、能效、可靠性、平滑性和能耗。www.trinamic.comTMC5160 DATASHEET(Rev. 1.08 /2018-NOV-19stealth Chop2m无噪声、高精度斩波算法,用于电机的静止和运动状态下的静音控制。 stealth Chop2在stealthChoρ的基础上,加快了电机迳动加减速特性,降低的所需的电流最小值。spread cycleˉ高精度斩波算法,用于高动态电机运动和产生绝对干净的电流波。低嗓音、低共振和低振动圻波器。dcstep7负載相关速度控制。它机尽可能快地移动,不失步stal guard2w无传感器堵转检沏和机槭负載测量coo/Step根据负载自适应电流,可将能耗降低75%micro Plyer细分内抬器,用于从全步开始,以较低分辨率步长输入获得仝256微步的平滑度除了这些性能増强辶外, TRINAMIC电机驱动器还提供了裣测和防上短路输岀、输岀开路、过热和欠压情况的保障措施,以增强安全性和故障恢复。12控制接口TMC5160支持SP接口和带有CRC校验的UART单线接口。此外还支持为无需寄存器配置的独立STEPDR模式。配置引脚SP_MoDE和SD_MODE到相应的高电平或者圯选泽接口。121sP接口sP丨接口是与总线时钟同步的串行位接口。当SP丨主设备发送数据到从设备时,从设备同时会向主设备返回数据。SP主机和TMC5160之间的通信包括一条40位发送命令字和一条40位接收状态字。每个完整乜机运动过程通常是由多条命令杓成,122UART接口单线接口支持类似RS485(SWP和SWN)或单线接口(SWN开路)的差分操作。它可以由任何标准UART驱动。不需要波特率配置13软件从软件的角度来看,TMC5160是一个具有多个控制和状态寄存器的外围设备。其中大部分是只读或者只写的。一些寄存器允许读写访闩。如果只写寄存器需要读-修改-写访问,可以在主软件中通过阴影寄存器实现www.trinamic.comTMC5160 DATASHEET(Rev. 1.08 /2018-NOV-19814运动和控制电机141集成运动控制器集成的32位运动控制器貞接驱动电机到目标位置,或者加速到目标速度。所冇的运动参敖都可以动态改变。运动控制器立即重新计算。最小运动配置数据包含加速和减逸值以及最大运动逸度。支持设置启动和停止速度以及第二加速和减速度。集成运动控制器可对机械参考开关和无传感器 stallguard2及时响应。优势灵活编程斜坟参数有效地利用电动机转矩来加速和减速允许更高的机器性能即时反应停止和堵转条件142STEP/DR接口电机可选择通过步进和方向输入来控制。在这种情况下,运动控制器不使用。步进输入引脚上的有效边沿可以是上升沿,也可以是上升沿和下降活双边缘,归模弌笠(deσεe)控制。使用两个边缘捋步进信号的触发速率降低一半,对慢速通信接口(如光耦隔离接口)非常有用。在每个活动边上,DR输亼电平值决定是向前还是向后运行。每个脉冲可以是全步或微步,其中每个全步有2、4、8、16、32、64、18或256个微步。DR引脚上电平为低的步进(STE卩)脉冲增加了微步汁数器数值,而电平高的减少了微步计效器的数值。内部表袼将指针值转换成正弦和余弦值,控制电机微步咆流15静止态自动降电流自动电流减少大大降低了应用功耗和冷却需求。通过寄存器设置修改静态电流、延迟时间和衰减。自动飞轮和被动制动是静止的一种选择。被动制动将电机静止功耗降低到零,同时仍然禔供有效的阻尼和制动!斜坡发生器和STEP/DR两个操作模式都支痔一种更快检测靜止的配置。Standstill flag(st st)ORRENTIRUNstandstill delay 7POWERDOWN/HCLDDELAY220/218 docks power down pow er downRMS motor current trace(astsfandstill) delay tinm图1.1电机自动降电流16 stealth Chop2& spreadcycle驱动为灬 stealthcho基于电压斩波器的原理。除了电机机械滚轮軸承产生的噪音,它特别保证了电机在静上慢动作时绝对安静。不同于其他电压模弌斩波器, stealth Chop2不需要任何配置。通电后,它会在第次运动中自动学习最佳设置,并进一步优仳后续运动中的设置。初始的归麥过程足以使系统完成stealth Chop最佳配置。也可以选择,通过接口预先配置初始学习参数。 stealth Chop,通过对电机度的变化立即做出反应,允许高的电机动态。www.trinamic.comTMC5160 DATASHEET(Rev. 1.08 /2018-NOV-19对于高动态的应用, spread Cycle是除 stealth Chop2之外的选项。它可以通过输入引脚(独立模式)或SP或UART接口配置。 stealth Chop2和 spread Cycle甚至可以结合使用,以达到两者的最佳效果: stealth Chop2用于无噪音的静止状态,无声平滑的性能, spread cycle用于高动态,低振动和最高的峰值逸度。spreadeαycle是周期斩波模弌。它在很宽的速厦和负载范围内提供平稳的操作和良好的共振阻尼。spreadcycle方案自动集成和调节快衰减周期,以保证平滑过零性能。stealth Chop2优势显著改善了低成本电机微步性能电机运行平稳安静绝对没有待机噪音降低机械共振产生改善的扭矩17 stallard2-机械负載传感stallguard2提供了对电机负载的精确测量。它可以用于堵转检测,也可以用于低于使电机失步的负载下的其他用途,例如 coolSte负载自适应调节电流。这提供了更多关于驱动器的信息,允许诸如无传感器归零和驱动器机械诊断之类的功能18 coolStep-负載自适应电流控制costep以最佳电流驱动电机。它根据stal! guard2负载测量信息将电机电流调整到实际负载所需的最小量。节约了能源,降低了芯片的温度。好处是:能效能效功耗降低高达75%电机产生较少热量提高了机械精度较少或没有散热提高了可靠性使用较小的电机减少所需的转矩→成本较低的电机完成这项工作图15显示了42mm步进电机当使用 costep时,与50%转矩的标准操作相比的效率。在本例中cool step在60转/分以上时启用EffieEficiency with 50% torque reserve彐 fluency050100150200图15 costEp下的能效(示例)19 esTep-负载相关速度控制esTep能让电机在其负载极限和逸度极限附近运行,而不失步。如果皃机上的机械负载増加到堵转负载点,电机会自动降低速度,这样它仍然可以驱动负载。有了这饣功能,马达将不会堵转。除了在较低速庋下增加扭矩之外,动态惯性淂允许电杋通过减速克服机械过载。 esTep直接与斜坡发生器集成,www.trinamic.comTMC5160 DATASHEET(Rev. 1.08 /2018-NOV-1910因此即使电杌速度因机械负载増加而需要降低,也能达到目标位置。dcStεp可以在没有任何失步的情况下达到10倍或更大的动态范围。通过优化高负载情况下的运动速度,该功能进-步提高了整体系统效率esTep优电机在过载情况下不会失步应用程序可以运行的更快自动实现最高的加速度在速度极限下实现最高的能效全步驱动达到最高电机扭短便宜的马达便能满足应用110编码器接口TMC5160为部增量编码器提供编码器接口。编码器不仅用于失步的判断,还可实现运动控制器的归零功能(替代参考开关)。可编栏预分频器设置编码器分辨率以适应电机分辨率。内部包含一32位编码器计数器。www.trinamic.com
- 2020-12-04下载
- 积分：1
