风控建模一等奖
使用拍拍贷数据，建模全过程，从数据预处理开始到最后的模型比较。仅用于交流学习。队伍介绍队名“不得仰视本王”,队伍由五个小伙伴组成,我们是在一个类以的比赛(微额借款用户人品预测大赛)认识的,对数据挖掘竹热爱让我们走到了一起,以下是成员简介:姓名学校、学历比赛经历匚陈靖」中国科学技术大学研二天泡科学家总分第三,微额借贷用户人品预测大赛季军朱治亮浙江大学研二淘宝穿衣搭配比赛李军,微额借贷用户人品预测大赛李军质耀重庆邮电大学研二微额借贷用户人品预测大赛冠军匚赵蕊」重庆邮电大学研微额借贷用户人品预测大赛亚军黄伟鹏北京大学研一微额借贷用户人品预测大赛冠军解决方案概述2.1项目介绍与问题分析拍拍贷“魔镜风控系统”从平均400个数据维度评估厍户当前的信用状态,给每个告款人打出当前状态的信用分,在此基础上再结合新发标的信息,打出对于每个标约6个月内逾期率的预沨,为没资人提供关键的决策依据。本次竞赛目标是根据用户历史行为数据来颈测用户在六来6个月内是否会逾期还款的概率。问题转换成2分类问题,评估指标为AUC,从 Master, LogInfo, Update Info表中构建恃征,考虑评估指标为AUC,其本质是排序优化问题,所以我们在模型顶层融合也使用基于排序优化的 RANK AVG融合方法。2.2项目总体思路本文首先从数据清洗开始,介绍我们对缺失值的多维度处、对离群点的剔除方法以及对字符、空格等的处理;其次进行特征工程,包括对地理位置信息的特征构建、成交玉间特征、类别特征编码、组合特征构建、 Lpdatelnfo和 Log Info表的特征提取等;再次进行特征选择,我们采用了 boost, boost的训练过栏即对特征重要性的排序过程;然后处理类别的不平衡度,由于赛题数据出现了类不平衡的情况,我们采用了代价敏感学习和过采样两和方法,重点介绍我们所使用的过采样方法;最后一部分是模型设计与分析,我们采用了二业界广泛应用的逻辑回归模型、数据挖掘比赛大杀器 ghost.,创新性地揆索了large- scale sⅧm的方法在本赛题二的应用,玟得了不错的效果,此外还介绍了模型融合方、数据清洗3.1缺失值的多维度处理在征信领域,用户信总的完善程度可能会影响该层户的信用评级。一个信息完苦程度为100%的户比起完善程度为50%的用户,会更加容易官核通过并得到借款。从这一点亡发,我们对缺失值进行了多维度的分析和处理按列(属性)统计缺失值个数,进一步得到各列的缺失比率,下图(图1)显示了含有缺失值的属性和相应的缺失比率sing rate of Attributes图1.属性缺失比枣WeblogInfo_1和 WeblogInfo3的缺失值比率为97%,这两列属性基本不携带有用的信息,直接剔除。 Uscr Info_11、 Userinfo_12和 Uscr info_13的缺失值比率为63%,这三列属性是类别型的,可以将缺失值用-1垣充,相当于“是否缺失”当成另一种类别。其他缺失值比卒较小的数值型属性用中值填充按行统计每个样本的属性缺矢值个数,将缺失值个数从小到大排序,以序号为横坐标,缺失值个数为纵坐标,画出如下散点图(图2)test set16016014014C12012Cw9mczE100400060008000Order Numbe(sort ircreasinglyOrde Nt mber(sort increasing ly)图2.样本属性缺失个数对比 trainset和 testset上的样本的属性缺失值个数,可以发现其分有基本一致,但是trainset上出了几个缺失值个数特别多的样本(红框区域内),这几个样本可以认为是离群点,将其剔除另外,缺矢值个数可以作为一个特征,衡量用户信息的完善程度。3.2剔除常变量原始数据宁有190维数值型特征,通过计算每个数值型特征的标准差,剔除部分变亿很小的特征,下表(表1)列出的15个特征是标准差接近于0的,我们剔了这15维特征表1.剔除数值特征标准差属性标准差属性标准差属忾标准差Webloglnfo_10 0.0707 WeblogInfo_41 0.0212 Webloglnfo_490.0071Webloglnfo_23.0939 WeblogInfo_43 0.0372 Webloglnfo_5200512Webloglnfo_31.0828 Webloglnfo_44.0166 Webloglnfo_5400946Webloglnfo_32 0.0834 Webloglnfo_46.0290 WeblogInfo_5500331Webloglnfo_40.0666 Webloglnfo_47 0.0401 WeblogInfo_58006093.3高群点剔除在样本空间中与其他样本点的一般行为或特征不一致的点称为离群点,考虑到离群点的异常特征可能是多维度的组合,我们通过分析样本属性的缺矢值个数,剔除了极少量的离群点(见3.1节)此外,我们还采用了另外一种简单有效的方法:在原始数捶上训练ⅹ gboost,用得到的xgb模型输出特征的重要性,取最重要的前20个特征(如图3所示),统计每个栏本在这20个特征上的缺失值个数,将缺矢值个数大于10的样本作为离群点。ThrciParty Ifn PeriodIntrAparty nto HerodThrcPorty hfo Penod3ardiParty hfo Period?ThirdParty Info Penod图3.Xgb特征重要性通过这个方法,易除了400多个样水。这些样在重要特征上的取值是缺失的,会使得模型学习变得因难,从这个角度妖说,它们可以看成是离群点,应剔除掉。3.4其他处理(1)字符大小写转换Userupdate Info表宁的 Userupdate Info1字段,属性取值为英文字符,包含了大小写,如Q"和”qQ",很玥显是同一和取值,我们将所有字符统一转换为小写(2)空格符处理Mastor表中 UserInfo9字段的取值包含了空格字符,如“中国移动”和“中国移动”它们是同一种取值,需要将空格符去除。(3)城市名处理Userinfo_8包含有“重庆”、“重庆市”等取僬,它们实际上是同一个城市,需要把字符中的“市”全部去掉。去掉“市”之后,城市数由600多下降到400多。四、特征工程4.1地理位置的处理对地理位置信(类别型变量)最简单的处理方式是独热编码(one- hot encoding),但是这样会得到很高维的稀疏特征,影响糢型的学习,我们在独热编码旳基础上,做了特征选择。下面介绍具体的方法。赛题数据提供了用户的地挛位置信息,包括7个字段: Userinfo2、 Userinfo4、UserInfo7、 UserInfo8、 UserInfo I9、 UserInfo20,其中 UserInfo_7和 UserInfo19是省份信息,其余为城市信息。我们统计了每个省份和城市的违约率,下图以 Userinfo_7为例图1.省分违约率可视化图5可视化了每个省份的违约率,颜色越深代表违约率越大,其中违约率最大的几个省份或直辖市为四川、湖南、湖北、吉林、天津、山东,如下图所示:图5.违约深突出省份可视化因此我们可以构建6个二值特征:“是否为四川省”、“是否为湖南省”...“是否为山东省”,其取值为或1。其实这相当于对地理位置信息做了独热编码,然后保留其中有判别性的菜些列。这里 UserInfo_7何含32和取值,编码后可以得到32维的稀疏特征,而我们只保留其宇的6维以上我们是通过人工的分析方法去构延二值特征,在处理省份信息时还是匕较直观的,但是处理城市信息,比如 Userinfo2,包含了33个减市,就没有那么直观了。为了得到有判别性的二值特征,我们首先对 Userinfo2进行独热编码,得到333维的二值特征,然后在这333维稀疏特征上训练ⅹgb模型,再根据xgb输出的特征重要性刷选二值痔征,以下是选取到的部分二值特征(对应的城市):“淮纺市”、“九江市”、“三门峡市”、“汕头市”、“长春市”、“铁岭市”、“济菊市”、“成都市”、“淄博市”、“牡丹江市”。按城市等级合并类别型特征取值个数太多时,独热编码后得到太高维的稀疏特征,除了采用上面提到的特征选择方法外,我们还使用了合并变量的方法。按照城市等级,将类别变量合并,例如线城市北京、上海、广州、深圳合并,赋值为1,同样地,二线城市合并为2,三线城市合并为3>经纬度特征的引入以上对地理位置信息的处理,都是基于类别型的,我们另外收集了各个城市的经纬度,将城市名用经纬度替换,这样就可以将类别型的变量转化为数值型的变量,比如北京市,用经纬度(39.92,116.46)替换,得到北纬和东经两个数值型特征。加入经纬度后,线下的cross validation有千分位的提升。城市特征向量化我们将城可特征里的城市计数,并取Log,然后等值离散化到610个区间内。以下图为例,将 serino2这个特征里面的325个城市离散为一个6维向量。向量“100000”表示该城位于第一个区间。线下的 cross validation有千分位的提升。Loglui2 num)6.城市特征离散化地理位置差异特征如图8所示,1,2,1,6列郗是城市。那么我们构建一个城市差异的特征,比妇diff_12表示1,2列的城市是否相同。如此构建 diff l2,diff_14,diff_l6,diff_24,diff26,diff46这6个城市差异的特征。线下的 cross validation有千分位的提升。⊥aJse⊥nfa2 userinfo4 Userinfo7 Userinfo8 Userinfo19uer⊥nf。201C013郴州1C020惠州1C033零1c035深圳东东东东建东福建省10038济104连云港远言港带1C042德州1c043青岛聊拔东自聊城市46深圳汕广东广东省汕尾市105所多工新乡图7.地理位置差异样例4.2成交时间特征按日统计训练集中每天借贷的成交量,正负样本分别统计,得到如下的曲线图8,横坐标是日期(20131101至20141109),纵坐标是每天的借贷量。蓝色由线是违约的样本每天的数量(为了对比明显,将数量乘上了2),绿色曲线对应不违约的样本train set1200count o10008004002广外从20030350Date20131101~20141109图8.每日借贷量统计可以发现拍拍贷的业务量总体是在埤长的,而违约数量一开始也是缓慢增长,后面基本保持不变,总体上违约率是平稳甚至下降的。在横坐标300~350对应的日期区间,出现了些借贷量非鸴大的时间苄点,这些可能隐减着苿些信息,我们尚未挖掘出来。考虑到违约率跟时间线有关,我们将戒交时间的字段 Listinginfc傲了几种处理,一和是直接将其当做连续值特征,也就是上图对应的横坐标,另一和是离散化夂理,每10天作为一个区间,乜就是将日期0`10离散化为1,日期1120离散化为2.4.3类别特征的处理除了上面提到的对菜些类别特征进行特殊处理外,其他类别特征都做独热编码。44组合特征Xgboost的训练完成后可以输出特征的重要性,我们发现第三方数据特征ThirdParty Info Period XX”的 feature score比较大(见图3),即判别性比较高,于是用这部分特征构建了ξ合特征:将特征两两相除得到7000个特征,然后使用 boost对这7000多个特征单独训练模型,训练完成后得到特征重要性的排序,取其中top500个特征线下cv能达到0.73+的AUC值。将这500个特征添加到原始特征体系中,线下cv的AC值从0.777捉高到0.7833。另外,也组合了乘法特征(取对数):10g(x*y),刷选出其中的270多维,加入到原始特征休系中,单模型cv又提高到、0.785左右。4.5 Upadte Info表特征根据提供的修改信息表,我们从中抽取了用户的修改信息特征,比如:修改信息次数,修改信息时间到成交时间的跨度,每和信息的修改次数等等特征。46 LogInfo表特征类似地,我们从登录信息表里提取了用户的登录信息特征,比如登录天数,平均登录间隔以及每种操作代码的次数等47排序特征对原始特征中190维数值型特征接数值从小到大进行排序,得到190维排序特征。排序特征对异常数据有更强的鲁棒性,使得模型更加稳定,降低过拟合的风险。五、特征选择在特征工程部分,我们构建了一系列位置信息相关的特征、组合特征、成交时间特征、排序特征、类别稀疏侍征、 updateinfo和1 oginfo相关的特征等,所有特征加起来将近1500维,这么多维特征一方面可能会导致维数灾难,另一方面很容易导致过拟合,需要做降维处理,降维方法赏用的有如PCA,tSNE等,这类方法的计算复杂度比较高。并且根据以往经验,在数据挖掘类的匕赛中,PCA或t-SNE效果仨往不好。除了釆用降维算法之外,也可以通过特征选择来降低特征维度。特征选择的方法很多:最大信息系数(MIC)、皮尔森相关系数(衡量变量间的线性相关性)、正则化方法(L1,L2)、基于模型的特征排序方法。比较高效的是最后一种,即基于学习模型的特征排序方法,这种方法有一个好处:模型学习的过程和特征选择的过程是同时进行的,医此我们采用这和方法,基于 boost来做特征选择, xgboost模型洲练完成后可以输岀特征的重要性(见3.3图),据此我们可以保留TopN个特征,从而达到特在选择的目的。
- 2020-06-23下载
- 积分：1
树莓派3B+使用手册
非常非常实用的树莓派3B+的使用手册，购买3B+新手准新手必备！国内店主自行编写，非常实用具体详细地介绍了树莓派的结构和操作等等。树莓派论坛:htt:/wWw.shumeikai.net淘宝店:htps:/raspi.taobao.com、前言树莓派是个好东西,已是全球第三大计算平台,保有量高,颇受欢迎。好是好但对广大新手而言,不事先做功课,就可能“秒坏《使用手册》因此而生,不妄自菲薄,也不王婆卖瓜,对初次使用者很有裨益(老司机不妨也看看),希望亲拿到手都看下。树莓派论坛( shumeipai. net),2012年开始为大家提供服务,转眼6个多年头了。不管好坏,当初和现在很多资源均来自我们论坛,还是有那么一点点贡献。我们将继续提供更多的ⅥP教程、资源,将陆续开通树莓派产品中心,树莓派百科中心,供大家参考使用。重点来袭,本店目前800种产品,其中95%有资料或教程(力争做到100%),在商品介绍中都会直接展示或链接指向。遇到什么问题,也可以先去下载相关资料来折腾解决。如果是套餐中的产品,哪个产品遇到问题,就到其商品介绍中査看2018年版《使用手册》是第四版,尽量做到简洁,直奔主题。希望能继续帮到大家。二、硬件认识干兆网卡2*2USB接口GPIO排针POERAMCPU标准HDM接口音频及AV视顷网线接口电源管理IC输出口,3.5mmCS接口TF卡槽入直接插拔,不会弹起(2018年3月树莓派3代B+型,正面,背面展示)3/49树莓派论坛:htt:/wWw.shumeikai.net淘宝店:htps:/raspi.taobao.comCORNER RADIUS 3 01Z-lltight: L5.9.623495647262 Height: 13.53.510.253.510.63213(树莓派3代B+主板尺寸图)声明、下载、购买3.1、本手册中所有链接,按下ctl键,同时鼠标点击左键,即可打开页面32、本手册中树莓派系统为:2018-04-18- Caspian- Stretch,下称树莓派系统。33、本手册中用到的PC部分,均基于 windows7系统,下称电脑。34、本手册中提到的配件在我们淘宝店(点此访问)均可购买35、本手册中所提到的资源在我们论坛资源中心(点此访问)均可下载。四、系统安装41、 Raspbian系统及工具下载下载树莓派 Raspbian系统:点此下载;其它系统下载,点击这里。树莓派3B+只能使用2018-03-13及之后的 caspian版本,否则可能无法正常使用或功能不全。系统安装软件—Win32 diskimager:点此下载,并安装好。4.2、系统安装步骤4.2.1、将TF卡装入USB读卡器,并将读卡器插入电脑的USB接口。4/49树莓派论坛:htt:/wWw.shumeikai.net淘宝店:htps:/raspi.taobao.com4.2.2、将第4.1步下载好的系统,解压缩得到〃im文件(不需要再解压),这是树莓派系统的镜像文件;放到没有中文或者特殊符号的文件夹下。433、打开Win32 diskimager,如下图s Win> isk imager5工国MDsH&=hC盘T工色是d4.2.4、如下图,点击(3)选择将系统装到哪个盘符。点击(2)选择下载好的树莓派系统镜像文件,选择好后,如(1)。点击(5)—Wte,点击后,自动安装系统s Win3? Disk Imager回双」(1)卫;}xpi!S!21吕-04-18- aEpbiQr-th. imge:51白三雪0. Thrit10.7004MB/s(4)(5)4.25、(4)是备份按钮,当配置好一个系统后,点击READ,就可以将TF卡内的系统备份到电脑。此刻不做备份,还有很多没配置好。4.2.6、此时查看TF卡,不管原本多大容量,这时候顶多显示只有几十兆了,如下图1(原本16G)。这都是正常的,具体原因这里不赘述,点此查看。也可以鼠标右键“计算机”或“我的电脑”——管理——存储一磁盘管理中可以找到盘符的真正容量,如下图2:boot (G:208MB可用,共424MB(图1)磁血2可移动boot(1484GB43 MB4.57 GB10.22GB联机状态良交状态最好(主分区末分配图2)不要拔掉读卡器和TF卡,下一步有用5/49树莓派论坛:htt:/wWw.shumeikai.net淘宝店:htps:/raspi.taobao.com五、关机配置系统5.1、开启SSH功能在电脑上,进入TF卡,新建一个以sh命名且没有后缀的空文件(如下图)即可开启SSH。也可以点击这里下载直接使用。攻本立档(2)cmdline.tct本空Aconfig.toct本立档322字节文件(1)ssh文件5,2、 config. txt配置文件5.2.1、准备代码编辑软件,已经安装可忽略,下载点击这里。52.2、如今的系统,可以不用配置 config. txt文件,直接使用。一般情况系统会自适应显示器尺寸等〔特殊尺寸还是需要配置,而且还比较麻烦)。很有必要了解下面的章节。5.2.3、如上一图, windows系统上操作,直接进入装了系统的TF卡,就可以找到 confid文件(如果是inux系统,则在/home/pi下面)。用代码编辑器打开config,tx不要用记事本等,如下图G:config. txt-Notepad++ [AdnDD x文件(编()搜素(S)视图(格式M)语言()设置(D宏(0)运行(指件()囗M?X回音|南喻酯|e|諂智|卫品For more options and information see2thttpi/rdz3 a Some settinge may ipact device functionality. see linkabove for details5 uncomment if you get no picture on aDM- Ior a deia ltmodea uncomment this if your c-splay has a b-ack border funused pixels visible9 a and your display can output wishout overscan10书ia1 OVErsCaN=1112 uncomment the following to ad-ust overscan. Use13geB日c工≡en, End neCa阳12he21 E cO0 MuCh上rde21 #overscan lE=t=16Ln: 8 Col: 7? Sel: 0|0UNIX0-8INS5.2.3、可以看到最后一行前面没加#,加了#表示不生效,注释掉了。这里着重说几个参数(=号后面的数字我们已做调整,你可以照抄调试)6/49树莓派论坛:htt:/wWw.shumeikai.net淘宝店:htps:/raspi.taobao.comhdmi force hotplug =1hdmi_ group=2hdmi mode= 16hdmi drive =2config_hdmi_boost=4arm_freq =800de=2hdmi mode表示分辨率, hdmi diⅳe=2表示声音从HDMI接口输出,为1就是3.5mm耳机孔输出。若要全面了解 config. txt各类参数含义,请点击这里查看中文版,官方英文版点击这里。至此非开机状态的系统配置过程完毕,下面进行必要的配件安装过程讲解。六、GP|O针脚定义及编码树莓派GPIo的编码有些混乱,不同的API(如 wiring,RP.GPIO等)对GPIo的端口编号并不一样,用最多的还是BCM编码,不要被功能定义这里的GPIO.0.2345.6…所迷惑61、各类针脚编码定义展示树莓派40 Pin gPo针脚定义图W工五nEP五BC编码功能定|B0ARD编码物理编码到即功能定义EC编码1BP22STSC 1GHDGPIO.IDG.D10RD151617GPIO.0 11 12 GPIO.l27GP工U.2314LGND shumeikai.net22cPI0.31516cPI0.4231718GPIO.524121920GHD13LITSO212?PT025SCLK2324CEO82526CE1300SDAO228SCL O31215GPT.212930G五D22GPI0.223132GPIO.261222313GPI0233334GD2419GPI0243536GPIO.272I2526GI0253738GnIo.28202G.D3940GPTo.292129本农出树莓派论坛制作htLp/w. hww:shumei,me量7/49树莓派论坛:htt:/wWw.shumeikai.net淘宝店:htps:/raspi.taobao.com6,2、GPIO库6.2.1、API等wiring c:有Per,PHP,Ruby,Node.Js等,支持 wiringPi Pin和 BCM GPIO两种编号RPi. GPIO Python:支持 Board pin和 BCM GPIO两种编号Webiopi: Python,使用 BCM GPIO编号Wiring-Go:Go语言,支持以上三种编号62.2、GPIO针脚权威网站:点击这里6.3、树莓派3代B+简洁针脚定义图Raspberry Pi 3 B+ GPlo HeaderEPin#t NAMNAME Pin#013.3y DC PowerDC Power 5v0203 GPIO02 (SDA1, FC)DC Power 5v04GPIO03 ( SCL1,I2C)GroundGPIO04(GPIO GCLK) O(TXDO)GPIO 14Ground(RXDO)GPIO15 101 GPIO17(GPIO_GENO)O(GPIO_GEN1)GPIO1813 GP1O27GPIO_GEN2) o.Ground1415 GPIO22(GPIOGEN3) OO(GPIO_GEN4)GPI023 16773. 3y DC PowerOo(GPIO-GEN5)GPIO2418GP1O10 (SP_MOSI)Ground21 GP1O09(SPIMISO)oO(GPIO GEN6) GPIO2523 GPIO11(PI CLK(SPI CEO N) GPIO08 2425Ground(SPI CE1 N) GPlO07 2627 ID_SD(12C ID EEPROM)OO(IC ID EEPROM)ID_SC 2829GPIO05Ground37GP1006((GPIO123233GP1O13Ground3435GPIO19GPIO1637GP1O26GPIO2039GroundGPI021Raspberry Pi 3 B+ PoE Header01TR018TROO02TR03TRO204Rev. 108汇03/2018CGswww.element14.com/raspberrypi8/49树莓派论坛:htt:/wWw.shumeikai.net淘宝店:htps:/raspi.taobao.com七、外设的安装71、安装TF卡TF卡是树莓派必须配件,用于存储系统和数据。不可直接用U盘或者其它外部存储设备代替。所谓TF卡,即 Mciro sd卡,不是大尺寸的SD卡,而是小卡72、散热片安装树莓派3B+性能上的提升,导致功率明显增大,散热需求更大。有四五个芯片值得安装散热片,做好散热可以明显提升寿命安装方法:起开散热片背面的硅胶贴纸,即可粘贴在芯片上。粘贴前先大概每个芯片上放一个散热片,比较下大小,对不对。即可快速装好。73、安装温控模块和风7.3.1、安装风扇将风扇接口插到GPIO上的5V和GND针脚即可。如果不转,对调下5V和GND即可。5V用3V3针脚代替也行。7.3.2、安装温控模块:9/49树莓派论坛:htt:/wWw.shumeikai.net淘宝店:htps:/raspi.taobao.com将风扇接λ温控模埉旳正负极。温控模块使用的是5V、G№D、GPⅠOΣ针脚,进行控制。使用说明及代码例程,看这里,不做代码操作的话,风扇接通就转动。通代码进行控制温控模块,可以为风扇设置启停阀值,以及风凉大小。74、连接视频线、USB设备、电源安装保护壳保护壳多种多样,这里不做过多表述,对应商品介绍中都有安装说明或者教程链接7.4.1、安装视频连接线树莓派视频输岀接口有标准HDMI接口和3.5MMNV接口(音视频一体)。也就是你的显示器可以是HDM接口,VGA接口,DⅥ接口,AV接口等视频输入接口,只不过除HDM接口外,其它接口都需要转接线,例如HDMI转VGA,HDM转DⅥ等等。接插很简单,不赘述。需要指出,笔记本的视频接口大多数是视频输出接口,而不是输入。故此笔记本不能直接作为显示器,可以通过远程访问来当作显示器,后面有专门讲解。74.2、安装USB设备树莓派接口为USB2.0,2*2个。跟上代无差别。常见的USB设备是兼容的,只需要将USB头插到树莓派USB接口上即可。7.4.3、电源的安装树莓派的专用电源输入接口是 Micro usB。由于树莓派没有开关,也无法通过系统强制关闭电源,因此强烈建议准备一条带有开关的电源线,而且至少能过5V2.5A,最好是3A。八、上电启动81、有独立显示器的情况有独立显示器的用户,如果配置正常,启动后会自动进入桌面。这时候就算成功了,开始折腾之旅。当然设置的如果是命令行模式,那么如下图,这样的话,也就启动成功了:piGraspberryp主:10/49
- 2020-11-30下载
- 积分：1
