模式识别——基于ID3算法的三次改进
ID3算法是决策树的鼻祖，最早于1986年由Quinlan提出，全称是Iterative Dichotomiser 3 [1]。在这篇课程报告中，我将对经典的ID3做出三次改进：1.把 info gain 改进为 gain ratio；2. 把简单投票的过程改进为朴素贝叶斯的方法；3. 将许多颗ID3决策树打造成随机森林。本人将在Weka平台进行二次开发，并且用Weka-Experiment做大量实验，和其它著名的算法进行比较，最后做出综述。项目的源代码开源在本人的GitHub主页上。未来工作有以下几点:是那么容易就可以随机出来的1.在 Improvement Two中,3树的生长的深度限3.可以把这三种改进方法糅合在一起,看看三种制在多少,可以进行进一步的研究改进组合在一起,能不能产生性能更加的算法2.在 Improvement Three中,本人费劲心思写出来4.上述所有方法都是基于属性为 nominal的数据的“随机森林”,正确率反而比D3更差。虽然集,可以进一步研究属性为 numerical,甚至是很使我伤心,但是我在写代码、调试代码、还有两者混合的数据集。思考的过程中有了不少长进。看来随机森林不L己ta3et(1 caitao.I(2) caita (3 caita (4 caita (5) trees (6)treesca置,色va1 eatlon(100)B9.19|81.36*92.85V78.日9*94.43W93.40Vweather. symbolic100)79.00|56.507s.0079.57.506,50{v!/*)|(0/1/1)(1/1/0(011/1)(1/1/0)(1/1/0Re1)caia。,工3"-26936786470963225612) CaILE。 gainRatio.工D311-2693678647096322561(3 caitao naiveBayes. ID3-26936786470963225614)cata0 andomforest,ID31-2593678647096322561{5) trees. NBTree"-47160057070582560866) trees. Randomforest"-10-4-51- depth101-2260823972777004705图-7: Weka-experiment实验结果。总共6个算法,2个数据集。6个算法中(1是原始的1D3算法,后面(2)-(4)是本人的改进算法,(5)和(6)是Weka平台自带的算法。GitHub较风趣;另一方面,蒋老师在我上机实习的过程过,本次模式识别上机实刁的代码,全部公开在本人的回答了我不少疑惑,虽然这些疑惑对于蔣老师而言GitHub主页上面,ur地址如下:可能十分幼稚,但是依然完整解决了我的问题。1. Improvement one:https://github.com/caitaozhan/id3improvements/treREFERENCES/gain ratio2. Improvement TwoJhttps://en.wikipedia.org/wiki/id3algorithmhttps://github.com/caitaozhan/id3_improvements/tre[2]决策树,蒋良孝的PPTChapter2-8e/naive bayes[3] Data Mining Practica/ Machine Learning Tools and3. Improvement threTechniques--Chapter4.3https://github.com/caitaozhan/id3improvements/tre[4贝叶斯分类,将良孝的PPTChapter3-15e/random forest[5]http://archive.ics.uci.edu/ml/datasets/car+evaluation[6]https://en.wikipediaorg/wiki/random_subspace_methodAcknowledgements感谢蒋良孝老师对于我的指导。一方面,蒋老师上课讲解十分到位,关键部位一点就通了,不仅如此还比
- 2020-12-07下载
- 积分：1
数学建模算法与应用习题答案
这是司守奎黄皮书的习题答案 大家可以参考一下普通高等院校“十二五”规划教材数学建模算法与应用习题解答司守奎孙玺菁张德存周刚韩庆龙编著263所一荤出版北京内容简介本书是国防工业出版社出版的《数学建模算法与应用》的配套书籍。本书给出了《数学建模算法与应用》中全部习题的解答及程序设计,另外针对选修课的教学内容,又给出一些补充习题及解答。本书的程序来自于教学实践,有许多经验心得体现在编程的技巧中。这些技巧不仅实用,也很有特色。书中提供了全部习题的程序,可以将这些程序直接作为工具箱来使用本书可作为讲授数学建模课程和辅导数学建模竞赛的教师的参考资料,也可作为《数学建模算法与应用》自学者的参考书,也可供参加数学建模竞赛的本科生和研究生以及科技工作者使用。图书在版编目(CIP)数据数学建模算法与应用习题解答/司守奎等编著.一北京:国防工业出版社,2013.1普通高等院校“十二五”规划教材ISBN978-7-11808543-3I.①数.Ⅱ.①司.Ⅲ.①数学模型一高等学校—题解Ⅳ.①O141.4-44中国版本图书馆CP数据核字(2013)第001100号囤所社出版发行(北京市海淀区紫竹院南路23号邮政编码100048)北京奥鑫印刷厂印刷新华书店经售开本787×10921/16印张101字数240千字2013年1月第1版第1次印刷印数1—4000册定价25.00元(本书如有印装错误,我社负责调换)国防书店:(010)8854077发行邮购:(010)88540776发行传真:(010)88540755发行业务:(010)88540717前言本书是国防工业出版社出版的《数学建模算法与应用》的配套书籍。《数学建模算法与应用》的前7章、第14章和第15章可以作为选修课的讲授内容,其余部分可以作为数学建模竞赛的培训内容。对于选修课部分的章节,我们又补充了一些习题,并且给出了全部习题的解答及程序设计。习题是消化领会教材和巩固所学知识的重要环节,是学习掌握数学建模理论和方法不可或缺的手段。学习数学建模的有效方法之一是实例研究,实例研究需要亲自动手,认真做一些题目,包括构造模型、设计算法、上机编程求解模型。书中提供了全部习题的程序,因而读者不仅可以从中学到解题的方法,还可以将这些程序直接作为工具箱来使用。对于数学建模的一些综合性题目,本书提供的解答可以作为参考,因为这类题目的解答是不唯一的。作为读者,应该努力开发自己的想象力和创造力,争取构造有特色的模型。作者布望学习数学建模的读者,对于这部分综合性题目不要先看本书给出的解答,可以等自己做出来之后,再与本书解答比较。由于作者水平有限,书中难免有不妥和错误之处,恳请广大读者批评指正最后,作者十分感谢国防工业出版社对本书出版所给予的大力支持,尤其是责任编辑丁福志的热情攴持和帮助。需要本书源程序电子文档的读者,可以用电子邮件联系索取:896369667qqcom,sishoukui@163.comoⅢ目录第1章线性规划习题解答第2章整数规划习题解答……………………………13第3章非线性规划习题解答………………26第4章图与网络模型及方法习题解答…………………33第5章插值与拟合习题解答…56第6章微分方程建模习题解答第7章目标规划习题解答第8章时间序列习题解答……………………………………………87第9章支持向量机习题解答s102第10章多元分析习题解答106第11章偏最小二乘回归分析习题解答…130第12章现代优化算法习题解答136第13章数字图像处理习题解答……………………………143第14章综合评价与决策方法习题解答147第15章预测方法习题解答…………*………………153参考文献………162第1章线性规划习题解答1.1分别用 Matlab和 Lingo求解下列线性规划问题maxzx2x,+x;≤11-4x1+x2+2x3≥3,2x1+x3=1x1,x2,x3≥0解(1)求解的 Matlab程序如下:clc. clearC=[3:-1-’;===a=[1--21;4-1=2];b=[11,-3]’;aeq=[-2.01];beq=1;Ex,y]=linprog(-cs a, b, aeq, beg, zeros(3, 1 ))y=-y8换算到目标函数极大化求得=49,z=2.(2)求解的 Lingo程序如下:modele setsco1:.3/c,x;row:2/blinks( row, col):a;:nse.endsetsdata.a.=1-214-=1-2.;2b=11--3∵,enda三:max=esum( col: C *x)afor(row(i): esum(col(3):a(1 3)*x())
- 2021-05-07下载
- 积分：1
