网站首页

登录

C# 网络爬虫

于 2015-09-14 发布

 0  234

下载积分: 1 下载次数: 1

我要下载

代码说明：

测试了下：抓取单页没事，批量抓取暂时没发现在哪里。。。网络爬虫程序源码这是一款用 C# 编写的网络爬虫主要特性有：可配置：线程数、线程等待时间，连接超时时间，可爬取文件类型和优先级、下载目录等。状态栏显示统计信息：排入队列URL数，已下载文件数，已下载总字节数，CPU使用率和可用内存等。有偏好的爬虫：可针对爬取的资源类型设置不同的优先级。健壮性：十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。较好的性能：基于正则表达式的页面解析、适度加锁、维持HTTP连接等。今后有空可能加入的特性：新特性介绍爬取文件用Berkeley DB存储提高性能：常用操作系统不善于处理大量小文件基于URL Ranking的优先级队列主题爬虫：机器学习算法对链接与主题相关度进行评估，并按照得出的优先级顺序进行爬取爬虫礼仪遵循爬虫禁止协议、以及避免对服务器资源的过度使用等性能优化用UDP取代封装好的HttpWebRequest/ResponseDNS缓存异步的DNS地址解析硬盘缓存或内存数据库以避免频繁的磁盘寻道分布式爬虫以扩展单机能力（CPU、内存和硬盘访问）

下载说明：请别用迅雷下载，失败请重下，重下不扣分！

发表评论

0 个回复

log4net debug不记录日志问题原因例子
默认的log4net 不记录Debug，将中的INFO 改成 DEBUG 即可，如下：

2014-10-16下载

积分：1
基于51单片机的硬币电子秤的实现
这是基于51单片机的硬币电子秤的实现，内含C语言源码和proteus仿真实现【源码目录】硬币电子秤的实现 ├── 1Kg电子秤程序（LCD1602显示）│ ├── HX711.H│ ├── HX711.LST│ ├── HX711.OBJ│ ├── HX711.c│ ├── LCD1602.LST│ ├── LCD1602.OBJ│ ├── LCD1602.c│ ├── LCD1602.h│ ├── MAIN.H│ ├── lcd12864.LST│ ├── lcd12864.OBJ│ ├── lcd12864.c│ ├── lcd12864.h│ ├── main│ ├── main.LST│ ├── main.M51│ ├── main.OBJ│ ├── main.c│ ├── main.hex│ ├── main.lnp│ ├── main.plg│ ├── main.uvgui.Administrator│ ├── main.uvgui.Cai Chao│ ├── main.uvgui_Administrator.bak│ ├── main.uvgui_Cai Chao.bak│ ├── main.uvopt│ ├── main.uvproj│ ├── main_uvopt.bak│ ├── main_uvproj.bak│ ├── uart.LST│ ├── uart.OBJ│ ├── uart.c│ └── uart.h├── HX711模块加载文件│ └── HX711.hex├── Last Loaded 电子秤实现3.fv8.5.pdsbak├── Last Loaded 电子秤实现3.pdsbak├── 电子秤实现3.pdsprj├── 电子秤实现3.pdsprj.DESKTOP-SC10NBS.zxh.workspace└── 电子秤实现3.pdsprj.LAPTOP-KPK9NO8B.浪峰姐姐.workspace2 directories, 39 files【核心代码】void main(){ Uart_Init(); Send_Word("Weight"); Send_Word("Num"); Init_LCD1602(); LCD1602_write_com(0x80); LCD1602_write_word("Weight"); LCD1602_write_com(0x80 7); LCD1602_write_word("Num"); Delay_ms(1000); //ÑÓÊ±,µÈ´ý´«¸ÐÆ÷ÎÈ¶¨ Get_Maopi(); //³ÆÃ«Æ¤ÖØÁ¿ while(1) { EA = 0; Get_Weight(); //³ÆÖØ Number = Weight_Shiwu/(coin_weight*10); EA = 1; Scan_Key(); //ÏÔÊ¾µ±Ç°ÖØÁ¿ if( Flag_ERROR == 1) { Send_Word("ERROR"); LCD1602_write_com(0x80 0x40); LCD1602_write_word("ERROR "); } else { Send_ASCII(Weight_Shiwu/1000 0X30); Send_ASCII(Weight_Shiwu%1000/100 0X30); Send_ASCII(Weight_Shiwu%100/10 0X30); Send_Word("."); Send_ASCII(Weight_Shiwu%10 0X30); Send_Word("g"); LCD1602_write_com(0x80 0x40); LCD1602_write_data(Weight_Shiwu/1000 0X30); LCD1602_write_data(Weight_Shiwu%1000/100 0X30); LCD1602_write_data(Weight_Shiwu%100/10 0X30); LCD1602_write_word("."); LCD1602_write_data(Weight_Shiwu%10 0X30); LCD1602_write_word("g"); Send_ASCII(Number/100 0x30); Send_ASCII(Number%100/10 0x30); Send_ASCII(Number%10 0x30); LCD1602_write_com(0x80 0x40 7); LCD1602_write_data(Number/100 0x30); LCD1602_write_data(Number%100/10 0x30); LCD1602_write_data(Number%10 0x30); Send_ASCII(coin/10 0x30); Send_ASCII(coin%10 0x30); Send_Word("jiao"); LCD1602_write_com(0x80 12); LCD1602_write_data(coin/10 0x30); LCD1602_write_data(coin%10 0x30); LCD1602_write_com(0x80 0x40 12); LCD1602_write_word("jiao"); } }}

2021-05-06下载

积分：1
编辑
编辑

2013-06-25下载

积分：1
C#实现Led指示灯(自定义用户控件)
使用GDI 实现Led指示灯，可配置开关状态的颜色，圆形和方形

2021-05-07下载

积分：1
微软TTS语音源码(将文本转为语音并播放)
利用微软TTS语音，字符串转语音播放，或者保存为语音文件。语音库需自行下载，推荐Hui 发音人微软TTS文字转语音发音人修复微软TTS语音 Win7修复发音人

2019-10-17下载

积分：1
OPC通讯实例(C#通过OPC连接PLC读写数据)
C#通过OPC连接PLC读写数据

2018-10-31下载

积分：1
2013高仿QQ
华夏联盟高仿QQ带源码软件大小： 70 kB 软件语言：简体中文软件性质：国产软件软件授权：免费软件更新时间： 2013-6-16 应用平台： Win7/Vista/Win2003/WinXP

2013-06-16下载

积分：1
wpf 仿qq登陆翻转效果源码下载
wpf 仿qq登陆翻转效果源码下载

2015-03-25下载

积分：1
winform 玻璃按钮(仿vista)控件源码
winform 玻璃按钮(仿vista)控件源码

2018-10-16下载

积分：1
c# winform FTP连接服务器对文件进行操作
c# winform FTP连接服务器对文件进行操作

2020-12-11下载

积分：1

696518资源总数
105678会员总数
22今日下载