登录
首页 » C# » 一款用C#开发的网络爬虫程序

一款用C#开发的网络爬虫程序

于 2022-12-26 发布 文件大小:2.26 MB
0 30
下载积分: 2 下载次数: 1

代码说明:

ShootSearch是一款用C#开发的网络爬虫程序。其内核包含爬虫,存储,网页后期处理,索引生成等。 在抓取网页的过程中,可以灵活的制定多种规则,过滤URL,内置一个可无限增长的后继队列模块,可以随时暂停或者停止抓取,抓取的网页可以分时或者按照指 定大小切块存储(自定义的大文件系统)。 在网页的处理过程中,内置一个规则处理引擎,可以通过编写正则表达式灵活的提取或者过滤文字信息,将有用的信息存储到数据库(通用的数据库接口)或者 生成索引(支持Lucene和Hubble.NET)。 内置一个支持Lucene的中文切词模块。 基于Quartz.NET的任务调度(),每一个步骤(抓取,处理,生成索引)都是一个Job,每个Job都可以根据XML来灵活组合和扩充。 内置多种接口,开发人员可随时根据需求自己开发替换某个模块。

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • DWM1000
    DWM1000室内定位源码,UWB超带宽室内定位。(DWM1000 indoor location source code, UWB ultra bandwidth indoor location.)
    2020-10-12 15:07:36下载
    积分:1
  • AD7124-STM32
    AD7124驱动程序,基于STM32单片机(AD7124 AND STM32 DANPIANJI)
    2021-03-02 15:59:33下载
    积分:1
  • 0--9shibie
    用MATLAB 实现一简单的数字(0--9)识别程序,非常好的源码。(Using MATLAB to achieve a simple number (0- 9) identification procedures, a very good source.)
    2008-01-04 10:40:19下载
    积分:1
  • ipmsg342_installer
    ip messanger installer
    2013-12-31 03:08:57下载
    积分:1
  • DBSCAN-master
    说明:  可以用dbscan算法对二维数据进行聚类分析,从而找出离群异常点(We can use DBSCAN algorithm to cluster two-dimensional data to find outliers.)
    2019-03-20 12:28:44下载
    积分:1
  • 89C55 t6963c control, debugging with the write KEILC
    89C55控制t6963c,已调试 用KEILC写的-89C55 t6963c control, debugging with the write KEILC
    2022-03-07 10:34:54下载
    积分:1
  • 3G模块应用代码
    本程序为3G模块详细应用代码,具体可参考3G模块资料
    2022-03-09 11:57:39下载
    积分:1
  • 财神到flash棋牌游戏
    可以架设自己的游戏,带安装架设教程。简单几步即可实现棋牌游戏
    2022-05-13 23:09:09下载
    积分:1
  • GouWuJie
    1、ADO技术 2、用对话框显示图片 3、对话框动态伸展(1, ADO technology 2, with a dialog box is displayed pictures 3, the dialog dynamic extension)
    2016-01-25 22:02:17下载
    积分:1
  • 节点根据距离远近选择加入簇
    节点根据距离远近选择加入簇,普通节点位置随机,簇头位置固定,节点通过判断与各个簇头距离的远近,选择加入离他最近的簇。
    2022-09-27 17:25:03下载
    积分:1
  • 696518资源总数
  • 104224会员总数
  • 54今日下载