登录
首页 » C#源码 » 一个C# 多线程的网页异步抓取类文件代码

一个C# 多线程的网页异步抓取类文件代码

于 2023-05-03 发布 文件大小:6.57 kB
0 86
下载积分: 2 下载次数: 1

代码说明:

一个C#编写的多线程异步抓取网页的网络爬虫控制台程序类代码,这个类实现对网页URL指定内容网页的抓取,并抓取 内容中的链接、文字内容、从HTML代码中分析出链接信息等,本类中还定义了大量的私有方法,从这些私有方法中可从HTML文本中提取出一定字数的纯文本、提取网页中一定字数的纯文本,包括链接文字、提取一定数量的链接,该链接的URL满足某正则式、提取本网页的纯文本中满足某正则式的文字等。   本代码作者:大黑。   本爬虫程序的速度如下:   10线程最快大概400个链接每分钟   6-8线程最快大概200-300个链接每分钟   2-4线程最快大概150-200个链接每分钟   单线程最快大概70-100个链接每分钟   之所以用多线程异步抓取完全是出于效率考虑,本程序多线程同步并不能带来速度的提升,只要抓取的网页不要太多重复和冗余就可以,异步并不意味着错误。

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • si1171驱动代
    si1171测试通过驱动代码,物联网传感器解决方案领先供应商Silicon Labs(亦称“芯科科技”)日前推出新一代心率监测(HRM)传感器产品家族 请点击左侧文件开始预览 !预览只提供20%的代码片段,完整代码需下载后查看 加载中 侵权举报
    2022-02-20 09:26:19下载
    积分:1
  • C#读取文件内容显示在DataGridView表格中
    Visual C#在DataGridView单元格中显示文本文件的内容,可以理解为,从外部读取文件内容,将其显示在DataGridView   单元格中,可以看出,本代码中使用了DataTable对象、OleDb.OleDbDataAdapter对象,外部文件的格式暂定为txt,其它格式需要相关解析组件支持,实现本功能并不难,以下几行代码就可大致实现:   string MyPath = System.IO.Directory.GetCurrentDirectory();   string MyConnectionString = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source="+MyPath+";Extended Properties="text;HDR=yes;FMT=delimited";";   string MySQL = "select * from 季度订单.txt";   DataTable MyTable = new DataTable();   System.Data.OleDb.OleDbDataAdapter MyAdapter = new System.Data.OleDb.OleDbDataAdapter(MySQL, MyConnectionString);   MyAdapter.Fill(MyTable);   this.dataGridView1.DataSource = MyTable;   运行界面效果请参见下图,完整源码请在本页下载。
    2022-03-20 07:42:37下载
    积分:1
  • activeMQ C++
    activeMQ C++源码 ,C++写的源代码,网上找到的,分享给大家。
    2022-09-14 21:05:04下载
    积分:1
  • C# 随机抽题(抽签程序)完整
    一个Visual C# 开发编写的随机抽题(抽签程序)完整源代码,附有程序使用说明和抽答程序的源代码,运行程序窗体加载时隐藏组件,并加载题目,启动计时器,产生随机数,点击开始按钮则开始抽题,所有题目都已经抽完了则重新加载题库!单击停止按钮后,如果列表框中还有值则清空删除。   运行时请注意:如程序不能运行请安装“NetFx20SP1_x86.exe”,Framework2.0框架,关于使用本抽签程序:   1.将程序和题库(文本文件)放在同一目录。   2.文本文件名必须为“抽签目录.txt”   如何编辑题库?(请参照图片“题库编辑说明”)   1.奇数行为题目,偶数行为答案。   2.答案或题目编辑完后才回车。   3.不要留空行。
    2022-03-20 13:23:15下载
    积分:1
  • Visual C#对 XML操作的演示示例集
    这是一个C#操作XML文件的示例集,可完成 如下功能演示:   枚举XML集合中的元素名称   枚举XML集合中的元素文本   判断XML元素在集合中是否存在   筛选XML中的子代元素集合   使用链接轴方法枚举XML元素   根据元素属性查找XML元素   根据元素名称查找XML元素   根据元素属性和名称查找XML元素   根据中间计算值查找XML元素   比如枚举XML集合中的元素文本:private void button2_Click(object sender, EventArgs e)   {//枚举XML集合中的元素文本    XElement MyXElements = new XElement("Root",    new XElement("贵州省", "贵阳市"),    new XElement("四川省", "成都市"));    IEnumerable MyXElement =    from MySelect in MyXElements.Elements()    select MySelect;    string MyInfo = "元素文本包括:";    foreach (XElement MyValue in MyXElement)    MyInfo += MyValue.Value + "、";    //显示:贵阳市、成都市    MessageBox.Show(MyInfo, "信息提示", MessageBoxButtons.OK);   }
    2022-03-14 22:11:51下载
    积分:1
  • 超市版进销存系统,基于C#2010+SQLSERVER
    一个功能实用强大的超市进销存系统,基于C#2010+SQLSERVER开发,属于小型的超市进销存销售管理系统,可对中小型超市进行管理,实现的功能有:   用户交互界面的实现。   对进货信息进行有效的管理。   对用户输入的数据,进行严格的数据检验,尽可能的避免人为错误。   对商品销售信息进行有效的管理。   管理商品库存信息。   系统应最大限度地实现易维护性和易操作性。   本进销存系统登录用户名为:Tsoft,密码为:111。
    2022-07-11 01:50:34下载
    积分:1
  • C# TXT 文本文件操作函数集代
    Visual C# TXT 文本文件操作函数集代码,可演示以下功能:在文本中查询包含一组指定单词的句子、查找两个文本文件中的不同句子、查找两个文本文件中的相同句子、在CSV文本文件中计算单列平均值、在CSV文本文件中计算多列平均值、将两个不同文本文件联接成新文件。
    2023-06-02 12:05:03下载
    积分:1
  • C#演示用Brush填充Rectangle图形
    C#画矩形,然后使用Brush填充Rectangle图形,单击按钮后会生成一个填充过的图形,需要创建Graphics对象,创建一个Brush对象,再使用Rectangle绘制一个矩形,然后使用Brush填充,实现这一过程,核心代码如下:   private void button1_Click(object sender, EventArgs e)   {    Graphics ghs = this.CreateGraphics();//创建Graphics对象    Brush mybs = new SolidBrush(Color.Red);//使用SolidBrush类创建一个Brush对象    Rectangle rt = new Rectangle(10, 10, 100, 100);//绘制一个矩形    ghs.FillRectangle(mybs, rt);//用Brush填充Rectangle   }
    2022-07-06 17:10:54下载
    积分:1
  • C# WPF 图片旋转、放大、扭曲、平移、不透明蒙版等
    这是一个C#图像处理程序,把一张图片平移、顺时针角度旋转、按一定角度扭曲、使用不透明蒙版等功能,以下是实现具体功能的代码,把这些处理功能封装到按钮事件中:   private void button2_Click(object sender, RoutedEventArgs e)   {//缩放图像    if (this.button2.Content=="放大图像")    {    ScaleTransform MyScaleTransform = new ScaleTransform();    MyScaleTransform.CenterX = this.image1.Width / 2;    MyScaleTransform.CenterY = this.image1.Height / 2;    MyScaleTransform.ScaleX = 1.5;    MyScaleTransform.ScaleY = 1.5;    this.image1.RenderTransform = MyScaleTransform;    this.button2.Content = "缩小图像";    }else{    ScaleTransform MyScaleTransform = new ScaleTransform();    MyScaleTransform.CenterX = this.image1.Width / 2;    MyScaleTransform.CenterY = this.image1.Height / 2;    MyScaleTransform.ScaleX = 0.5;    MyScaleTransform.ScaleY = 0.5;    this.image1.RenderTransform = MyScaleTransform;    this.button2.Content = "放大图像";    }   }   private void button3_Click(object send
    2023-01-22 02:10:03下载
    积分:1
  • C# 精仿漂亮360安全卫士窗口
    C# 精仿漂亮360安全卫士窗口 自定义360风格的窗体,使用GDI方式渲染,拥有ToolTip属性的Form基类,可设置是否允许窗体改变大小,包括了系统按钮控制器,对其用参数所构建的窗体系统按钮的控制,造成的阴影效果相当的平滑,且窗口元素可随窗口的大小改变而改变,源码里面的窗体自绘辅助类、自定义窗口类我觉得是相当实用的。
    2022-08-04 09:09:44下载
    积分:1
  • 696518资源总数
  • 104384会员总数
  • 26今日下载