登录
首页 » C#源码 » 一个C# 多线程的网页异步抓取类文件代码

一个C# 多线程的网页异步抓取类文件代码

于 2023-05-03 发布 文件大小:6.57 kB
0 71
下载积分: 2 下载次数: 1

代码说明:

一个C#编写的多线程异步抓取网页的网络爬虫控制台程序类代码,这个类实现对网页URL指定内容网页的抓取,并抓取 内容中的链接、文字内容、从HTML代码中分析出链接信息等,本类中还定义了大量的私有方法,从这些私有方法中可从HTML文本中提取出一定字数的纯文本、提取网页中一定字数的纯文本,包括链接文字、提取一定数量的链接,该链接的URL满足某正则式、提取本网页的纯文本中满足某正则式的文字等。   本代码作者:大黑。   本爬虫程序的速度如下:   10线程最快大概400个链接每分钟   6-8线程最快大概200-300个链接每分钟   2-4线程最快大概150-200个链接每分钟   单线程最快大概70-100个链接每分钟   之所以用多线程异步抓取完全是出于效率考虑,本程序多线程同步并不能带来速度的提升,只要抓取的网页不要太多重复和冗余就可以,异步并不意味着错误。

下载说明:请别用迅雷下载,失败请重下,重下不扣分!

发表评论

0 个回复

  • C# 设置制表位控制文本项的输出位置
    C# 设置制表位控制文本项的输出位置,将文字输出成表格的样式:   设置制表位控制文本项的输出位置    string MyText = " 姓名 高等数学 离散数学 数据结构 ";    MyText = MyText + "李开斌 95 81 92 ";    MyText = MyText + "汤小敏 78 84 75 ";    MyText = MyText + "汤柱兰 84 76 82 ";    MyText = MyText + "蒋兰坤 85 92 66 ";    MyText = MyText + "黄 丽 83 91 75 ";    MyText = MyText + "张中姣 75 88 82 ";    FontFamily MyFontFamily = new FontFamily("宋体");    Font MyFont = new Font(MyFontFamily, 10, FontStyle.Regular, GraphicsUnit.Point);    Rectangle MyRect = new Rectangle(25, 70, 280, 110);    SolidBrush MyBrush = new SolidBrush(Color.FromArgb(255, 0, 128, 255));    StringFormat MyFormat = new StringFormat();    float[] MyTabArray = { 60, 80, 80 };    MyFormat.SetTabStops(0, MyTabArray);    e.Graphics.DrawString(MyText, MyFont, MyBrush, MyRect, MyFormat);
    2022-02-28 17:10:41下载
    积分:1
  • 5G 毫米波ns-3下仿真
    5G  毫米波 天线仿真  ns-3/ns3平台下的C++ 程序
    2022-07-08 09:28:17下载
    积分:1
  • 基于C#的右下角窗体弹出实例+基于C#的右下角窗体弹出实例+基于C#的右下角窗体弹出实例+
    基于C#的右下角窗体弹出实例+源代码基于C#的右下角窗体弹出实例+源代码基于C#的右下角窗体弹出实例+源代码基于C#的右下角窗体弹出实例+源代码
    2022-02-12 22:25:41下载
    积分:1
  • C# 为文字创建渐变色的下划线
    C# 为文字创建渐变色的下划线,放大后还是很漂亮的,下划线变成了点状的,而且是颜色是渐变的,下面介绍实现这一功能的代码,给字符串创建渐变色下划线,核心代码如下:   TextDecoration MyUnderline = new TextDecoration();   Pen MyPen = new Pen();   MyPen.Brush = new LinearGradientBrush(Colors.Green,    Colors.Blue, new Point(0, 0.5), new Point(1, 0.5));   MyPen.Brush.Opacity = 0.5;   MyPen.Thickness = 1.5;   MyPen.DashStyle = DashStyles.Dash;   MyUnderline.Pen = MyPen;   MyUnderline.PenThicknessUnit = TextDecorationUnit.FontRecommended;   TextDecorationCollection MyCollection = new TextDecorationCollection();   MyCollection.Add(MyUnderline);   this.textBlock1.Text = "中华人民共和国";//自定义要显示下划线的文字   this.textBlock1.FontSize = 48;   this.textBlock1.TextDecorations = MyCollection;   需要请下载完整源码。运行效果图如下。
    2022-01-22 05:14:06下载
    积分:1
  • C# 打印XPS文档 XPS文件打印
    C# 打印选择的XPS文档,打印XPS文件,相关代码如下:   private void button1_Click(object sender, RoutedEventArgs e)   {//打印选择的XPS文档    var MyDlg = new Microsoft.Win32.OpenFileDialog();    MyDlg.InitialDirectory = System.IO.Directory.GetCurrentDirectory();    MyDlg.Filter = "XPS文件(*.xps)|*.xps|所有文件(*.*)|*.*";    if (MyDlg.ShowDialog() == true)    {    string MyFileName = MyDlg.FileName;    var pDialog = new PrintDialog();    pDialog.PageRangeSelection = PageRangeSelection.AllPages;    pDialog.UserPageRangeEnabled = true;    if (pDialog.ShowDialog() == true)    {    var MyDocument = new System.Windows.Xps.Packaging.XpsDocument(MyFileName, System.IO.FileAccess.ReadWrite);    FixedDocumentSequence MyFixedDocumentSequence = MyDocument.GetFixedDocumentSequence();    pDialog.PrintDocument(MyFixedDocumentSequence.DocumentPaginator, "我的XPS打印文档");    }    }   }
    2022-03-23 09:37:24下载
    积分:1
  • C# 注册表浏览器-仿Windows
    C# 注册表浏览器源码,代码中一些注册表的操作很有实用价值,比如判断node代表的注册键属于哪一个根键,去掉前头的“我的电脑”,如果不是根键,找出路径,取得注册键对象,取得节点所代表的键,取得某一键值所有子键的名称,把所有子键名加入TreeView中,编译运行后,还真挺像windows自身的注册表编辑器,通过这个程序,你可以浏览系统注册表中的各个节点、键值等信息。
    2022-03-13 01:12:07下载
    积分:1
  • C# 在分组查询中使用ROLLUP
    C# 在分组查询中使用ROLLUP,///   /// 查询数据库信息   ///   /// 方法返回DataTable对象   private DataTable GetEmployee()   {    string P_Str_ConnectionStr = string.Format(//创建数据库连接字符串    @"server=LVSHUANGSHJ;database=db_TomeTwo;uid=sa;pwd=");    string P_Str_SqlStr = string.Format(//创建SQL查询字符串    @"SELECT 所属部门,性别, AVG(工资) AS 平均工资 FROM tb_Employee GROUP BY 所属部门,性别 WITH ROLLUP");    SqlDataAdapter P_SqlDataAdapter = new SqlDataAdapter(//创建数据适配器    P_Str_SqlStr, P_Str_ConnectionStr);    DataTable P_dt = new DataTable();//创建数据表    P_SqlDataAdapter.Fill(P_dt);//填充数据表    return P_dt;//返回数据表   }
    2022-01-25 22:57:00下载
    积分:1
  • C# WPF 制作3D动画旋转的地球 超赞 附
    C# WPF 制作3D动画旋转的地球 超赞 附源码,在源代码中使用了3DTools.dll,不过这仍然是一个非常棒的三维动画实例,使用WPF技术,将一幅静态的BMP地球图像,制作成动态的圆形的地球旋转动画,超逼真的地球动画,请参见测试截图。本源码可为广大C#爱好者学习WPF技术提供一个得力的参考。
    2022-03-22 09:21:02下载
    积分:1
  • C#保存和显示XML图像文件
    C#保存和显示XML图像文件的源码,本程序实现的功能主要是打开一个图像,格式为JPeg, Gif, Bmp, etc等,然后可保存XML图像文件,还可显示显示XML图像文件,每一步操作都会以MessageBox.Show的方式弹出对话框提示。
    2023-06-27 15:40:04下载
    积分:1
  • C# IrisSkin2.dll实现漂亮的窗口 并显示加载的Loading动画
    C# IrisSkin2.dll实现漂亮的窗口 并显示加载的Loading动画 ,读取数据的时候显示Loading,制作一个窗体的操作等待功能,用来演示Loading效果的窗口也是相当漂亮哦,不过这个窗口的实现是使用了一个第三方的组件: IrisSkin2.dll,使用时请确保在Debug目录下。使用了WaitingBox插件。   窗口中的按钮风格圆滑,单击后会出现Loading动画效果,窗口中同时显示"正在处理数据,请稍后...";如示例图所示的效果。
    2022-02-26 00:39:03下载
    积分:1
  • 696518资源总数
  • 104269会员总数
  • 31今日下载