HttpWebRequests速度减慢或超时

简介

我正在制作一个应用程序，为代理ips/端口抓取文件/网站。实现完全是异步的，以使它以我想要的速度流动。应用程序的全部目的是找到"活动"的代理。

为了检查一个代理是否是活的，我正在为一个特定的网站制作一个HttpWebRequest，如果成功，它就是活的，如果没有，那么它就是死的。

问题

一个例子：

首次运行：

1. 用30k个代理抓取一个文本文件
2. 为每个代理生成一个HttpWebRequest，以检查它是否"活动">
3. 查找30个活动的代理

第二次运行：

1. 使用30k个代理对同一文本文件进行爬网
2. 为每个代理生成一个HttpWebRequest，以检查它是否"活动">
3. 查找0个活动的代理

如果我等待大约10分钟，那么第二次运行将产生大约30个活跃的代理。否则，它只会在它们上超时，并将它们标记为已死亡。

正如你可能已经明白的那样，我的问题是为什么第二次跑步的结果与第一次跑步的效果不同或接近。

我更改了以下内容：

ServicePointManager.DefaultConnectionLimit = int.MaxValue和ServicePointManager.MaxServicePoints = int.MaxValue

这是我的网络的一个基本限制，还是有其他东西在发挥作用？