get ;以及很多url的状态码</h1>
<p class="updatetime"> 本文关键字：<a href="/list/url/">url</a> <a href="/list/%E7%8A%B6%E6%80%81/">状态</a> <a href="/list/Title/">Title</a> <a href="/list/get/">get</a> | 更新日期: 2023-09-27 18:07:52</p>
<div class="questions">
<p>我有一个包含url的大列表(list urlList)。目标是为大列表中的每个url获取这三个信息(标签<code><title></code>，标签<code><description></code>和状态码)。请注意，这是一个非常大的url列表，它们可能包含相同的主机。</p>
<p>我试过使用HttpWebRequest，如下所示:</p>
<pre class="language-csharp"><code>request = System.Net.WebRequest.Create(_URL) as HttpWebRequest;
request.UserAgent = "html-analyzor";
request.KeepAlive = false;
request.Timeout = 20000;
this._Response = request.GetResponse() as HttpWebResponse;
// Get title, description, statuscode ...
...
</code></pre><p>它在工作，但不是很好…我不知道它是否与请求的数量有关，但我有时会从一些url(不总是相同的url)得到错误(404,5XX，操作已超时…)</p><p>你们能帮帮我吗?</p><p>认为,</p><p class="c_img"><img src="/d/file/img/13/126043.jpg" alt="get <Title>;以及很多url的状态码" /></p>
</div>
<div class="answers">
<p>听起来您正在浏览URL列表，访问存储每个请求结果的每个URL。你说你的代码工作，但<code>not very well</code>。实际上，它的行为完全符合我的预期，因为:</p>
<ul>
<li>10k url是相当多的。假设90%成功，你将经历1000次失败，这将阻碍你的战略。详细信息请参见以下项目符号:</li>
<li>不是所有来自大URL列表的请求都有效(错误404)</li>
<li>您将无法访问(授权)所有的url(错误5xx)</li>你的超时时间很长，是20秒。有些请求在超时(失败)之前可能会占用所有的时间，从而显著降低应用程序的速度。创建一个更短的超时，并使该值可配置<li>您似乎没有使用线程。这是使用线程和分散工作负载的理想场所。这取决于你对<code>very long list</code>的定义。如果有足够多的url，你甚至可以考虑在几台不同的机器上运行它</li><li>您应该明白，进行这些调用会给目标服务器以及您的机器和网络带来额外的压力。这种额外的资源使用将减慢速度并使超时更有可能发生。</li></ul>
</div>
</article>
<div id="fb-root"></div>
<div class="navigation ">
<div class="row">
<div class="col-6 text-left "><a href='/info_126042.html' rel='prev'><span>上一篇：</span>为什么我的全局变量被重新初始化</a></div>
<div class="col-6 text-right float-right"><a href='/info_126044.html' rel='prev'><span>下一篇：</span>调用Numpy和scikit-从c#学习</a></div>
</div>
</div>
<div class="relative">相关文章：
<ul class="list">
<li><a href="/info_349901.html" target="_blank">更好/有效的方法来检查用户 url 输入</a></li>
<li><a href="/info_349834.html" target="_blank">动态添加的按钮不是触发事件，并且正在丢失状态，尽管在事件中重新添加它pre_init但正在丢失状态</a></li>
<li><a href="/info_349668.html" target="_blank">ASP.NET MVC5 无效的模型状态:如何将外键传递到下拉列表并将其传递回 HTTPPost</a></li>
<li><a href="/info_349589.html" target="_blank">数据库连接:如何检查它，具体取决于网络连接状态</a></li>
<li><a href="/info_349492.html" target="_blank">无法通过 Web 服务获取 URL 中的数据</a></li>
<li><a href="/info_349485.html" target="_blank">如何在 MVC 4 中更改 URL 格式</a></li>
<li><a href="/info_349481.html" target="_blank">如何在 C# asp.net 中的另一个页面中更改站点地图中 URL 的默认重定向页面</a></li>
<li><a href="/info_349198.html" target="_blank">获取在 <脚本 src >标记中添加的请求 URL 的状态</a></li>
<li><a href="/info_348990.html" target="_blank">网络驱动程序间歇性地引发超时异常.对远程 Web 驱动程序服务器的 URL 的 HTTP 请求</a></li>
<li><a href="/info_348835.html" target="_blank">EF 代码优先映射的“状态对象” - 完全隐藏</a></li>
<li><a href="/info_348763.html" target="_blank">Uri.IsWellFormedUriString 返回 true，但无法从 url 读取</a></li>
<li><a href="/info_348495.html" target="_blank">通过 url 提取文件的正则表达式模式</a></li>
<li><a href="/info_348489.html" target="_blank">用于按状态获取计数的 Linq 查询</a></li>
<li><a href="/info_239299.html" target="_blank">当我点击按钮时，如何检查网站的URL状态是在线还是离线</a></li>
<li><a href="/info_190757.html" target="_blank">Windows phone后台传输服务无法处理状态为302的重定向url</a></li>
<li><a href="/info_159535.html" target="_blank">当从aspx页面发布到外部url时，我如何不传递视图状态</a></li>
<li><a href="/info_130628.html" target="_blank">如何使用c#查看是否有数千个url处于活动状态而没有超时?</a></li>
<li><a href="/info_126043.html" target="_blank">get <Title>;以及很多url的状态码</a></li>
<li><a href="/info_118085.html" target="_blank">通过在ASP中关闭视图状态来清理url.净c#</a></li>
<li><a href="/info_29783.html" target="_blank">使用 URL 路由的视图状态 MAC 验证在 ASP.NET 4.0 中失败</a></li>
</ul>
</div>
<hr/>
</div>
<div class="d-none d-xl-block col-xl-4 rightSidebar">
<div class="row">
<div class="popular-articles col-12" id="rightbarArticlePane"><span style="font-size:13px;">最新信息:</span>
<ul class="list-group article-items one">
<li class="list-group-item intro"><a href="/info_400564.html">ASP.NET 5 MVC 6 + Rest API identity</a></li>
<li class="list-group-item intro"><a href="/info_400563.html">如何在 C# 中打开文件之前检测损坏的文件</a></li>
<li class="list-group-item intro"><a href="/info_400562.html">鼠标移动时重绘图形路径</a></li>
<li class="list-group-item intro"><a href="/info_400561.html">当窗体没有焦点时，富文本框不会在鼠标按下时开始选择</a></li>
<li class="list-group-item intro"><a href="/info_400560.html">索引超出了数组 c# 的范围</a></li>
<li class="list-group-item intro"><a href="/info_400559.html">无法使用 Validator 类属于 WPF 中的 System.ComponentModel.DataAnnotati</a></li>
<li class="list-group-item intro"><a href="/info_400558.html">移动蓝牙和 WPF 应用程序连接</a></li>
<li class="list-group-item intro"><a href="/info_400557.html">StackOverflow 从订阅一个简单的表单 MVC ASP.Net 网站异常</a></li>
<li class="list-group-item intro"><a href="/info_400556.html">roslyn 编译器未使用 msbuild 复制到 AspnetCompileMerge 文件夹</a></li>
<li class="list-group-item intro"><a href="/info_400555.html">使用 NSubstitute 和 Ninject 返回值</a></li>
<li class="list-group-item intro"><a href="/info_400554.html">准备一个在定义 lambda 之前引用 lambda 变量的对象</a></li>
<li class="list-group-item intro"><a href="/info_400553.html">使用实体框架添加详细信息行</a></li>
<li class="list-group-item intro"><a href="/info_400552.html">用于做Java和C#的Vim</a></li>
<li class="list-group-item intro"><a href="/info_400551.html">图片上传和图片.内容长度> 0</a></li>
<li class="list-group-item intro"><a href="/info_400550.html">时刻.js + 实时戳时间前基于 UTC 来自服务器的日期时间</a></li>
<li class="list-group-item intro"><a href="/info_400549.html">如何 Wowza 服务器与我的 .net 应用程序集成</a></li>
<li class="list-group-item intro"><a href="/info_400548.html">音频剪辑的频率和音高关系 - Unity3D</a></li>
<li class="list-group-item intro"><a href="/info_400547.html">C# 窗体 - 无法将继承的控件移动到表中</a></li>
<li class="list-group-item intro"><a href="/info_400546.html">相同的绑定适用于 1 个 XAML 项，但对另一个 XAML 项为 null</a></li>
<li class="list-group-item intro"><a href="/info_400545.html">如何首先在 MVC 应用程序中使用 EF 代码检查 SQL 表中是否存在数据 ASP.NET</a></li>
</ul>
</div>
</div>
</div>
</div>
</div>
<footer class="section footer pt-3">
<div class="container-fluid">
<div class="row hyperlink text-center text-md-left">
<div class="col-md-6 hyper-left">
<ul class="list-inline">
<li class="list-inline-item"> <a href="/">首页</a> </li>
<li class="list-inline-item"><a href="https://beian.miit.gov.cn/">津ICP备17010649号-2</a></li>
</ul>
</div>
<div class="col-md-6 hyper-right text-center text-md-right">
<i class="ft-icon icon-copyright" aria-hidden="true"></i>
2023 www.python114.com. All Rights Reserved.
</div>
</div>
</div>
</footer>
</div>
<script src="/js/jquery.min.js"></script>
<script src="/js/bootstrap.min.js"></script>
<script src="/js/menu.js"></script>
<script src="/js/prism.js"></script>
<script type="text/javascript">
$(document).ready(function() {
stickTLMenus(),
screen.width <= 767 ? $(window).scroll(function() {
stickTLMenus()
}) : screen.width > 767 && screen.width <= 1199 ? ($(window).scroll(function() {
stickTLMenus()
}), setActiveLeftMenu(), maintainLeftMenuPos()) : ($(window).scroll(function() {
stickTLMenus()
}), setActiveLeftMenu(), maintainLeftMenuPos())
});
</script>
<script src="/js/footer.js"></script>
</body>
</html>