无法通过 C# 网络客户端和请求/响应下载网页
本文关键字:请求 响应 下载 网页 下载网 客户端 网络 | 更新日期: 2023-09-27 18:31:48
我想下载网页的html代码,但有几个链接有问题。例如:http://www.business-top.info/、http://azerizv.az/我使用这个根本没有收到任何 html:1. 网页客户端:
using (var client = new WebClient())
{
client.Encoding = System.Text.Encoding.UTF8;
string result = client.DownloadString(resultUrl);
Console.WriteLine(result);
Console.ReadLine();
}
2. http请求/响应
var request = (HttpWebRequest)WebRequest.Create(resultUrl);
request.Method = "POST";
using (var response = (HttpWebResponse)request.GetResponse())
{
using (var stream = response.GetResponseStream())
{
StreamReader sr = new StreamReader(stream, Encoding.UTF8);
string data = sr.ReadToEnd();
Console.WriteLine(data);
Console.ReadLine();
}
}
有很多这样的链接,所以我不能通过浏览器通过网页的源代码手动下载html
某些页面分阶段加载。首先,他们加载页面的核心,然后才评估通过AJAX加载更多内容的任何JavaScript。要抓取这些页面,您将需要更高级的内容抓取库,而不仅仅是简单的HTTP请求发送者。
编辑:这是SO中关于您现在遇到的相同问题的问题:使用 c# 的 Jquery Ajax 网页抓取