无法通过 C# 网络客户端和请求/响应下载网页

本文关键字:请求 响应 下载 网页 下载网 客户端 网络 | 更新日期: 2023-09-27 18:31:48

我想下载网页的html代码,但有几个链接有问题。例如:http://www.business-top.info/、http://azerizv.az/我使用这个根本没有收到任何 html:1. 网页客户端:

using (var client = new WebClient())
            {
                client.Encoding = System.Text.Encoding.UTF8;
                string result = client.DownloadString(resultUrl);
                Console.WriteLine(result);
                Console.ReadLine();
            }

2. http请求/响应

var request = (HttpWebRequest)WebRequest.Create(resultUrl);
            request.Method = "POST";
            using (var response = (HttpWebResponse)request.GetResponse())
            {
                using (var stream = response.GetResponseStream())
                {
                    StreamReader sr = new StreamReader(stream, Encoding.UTF8);
                    string data = sr.ReadToEnd();
                    Console.WriteLine(data);
                    Console.ReadLine();
                }
            }

有很多这样的链接,所以我不能通过浏览器通过网页的源代码手动下载html

无法通过 C# 网络客户端和请求/响应下载网页

某些页面分阶段加载。首先,他们加载页面的核心,然后才评估通过AJAX加载更多内容的任何JavaScript。要抓取这些页面,您将需要更高级的内容抓取库,而不仅仅是简单的HTTP请求发送者。

编辑:这是SO中关于您现在遇到的相同问题的问题:使用 c# 的 Jquery Ajax 网页抓取