从网站检索html

本文关键字:html 检索 网站 | 更新日期: 2023-09-27 18:26:49

这有点棘手,但事情就是这样。

  1. 页面加载
  2. 执行一些javascript,生成更多的html代码。而源代码正是我所需要的。现在我发现我不能使用html解析器,因为实际上没有运行代码的方法。使用http,我可以获得第一个源代码,但javascript没有执行,所以我永远无法获得所需的源代码

检索之后生成的代码的最佳方式是什么?

编辑:我正在努力避免使用隐藏的网络浏览器。事实上,使用它是可能的,因为它在这里充当javascript解释器,但它的速度非常慢,而且非常难看。

第2版:添加代码

static private string _InetReadEx(string sUrl)
        {
            string aRet;
            HttpWebRequest webReq = (HttpWebRequest)HttpWebRequest.Create(sUrl);
            try
            {
                webReq.CookieContainer = new CookieContainer();
                webReq.Method = "GET";
                using (WebResponse response = webReq.GetResponse())
                {
                    using (Stream stream = response.GetResponseStream())
                    {
                        StreamReader reader = new StreamReader(stream);
                        aRet = reader.ReadToEnd();
                        return aRet;
                    }
                }
            }
            catch (Exception ex)
            {
                return string.Empty;
            }
        }

从网站检索html

除非您使用WebBrowser,否则您希望避免使用。没有其他方便的方式。

您可以模仿运行和执行它的JavaScript的行为,然后像WebBrowser那样格式化它,但这不是动态格式化,因此不太需要。