从网站检索html
本文关键字:html 检索 网站 | 更新日期: 2023-09-27 18:26:49
这有点棘手,但事情就是这样。
- 页面加载
- 执行一些javascript,生成更多的html代码。而源代码正是我所需要的。现在我发现我不能使用html解析器,因为实际上没有运行代码的方法。使用http,我可以获得第一个源代码,但javascript没有执行,所以我永远无法获得所需的源代码
检索之后生成的代码的最佳方式是什么?
编辑:我正在努力避免使用隐藏的网络浏览器。事实上,使用它是可能的,因为它在这里充当javascript解释器,但它的速度非常慢,而且非常难看。
第2版:添加代码
static private string _InetReadEx(string sUrl)
{
string aRet;
HttpWebRequest webReq = (HttpWebRequest)HttpWebRequest.Create(sUrl);
try
{
webReq.CookieContainer = new CookieContainer();
webReq.Method = "GET";
using (WebResponse response = webReq.GetResponse())
{
using (Stream stream = response.GetResponseStream())
{
StreamReader reader = new StreamReader(stream);
aRet = reader.ReadToEnd();
return aRet;
}
}
}
catch (Exception ex)
{
return string.Empty;
}
}
除非您使用WebBrowser,否则您希望避免使用。没有其他方便的方式。
您可以模仿运行和执行它的JavaScript的行为,然后像WebBrowser那样格式化它,但这不是动态格式化,因此不太需要。