从网址获取 HTML

本文关键字：HTML 获取 | 更新日期: 2023-09-27 18:37:16

我正在尝试使用C#的HttpWebRequest来获取基于url的页面源代码。

在浏览器中，我这样做：

  1. 我去 http://brokercheck.finra.org/Search/Search.aspx
  2. 插入一个邮政编码，比如00501。 并执行搜索。

然后我被重定向到http://brokercheck.finra.org/Search/SearchResults.aspx?SearchGroup=Individual&IndlText=&FirmText=&ZipCode=00544&ZipRadius=5&PageNumber=1这个页面的html是我想要的。

使用 HttpWebRequest 的 get 方法的简单方法不起作用。它只会获取搜索页面的html。

然后，我尝试发送帖子并获取cookie，并使用cookie发送获取请求。但是，响应 html 仍然是搜索页面的 html。

从网址获取 HTML

使用 http

嗅探器工具（WireShark 或 HttpWatch）通过 Web 浏览器捕获 http 请求和响应。

搜索.aspx页面使用 ： onclick="javascript：WebForm_DoPostBackWithOptions（new WebForm_PostBackOptions（"ctl00$phContent$ucUnifiedSearch$lbtnFreeFormSearch"， "， true， "， "， false， false））" 提交请求。

SearchResults.aspx 页面可能会使用一些请求标头信息（例如 previos 页面）来确定它是否是直接访问。

您需要在搜索结果.aspx请求中找出确切的数据。

相关文章：