抓取/抓取基于搜索表单的网页

本文关键字：抓取 表单 网页 搜索 于搜索 | 更新日期: 2023-09-27 17:56:17

我想抓取/抓取一个有表单的网页准确地说，以下是网址

http://lafayetteassessor.com/propertysearch.cfm

问题是，我想进行搜索并将结果保存在网页中。

  1. 我的搜索字符串将始终给出一个唯一的页面，因此结果计数不会成为问题。
    2. 那里的搜索
  2. 不会搜索网址（例如，谷歌搜索网址包含要搜索的参数）。如何从起始页（如上所述）搜索并获取结果页？

请给我一些想法。我正在使用 C#/.NET。

抓取/抓取基于搜索表单的网页

如果您查看该页面上的表单，您会注意到它们使用 POST 方法，而不是 GET 方法。我相信你知道，GET表单将其参数作为URL的一部分传递，例如mypage?arg1=value&arg2=value

但是，对于 POST 请求，您需要将参数作为请求正文传递。它采用相同的格式，只是传入不同。为此，请使用类似于以下内容的代码：

HttpRequest myRequest = (HttpRequest)WebRequest.Create(theURL);
myRequest.Method = "post";
using(TextWriter body = new StreamWriter(myRequest.GetRequestStream())) {
    body.Write("arg1=value1&arg2=value2");
}
WebResponse theResponse = myRequest.GetResponse();
//do stuff with the response

不要忘记你仍然需要逃避争论等。

相关文章：