web客户端多页POST &HTMLAgilityPack

本文关键字：HTMLAgilityPack POST 客户端 web | 更新日期: 2023-09-27 18:18:35

所以我试图刮一个网站的问题是，他们都张贴请求虽然整个搜索过程。

所以这里是网站的进展，我试图发送帖子回应…1) https://www20.state.nj.us/LPS_spoff/SetSession-原因看起来像网站希望你首先接受条款，所以我发送一个我接受后的回应。如果我不这样做，其他网站将重定向。

using (var wb = new WebClient())
{
    var data1 = new NameValueCollection();
    data1["submit"] = "I accept";
    var response1 = wb.UploadValues("https://www20.state.nj.us/LPS_spoff/SetSession", "POST", data1);
    // more code here to be show later
}

以上工作并进入下一页。现在我可以打开

2) https://www20.state.nj.us/LPS_spoff/geographicsearch.jsp -这个链接没有被重定向，真的不需要这个链接不确定如果我需要发送另一个帖子，但是…我真正想要的是

3) https://www20.state.nj.us/LPS_spoff/findDriver -此结果页从任何选择…

这是手动提交页面的表单…

<form name="gsm" method="post" action="/LPS_spoff/findDriver"></form>
    <input type="hidden" name="screen" value="1">
    <input type="hidden" name="county" value=" 01 ">
    <input type="hidden" name="countyname" value=" ATLANTIC ">
    <input type="hidden" name="pmonth" value="  ">
    <input type="hidden" name="pday" value="  ">
    <input type="hidden" name="pyr" value="  ">
    <tbody><tr><td align="center" colspan="4"> You chose <b> ATLANTIC </b> County.
    </td></tr><tr><td align="center" colspan="4"> You can either submit this search using all of
            <b>&nbsp; ATLANTIC </b> County by pressing &nbsp;
        <input type="submit" name="Submit" value="Submit"></td><td></td></tr>

这是我尝试的总计:

using (var wb = new WebClient())
{
    var data1 = new NameValueCollection();
    data1["submit"] = "I accept";
    var response1 = wb.UploadValues("https://www20.state.nj.us/LPS_spoff/SetSession", "POST", data1);
    var data = new NameValueCollection();
    data["screen"] = "1";
    data["county"] =  "01";
    data["countyname"] = "ATLANTIC";
    data["pmonth"] = " ";
    data["pday"] = " ";
    data["pyr"] = " ";
    data["Submit"] = "Submit";
    var response = wb.UploadValues("https://www20.state.nj.us/LPS_spoff/findDriver", "POST", data);
    Console.WriteLine(Encoding.Default.GetString(response));
    File.WriteAllText("temp.txt", Encoding.Default.GetString(response));
}

目标是获得结果页面并使用htmllagilitypack对其进行解析。

上面的代码输出一个文件temp.txt，该文件与上面列表中的站点1相同…而不是它似乎改变的结果。

总结:我想获得违法者的结果，但他们都是帖子回复，我需要帮助导航到结果页有效。

注意:我知道我可能可以使用硒，但这对我想要的东西来说太大了…

web客户端多页POST &HTMLAgilityPack

结果是与网站相关的cookie负责重定向。

为了绕过这个，我使用

  var cookieContainer = new CookieContainer();
        using (var handler = new HttpClientHandler() { CookieContainer = cookieContainer })
        using (var client = new HttpClient(handler) { BaseAddress = baseAddress })

一切似乎都很好。如果您遇到这种情况，请检查网站是否存在cookie

相关文章：