C# Web 浏览器在一个站点中抓取数千个页面失败
本文关键字：失败 抓取 千个 一个 浏览器 Web 站点 | 更新日期: 2023-09-27 18:34:45
我需要从网站"abc.com"收集数据。 网址就像"abc.com/city/a";"abc.com/city/b";"abc.com/city/c";.."abc.com/city/zzz";完全像2000+页面。我正在考虑循环使用Web浏览器来获取数据。但总是在 100 页后失败，并得到一个空白错误消息框，标题为"来自网页的消息"。完成这项工作的正确方法是什么？
您需要一个发送请求并读取响应的WebClient，尽管我不确定性能。