网页抓取:如何从某个页面获取特定的元素
本文关键字：获取 元素 抓取 网页 | 更新日期: 2023-09-27 18:15:10
我正在开发一些抓取软件来检查产品价格是否有变化。为此，我发送Web http请求来获取产品页面，它返回整个html页面。有很多项目要检查，所以我并行执行所以我的网络带宽很快就用完了
主要问题:
是否有可能发送Web http请求与选择查询只从html页面特定元素?
你最好的(免费/便宜)选择是Html敏捷包。有一些自动化的解决方案，它们有一个UI，你输入URL，然后指向并点击你想要提取的元素，它们就会为你生成信息。不过那东西可是大价钱。使用Html敏捷包，你必须手工创建"xpath"
除非目标服务器支持范围请求，否则不能。您可以发送一个请求来测试目标服务器是否重音范围请求。