从网站抓取和提取内容
本文关键字:提取 网站 抓取 | 更新日期: 2023-09-27 18:01:43
我想从电子商务网站(例如www.ebay.com)提取数据。我想提取的一些信息有:产品名称、描述、价格、详细描述、图片链接、卖家信息。
在webclient类中有DownloadString(字符串URL)方法,使用它我可以获得HTML页面的源代码,但我想提取有关所有产品的信息(例如,我想要关于电子部分下所有产品的产品信息),那么我如何才能实现这一点?
我需要改变URL每次或有任何方法使用,我可以抓取完整的网站?
你应该不应该抓取他们的网站,而应该使用他们的WebService API