网络爬虫-使用C#的可编程网络爬虫

本文关键字:网络 爬虫 可编程 使用 | 更新日期: 2023-09-27 18:00:26

我想从一个已知的Url中提取特定的数据:从span、a、divs…等html标签中提取
所以我正在为用C#编写的WebCrawler搜索一个现有的库。。。或者任何其他想法。

谢谢!

网络爬虫-使用C#的可编程网络爬虫

为了解析HTML,您可能需要查看HTML敏捷包。至于从网站获取HTML,您可以使用WebClient。

这家伙写了一篇关于使用HtmlAgilityPack从C#进行网络爬行的文章,这是一个网络爬行的框架,尽管这个项目似乎已经过时了,但你可以看看它们是否符合你的需求。

SO上有很多人喜欢HtmlAgilityPack。