如何使用Asp.net的爬网过程获取网站的所有URL
本文关键字：网站 获取 URL 过程 何使用 Asp net | 更新日期: 2023-09-27 17:58:51
如何获取网站的所有URL
假设我想抓取一个网站中的某些数据，该网站在不同的网页中如何获取所有url的列表以进入所有类似的页面。
假设在一个手机网站上，我想获得一个品牌的所有手机，我如何才能获得网站不同URL中的手机。我观察到Div标签类是所有手机的"品牌名称"
Div Class"诺基亚"。。。。我想要网站的网址，其中div类为诺基亚。
您可以使用HTML解析器（如HTML敏捷包）从锚点、表单。。。如果url不是您正在解析的HTML的一部分，您将无法（除了猜测）知道给定域中存在哪些可能的子域和url。