如何从许多网站上抓取联系人数据
本文关键字：抓取 联系人 数据 网站 许多 | 更新日期: 2024-05-15 22:21:55
我有数千个URL的列表。我想知道如何抓取联系人页面，并从"联系我们"页面的URL中抓取联系人数据？例如地址、电话和电子邮件。
任何想法都会有所帮助。
我正在考虑使用正则表达式；他们可以处理电话和电子邮件，但不可能抓取地址。
简单的回答是，没有万能的方法可以做到这一点。它涉及到一些基于你试图抓取的页面的人工智能。
（1）收集信息（HTML）
由于您已经将您的范围缩小到URL列表。实现它的正确方法是使用任何工具首先收集HTML页面。因此，您可以将所有HTML文件放在本地，因此每次调整代码时都可以使用"正则表达式等"。您不需要再花几个小时访问他们的服务器来收集数据。注意，这取决于您的目的，在存储HTML文件之前阅读服务条款
（2）解析
现在，您已将信息本地存储在笔记本电脑/服务器中。现在的问题只是如何从HTML中解析出来。我对C#和你的页面列表不太了解。如果你的联系人页面实际上来自同一个网站。。。比如社交媒体网页，它将遵循相同的HTML设计（这是最好的情况），你可以使用一些HTML解析器（我在python中使用beautifulsoup）来轻松定位标签并获取标签中的内容。然后，您只需要将该函数应用于您存储的所有HTML，工作就完成了。
如果URL都来自不同的网站，那么你只需要调整你的功能和人工识别你的解析结果是否足够好，然后继续尝试。。。。