是否可以在 C# 中伪造用户代理
本文关键字：伪造 用户代理 是否 | 更新日期: 2023-09-27 18:30:24
我想用C#创建一个爬虫。问题在于，一些网站在其机器人文件中禁用了列入黑名单.txt爬虫，使用：
User-agent: *
Disallow: /
有没有办法伪造我的请求来表明我是例如Googlebot？
HttpWebRequest .UserAgent 但是 - 我只想说：不要。
当然，你对机器人的观点.txt是没有意义的;这是由你遵循的。如果你写了一个行为不好的工具，不管你声称什么为你的用户代理，它都会忽略robots.txt，那么你应该很快就会被列入黑名单。
特别是，试图冒充任何主要参与者是非常可疑的。坦率地说，我希望大多数主要站点也会检查传入的IP范围。
是的，HttpWebRequest 具有用户代理的属性。您可以将其设置为任何内容。