年龄验证页面阻止网站-需要允许谷歌虽然
本文关键字：许谷歌 谷歌 验证 网站 | 更新日期: 2023-09-27 18:16:16
我在。net为一家酒精公司创建了一个web应用程序。
客户要求所有访问该网站的权限都被拒绝，除非用户同意他们已达到所在国家的年龄并同意这些条款。
为了实现这个功能，我只是将所有的流量重定向到一个验证页面，在那里他们可以设置一个新的会话，说他们已经同意(在这次访问中)的条款。一旦设置了会话，站点就可以完全访问。
我的问题是，我希望谷歌等抓取和索引网站上的所有页面。我怎样才能确保机器人不会在年龄验证页面中被抓住，这里确保我的整个网站被抓取的最佳实践是什么?
. net框架的HttpWebRequest负责大部分的工作。在代码后面文件的Page_Load中，您可以轻松检查爬虫:
if(Request.Browser.Crawler)
如果是爬虫(例如GoogleBot)手动绕过年龄验证