如何在Asp.net MVC中检测爬虫

本文关键字：检测 爬虫 MVC net Asp | 更新日期: 2023-09-27 18:10:04

我使用一个动作过滤器来检查我的网站上使用的是什么浏览器版本，如果它是一个旧的浏览器，我在顶部放一个div要求他们升级。我不希望网络爬虫获取div消息，所以我实现了httpbrowsercapabiltiesbase。爬虫，看起来它对谷歌有用，但必应和其他网站似乎没有注册为爬虫。奇怪的是，微软的产品竟然没有注意到Bing是爬虫!

是否有办法将用户代理添加到爬虫属性或其他东西?

谢谢!

编辑:我使用asp.net mvc 3，看起来我需要用户。浏览器文件(?)。有谁知道一套完整的。browser文件供Bing和其他爬虫使用吗?

如何在Asp.net MVC中检测爬虫

您可能需要更新您的browscap.ini文件，因为IIS附带的文件可能很旧。您可以在以下网址之一获得一个新的:

  • http://browsers.garykeith.com/downloads.asp
  • http://owenbrady.net/browsercaps/

browscap.ini通常保存在:c:'windows'system32'inetsrv'browscap.ini

我们不使用MVC，但我们这样做:

Regex.IsMatch(Request.UserAgent, @"bot|crawler|baiduspider|80legs|ia_archiver|voyager|curl|wget|yahoo! slurp|mediapartners-google", RegexOptions.IgnoreCase);

我的答案中有更多选项:

检测诚实网络爬虫

相关文章：