Java/1.6.0_24是Bot吗?如何强制它们刷新链接

本文关键字：何强制 链接 刷新 Bot Java | 更新日期: 2023-09-27 17:54:46


我们现在有很多网站都使用基于log4net的错误登录框架，我们从它附加的任何地方都会收到来自网站的错误。我们注意到，他们中的一些人因为"机器人"而出错，比如谷歌、必应、雅虎等。但有一些事情我们不确定如何解决。我有两个问题：

  1. "Java/1.6.0_24"是Bot吗？因为我的问题#2的用户代理就是关于这个的
  2. "Java/1.6.0_24"仍在调用我们网站上不存在的子文件夹！比如，如果我们有一个名为"Page1.aspx"的页面，而不是名为"~/Page1.aspx"，他称之为"~/minisite/Page1..aspx"。我怎么能告诉他他错了？有办法做到吗

感谢

Java/1.6.0_24是Bot吗?如何强制它们刷新链接

  1. 它很可能是一个机器人，但它也可以是某种基于Java的浏览器，发送用户代理字符串-你不能100%信任它，但它可以让你估计连接实体是什么。根据机器人的类型，它可能会忽略你的robots.txt，所以我只需要在某个地方做一些处理。

  2. 那些文件夹曾经存在过吗？如果是这样的话，你可以使用HTTP的永久重定向(代码301(告诉他不要再看那里了——但这并不能保证它会这样做

相关文章：