阻止所有机器人访问页面

您可能需要将robot.txt文件放在适当的位置。在这里，您可以找到有关如何使用它的更多信息：http://en.wikipedia.org/wiki/Robots_exclusion_standard

你不能。

您可以请求机器人不访问您的网站（有关如何访问的更多详细信息，请参阅Projapati的回答）、某些目录或某些文件；但这实际上只是一个请求。只要"Joe Schmoe用户"可以打开浏览器并查看页面；没有什么能阻止某人自动访问。

你可以尝试屏蔽某些你知道被各种机器人/爬虫使用的IP；但这将是一个失败的提议。你永远不能肯定地说，这不是一个机器人访问页面。

或者，你可以修改网站，让只有经过身份验证的用户才能访问该特定页面，并希望没有人会遇到设置虚假帐户的麻烦。

将一个名为robots.txt的文件放在网站的根文件夹中，并向其添加以下代码

User-Agent: *
Disallow: /paymentpage.php # change this to your payment page.

你也可以禁止一个特定的机器人，例如谷歌：

User-Agent: Googlebot
Disallow: /paymentpage.php # change this to your payment page.

了解有关robots.txt的更多信息：

http://www.javascriptkit.com/howto/robots.shtml