问我不希望我的网站在WooRank或builtwith.com上被分析

EN

Robots.txt是一种技术礼貌。然而，这不是一个明确的法律标准，而且在法律上，搜索引擎和索引引擎不需要遵循它。

是的，像谷歌这样的大型搜索引擎都是按照标准设计的，这就是为什么你会得到“这个页面的描述因为这个网站的robots.txt而不可用”的原因。

然而，许多网站并没有遵循它。在最坏的情况下，恶意站点可能会使用robots.txt作为页面爬行的起点，而不是忽略它。

因此，如果您认为这两个站点可能会跟随您的robots.txt，那么就去做吧。如果不是，您将需要记录这两个站点的数千个If，特别是用htaccess或类似的方法阻止它们。