文章/答案/技术大牛

发布

社区首页 >问答首页 >如何阻止facebook爬虫导致CPU使用率过高

问如何阻止facebook爬虫导致CPU使用率过高
EN

Stack Overflow用户

提问于 2018-05-02 12:38:21

回答 1查看 575关注 0票数 1

嗨，我最近在Apache使用率、Apache内存使用率和MySQL内存使用率方面都得到了很高的峰值。事实证明，爬虫以极高的速度访问我的网站，特别是Facebook。我试图将facebook爬虫的爬行延迟添加到robot.txt文件中，如下所示：

User-agent: Facebot
Disallow:
Crawl-delay: 5

但我还是看到了高使用率的尖峰。这是由于错误的代码，还是有更好的方法来完全停止爬虫使用我的服务器的资源这么多？

任何帮助都是非常感谢的。

回答已采纳

发布于 2018-05-03 08:50:31

更改路径到

 Disallow: /

请参阅机器人常见问题

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/50134863

复制

相似问题

问如何阻止facebook爬虫导致CPU使用率过高EN