问将不同的ip地址绑定到抓取蜘蛛
EN

Stack Overflow用户

提问于 2011-11-08 23:16:21

回答 1查看 889关注 0票数 1

如何将不同的公网ip地址绑定到抓取爬虫？此外，是否可以为每个源ip (如CONCURRENT_REQUESTS_PER_SOURCE_IP)设置速率限制。

从简陋的文档来看，CONCURRENT_REQUESTS_PER_DOMAIN和CONCURRENT_REQUESTS_PER_IP似乎都适用于目标域和目标ip。

发布于 2011-11-09 21:40:10

这是可能的，但需要您稍微修改一下Scrapy内核。其他人在一段时间前提出了一个更改建议，但从当前来源的外观来看，它从未成功。

使用the information in this change proposal，您应该能够在几分钟内自己修补它。

尽管变更提案已有超过1.5年的历史，但该特定提案的已编辑文件的当前来源仍然非常相似。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/8052662

复制

相似问题

问将不同的ip地址绑定到抓取蜘蛛EN