问使用scrapy抓取重定向的urls
EN

Stack Overflow用户

提问于 2016-11-27 14:53:51

回答 1查看 171关注 0票数 1

我正在尝试使用抓取来抓取www.mywebsite.com。

使用url www.mywebsite.freehost.com将www.mywebsite.com托管在免费主机上。我将免费主机重定向到我的付费域名。

这里的问题是scrapy忽略了重定向，最终结果是抓取了0个页面。

我如何告诉scrapy我需要它来抓取重定向的url？我只需要它来爬行重定向的网址，而不是其他网址，导致的网站(如facebook页面等)

2016-11-27 14:48:42 [scrapy] INFO: Spider opened
2016-11-27 14:48:42 [scrapy] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2016-11-27 14:48:42 [scrapy] DEBUG: Telnet console listening on 127.0.0.1:6023
2016-11-27 14:48:44 [scrapy] DEBUG: Crawled (200) <GET http://www.mywebsite.com/> (referer: None)
2016-11-27 14:48:44 [scrapy] DEBUG: Filtered offsite request to 'www.mywebsite.freehost.net': <GET www.mywebsite.freehost.net>
2016-11-27 14:48:44 [scrapy] INFO: Closing spider (finished)
2016-11-27 14:48:44 [scrapy] INFO: Dumping Scrapy stats:

python

scrapy

回答 1

Stack Overflow用户

发布于 2016-11-27 22:02:29

日志显示您的请求正在被过滤：

DEBUG: Filtered offsite request to 'www.mywebsite.freehost.net': <GET www.mywebsite.freehost.net>

将该域freehost.net添加到您的allowed_domains列表中，或者从爬行器中删除allowed_domains以允许每个域。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/40826506

复制

相似问题

问使用scrapy抓取重定向的urls
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用scrapy抓取重定向的urlsEN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用scrapy抓取重定向的urls
EN