文章/答案/技术大牛

发布

社区首页 >问答首页 >Scrapy站点加载后重定向到404

问Scrapy站点加载后重定向到404
EN

Stack Overflow用户

提问于 2018-01-02 03:50:51

回答 1查看 320关注 0票数 1

我试图抓取一个时尚网站，然而，当我试图呈现我想要从刮刮壳爬行的页面时，我会看到它首先加载页面，然后将它重定向到404页面。这是我运行的命令

scrapy shell -s USER_AGENT='Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36' 'http://www.asos.com/search/circle%20skirt?currentpricerange=10-95&q=circle%20skirt&refine=attribute_900:1573'

我也尝试过添加标题和cookie，但是似乎没有什么效果，页面一直重定向到404。我该怎么办？

python

scrapy

web-crawler

http-status-code-404

splash-screen

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-01-04 05:18:20

得到了解决方案，就像furas评论的那样，response.body拥有我所需要的所有东西，唯一的原因是视图(响应)无法工作，因为站点需要加载JS的东西，这导致了404。谢谢你的帮助，弗拉斯

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/48055395

复制

相似问题

问Scrapy站点加载后重定向到404
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问Scrapy站点加载后重定向到404EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问Scrapy站点加载后重定向到404
EN