文章/答案/技术大牛

发布

问requests.get非常慢
EN

Stack Overflow用户

提问于 2020-02-11 14:46:51

回答 3查看 3.3K关注 0票数 0

我正试图像这样解决一个问题：

import requests                                     
url = 'https://dx.doi.org/10.3847/1538-4357/aafd31'
r1 = requests.get(url)                          
actual_url = r1.url

但是requests.get调用实际上需要10秒的时间，最多5分钟(它是变化的)！我尝试过stream=True或verify=False，但这并没有真正的帮助。

python

python-requests

回答 3

Stack Overflow用户

回答已采纳

发布于 2020-02-11 14:58:58

看来他们是故意拖慢你的。尝试设置有效的用户代理。下面的代码为我运行ok (快速响应)；

import requests
url = 'https://dx.doi.org/10.3847/1538-4357/aafd31'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'
}

req = requests.get(url, headers=headers)

print(req.text)

如果您正在执行多个请求，只需确保执行速度足够慢，并可能随机使用多个用户代理。

票数 1

Stack Overflow用户

发布于 2020-02-11 14:55:07

尝试：

import urllib.request
response = urllib.request.urlopen('https://dx.doi.org/10.3847/1538-4357/aafd31')
html = response.read()

票数 1

Stack Overflow用户

发布于 2020-11-09 06:08:46

我也有同样的问题。我的解决方案是使用更新的python版本创建一个新环境。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/60171502

复制

相似问题

问requests.get非常慢
EN

回答 3

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问requests.get非常慢EN

回答 3

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问requests.get非常慢
EN