我有一个代理列表,我正在尝试使用这些代理连接到一个网站。
当我从Pycharm运行这个脚本时,我的大多数代理似乎都工作得很好:

但是,当我从终端运行完全相同的脚本时,我得到了以下统计信息:

结果是一致的,这意味着如果我在Pycharm上运行脚本4-5次,我将获得相同的统计数据,其中成功的代理的范围为1300-1500。同样,在终端中,我总是会得到成功的代理的一半。
现在我已经检查了Pycharm的解释器,路径指向: /home/danny/anaconda3/bin/python终端的脚本解释器也是一样的: /home/danny/anaconda3/bin/python
我是不是遗漏了什么?也许Pycharm做了一些额外的SSL逻辑?任何帮助都将是非常有用的,因为我被困在这一点上。
Python版本: 3.7.7
操作系统: Lubuntu LTS 18.04
发布于 2020-05-16 21:27:34
原来在Linux中,来自终端的默认ulimit是1024,所以如果超过了这个限制,它就会使所有其他请求失败。
解决方案是使用以下cmd增加此限制:
ulimit -n 4096,此时限制将为4096
https://stackoverflow.com/questions/61697052
复制相似问题