我使用的是python 3.5.2。我想报废一个需要cookie的网页。但是当我使用requests.session()时,会话中维护的cookie不会更新,因此我的抓取经常失败。以下是我的代码片段。
import requests
from bs4 import BeautifulSoup
import time
import requests.utils
session = requests.session()
session.headers.update({"User-Agent": "Mozilla/5.0 (Windows NT 6.2; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0"})
print(session.cookies.get_dict())
url = "http://www.beianbaba.com/"
session.get(url)
print(session.cookies.get_dict())你们对此有什么想法吗?提前谢谢你们。
发布于 2016-12-10 12:45:19
似乎该网站请求没有提供任何cookie。我使用的是完全相同的代码,但请求的是https://google.com
import requests
session = requests.Session()
session.headers.update({"User-Agent": "Mozilla/5.0 (Windows NT 6.2; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0"})
print(session.cookies.get_dict())
url = "http://google.com/"
session.get(url)
print(session.cookies.get_dict())并得到以下输出:
{}
{'NID': 'a cookie that i removed'}https://stackoverflow.com/questions/41072197
复制相似问题