即使元素存在，Soup.find_all也会返回None
即使元素存在，Soup.find_all也会返回None
提问于 2021-02-24 15:35:57
即使类已经存在，它也会为5+页面返回none。
工作正常的URL：
但它不适用于5-6页
到目前为止我的代码：
response = requests.get(url)
soup = BeautifulSoup(response.content,'html.parser')
app = soup.find_all('li',class_ = 's-item')
for x in app:
print(x)打印应用>打印空列表：[]
我已经手动检查过了，这个类存在于所有页面上。
回答 2
Stack Overflow用户
发布于 2021-02-24 16:27:20
内容可能是用JavaScript动态生成的。您应该使用Selenium来运行javascript组件，然后从生成的网页中提取所需的信息
Stack Overflow用户
发布于 2021-02-24 19:24:35
您的机器人可能会被检测到，并且第5页通常是验证码或弹出窗口。
尝试使用另一个库，比如Selenium，来见证你在浏览器中的行为，或者在每次页面查询时截图窗口
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/66346519
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号