问使用python爬行页面

EN

我正在制作一个爬虫，可以用于所有的电子商务网站。目前，我正在以下网站上测试我的爬虫。

link 1

link 2

link 3

link 4

就个人而言，我成功地抓取了所有四个网站，但当我制作一个普通的爬虫时，我不知道如何显示更多的产品。例如：

在link 1中，我需要单击显示更多结果，以便显示更多产品。

在link 2中，我需要按load more来显示更多的产品。

在link 3中，我只需向下滚动即可获得更多产品

在link 4中，按下next按钮可以获得更多产品。

每个网站都有不同的按钮类/标签，那么我如何才能确定是按下按钮还是向下滚动。

最初我已经开始使用selenium，但这不是必需的，如果有比Selenium更好的其他模块，我会很乐意使用它。