问web爬行工具，支持在开始爬行之前与目标站点进行交互
EN

Stack Overflow用户

提问于 2011-06-28 21:15:58

回答 2查看 677关注 0票数 0

我正在寻找一个爬虫，它能够处理与Ajax的页面，并能够在开始爬行网站之前与目标网站执行某些用户交互(例如，点击某些菜单项，填写一些表格等).I尝试webdriver/selenium (这是真正的网络抓取工具)，现在我想知道是否有任何爬虫程序，支持模拟某些用户交互之前开始爬行？(用Java、Python或Ruby ...)

谢谢

如果是，我很感谢任何描述这一点的链接。

web-crawler

nutch

回答 2

Stack Overflow用户

发布于 2011-06-29 10:15:07

您可以尝试将selenium连接到基于python的爬虫程序，如scrapy。每当需要处理AJAX时，它都会启动一个外部进程来抓取selenium。

票数 0

Stack Overflow用户

发布于 2011-07-02 00:20:44

Nutch不处理AJAX、cookies或您所描述的任何用户交互。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/6507040

复制

相似问题

问web爬行工具，支持在开始爬行之前与目标站点进行交互
EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问web爬行工具，支持在开始爬行之前与目标站点进行交互EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问web爬行工具，支持在开始爬行之前与目标站点进行交互
EN