问改进Crawler4j-Crawler效率

EN

我会尽我所能帮助你的。我不能保证正确性，也不能保证完全性。

1. ( b)减少礼貌延迟会给站点带来更多的爬行负荷，并且可以(在小型服务器上)长期增加接收时间。但这不是一个常见的问题，所以50毫秒应该仍然是好的。还要注意的是，如果需要250 be才能收到来自the服务器的响应，那么下一页仍然需要250 be才能被这个线程爬行。 c)我不太确定您希望将crawlDepth设置为2值来实现什么。从1开始的爬行深度意味着你要爬种子，而不是爬种子上的每一个站点，而不是你停下来。(crawlDepth =2只会更进一步，以此类推)。这不会影响你的爬行速度，只是你的爬行时间和找到的网页。
2. 不要在CrawlerThread及其涵盖的所有方法/类中实现时间繁重的操作。在最后或在一个额外的线程中完成它们。
3. 爬虫配置本身没有限制。限制将由您的CPU(不太可能)或网站的结构来爬行(很可能)。
4. 将这一行添加到您的CrawlController：robotstxtConfig.setEnabled(false);

现在应该是这样的：

PageFetcher pageFetcher = new PageFetcher(config);
RobotstxtConfig robotstxtConfig = new RobotstxtConfig();
robotstxtConfig.setEnabled(false);
RobotstxtServer robotstxtServer = new RobotstxtServer(robotstxtConfig, pageFetcher);
CrawlController controller = new CrawlController(config, pageFetcher, robotstxtServer);

1. 页面获取器将设置一些参数，然后使用前面的设置参数向给定url上的webservice发送一个HTTPget请求。将评估来自and服务器的响应，并保存一些信息，如响应头和二进制格式的html代码。

希望我能帮你点忙。