文章/答案/技术大牛

发布

社区首页 >问答首页 >Apache Pig性能优化

问Apache Pig性能优化
EN

Stack Overflow用户

提问于 2014-05-02 22:10:59

回答 1查看 2.4K关注 0票数 0

我已经写了几个猪脚本，我已经包括在一个猪的主脚本使用运行。在Pig Master Script中包含所有脚本的原因是，我们正在对所有变量(每个脚本中投影的变量->模式)进行最后一次左连接，以创建一个大文件。

问题:执行需要很长时间才能完成。目前它需要超过27分钟，预计时间是5-6分钟。

集群信息: Amazon上的10节点集群(xlarge)。有没有办法解决这个问题。

发布于 2014-05-03 01:50:04

也许这可能会有所帮助：

http://pig.apache.org/docs/r0.12.1/perf.html

或者这样：

http://chimera.labs.oreilly.com/books/1234000001811/ch08.html

票数 -1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/23430188

复制

相似问题

问Apache Pig性能优化EN