问想要并行运行Apache梁管道
EN

Stack Overflow用户

提问于 2019-05-16 16:57:09

回答 1查看 1.1K关注 0票数 0

我的问题是

1.需要从多个第三方源获取数据/执行某些操作/将数据存储在某个位置。

2.我需要为每个源创建一个专用的束流管道。

由于我刚开始接触梁，我的问题是

1.如果我为不同的第三方来源建立单独的管道，它是好的还是会引起一些问题？

2.如果设计正确，那么如果我在一台机器上运行运行的游梁运行程序--直接java，它会像并行处理那样运行吗？

回答已采纳

发布于 2019-05-16 17:28:32

Beam有一个支持许多不同来源的最终计划(最终它们甚至可以跨语言)。

对于您的问题，在单机上并行的多个游梁跑步-直接-java不会造成问题。实际上，所有验证测试都使用直接运行程序，并且测试是并行运行的。

一件不清楚的事情是，你必须创建多条管道的主要原因是什么，每个第三方源一条？如果原因是为了更高的吞吐量而并行运行，我(有偏见的观点)认为这不是一个好主意。从长远来看，即使我们引入了特性优化并行源，您也无法从opt中获益。

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/56173321

复制

相似问题

问想要并行运行Apache梁管道EN