问：数据流编程模型，其计算时间与在常规VM机器上的计算时间相同？

EN

我正在尝试google云的数据流服务，这对于高效的计算时间非常有用。我的代码对于数据流管道有以下编程模型：

start=(p =“阅读”>> beam.io.ReadFromText("gcs路径“)) end= start \ "data_generation“>> beam.Pardo(PerfromFunction)

我在做什么：

PerformFunction是一个常规的Python函数，它包含了一系列用于数据生成的函数。我的问题是，当我在单个处理器上运行n1-standard-16的常规VM上时，大约需要1小时才能完成整个过程。

为什么我选择了Dataflow:

然后，我决定使用Dataflow，其中ParDo函数执行给定函数的Multi-Threading，显然将计算时间从1小时减少到less than 1 hour。

问题：

在使用上述编程模型运行Dataflow作业之后，我开始意识到，在GCP上，Dataflow仍然需要大约1小时才能完成被称为wall-time的整个过程。然后，我登录到工作机器，并看到使用命令htop的资源利用率，发现机器只使用一个处理器，平均使用率为60%。

预期结果或建议：

1. 可以在数据流员工集群中进行多处理吗？
2. 我的编程模型是非常有限和错误的吗？
3. ParDo函数似乎没有像预期的那样减少计算时间，您认为我在这里做错了什么？

PS-由于一些协议，我无法共享代码。多谢您的理解。另外，如果我在某个时候错误地理解了数据流，请纠正我。