我们正在尝试获取逻辑计划(不要与物理计划混淆),该计划是由Spark为给定查询生成的。根据Spark 这里,您应该能够使用scala命令检索它:
df.explain(true)或者在sparklyr中使用示例代码:
spark_version <- "2.4.3"
sc <- spark_connect(master = "local", version = spark_version)
iris_sdf <- copy_to(sc, iris)
iris_sdf %>%
spark_dataframe %>%
invoke("explain", T)此命令将运行,但在RStudio中只返回NULL。我猜sparklyr不会检索输出到控制台的内容。有没有办法绕过这个或另一个方法来检索逻辑计划使用火花?使用dplyr::explain([your_sdf])很容易获得物理计划,但不返回用于创建它的逻辑计划。
发布于 2019-11-06 01:32:05
看起来你可以通过:
iris_sdf %>%
spark_dataframe %>%
invoke("queryExecution") %>%
invoke("toString") %>%
cat()https://stackoverflow.com/questions/58716271
复制相似问题