首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >使用sparklyr返回逻辑计划

使用sparklyr返回逻辑计划
EN

Stack Overflow用户
提问于 2019-11-05 17:11:07
回答 1查看 215关注 0票数 1

我们正在尝试获取逻辑计划(不要与物理计划混淆),该计划是由Spark为给定查询生成的。根据Spark 这里,您应该能够使用scala命令检索它:

代码语言:javascript
复制
df.explain(true)

或者在sparklyr中使用示例代码:

代码语言:javascript
复制
spark_version <- "2.4.3"
sc <- spark_connect(master = "local", version = spark_version)
iris_sdf <- copy_to(sc, iris)

iris_sdf %>% 
  spark_dataframe %>% 
  invoke("explain", T)

此命令将运行,但在RStudio中只返回NULL。我猜sparklyr不会检索输出到控制台的内容。有没有办法绕过这个或另一个方法来检索逻辑计划使用火花?使用dplyr::explain([your_sdf])很容易获得物理计划,但不返回用于创建它的逻辑计划。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2019-11-06 01:32:05

看起来你可以通过:

代码语言:javascript
复制
iris_sdf %>% 
  spark_dataframe %>% 
  invoke("queryExecution") %>%
  invoke("toString") %>%
  cat()
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/58716271

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档