首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >创建包含具有整数属性的case类实例的DataFrame

创建包含具有整数属性的case类实例的DataFrame
EN

Stack Overflow用户
提问于 2021-02-10 18:00:58
回答 1查看 46关注 0票数 0

Spark无法将这样的实例序列转换为DataFrame/Dataset,这不是很好的开发体验。

这是一个bug还是一个预期的特性?

考虑一个例子:

代码语言:javascript
复制
import spark.implicits._
case class Test(`9`: Double)

这将失败:

代码语言:javascript
复制
val failingTest = Seq(Test(9.0)).toDF()

这可以很好地工作:

代码语言:javascript
复制
val successfulTest = Seq(9.0).toDF("9").as[Test]
successfulTest.show()

EN

回答 1

Stack Overflow用户

发布于 2021-02-10 19:58:21

如果您看到声明变量的前提条件以及如何命名它们,则不允许使用指定变量名称的方式。

The variable name must start with a letter and cannot begin with a number or other characters

只需将您的case类更改为使用不带符号的字符串变量名,如下所示,它应该可以工作。

代码语言:javascript
复制
import spark.implicits._
case class Test(Id: Double)

val failingTest = Seq(Test(9.0)).toDS()

上面这行代码将为您提供一个Test数据集,如下所示:

failingTest: org.apache.spark.sql.Dataset[Test] = [Id: double]

代码语言:javascript
复制
val failingTest1 = Seq(test).toDF()

上面的行将为您提供一个行的数据集,该数据集为DataFrame,如下所示:

failingTest1: org.apache.spark.sql.DataFrame = [Id: double]

它会给您错误,因为您没有以正确的格式提供名称。您也可以将其视为bug,因为当您创建case类时,它不会给您带来错误,我认为它应该这样做。

如果您只删除值9并使用任何字符,您的代码也将正常工作,如下所示:

代码语言:javascript
复制
import spark.implicits._
case class Test1(`i`: Double)
val failingTest = Seq(Test1(9.0)).toDF()
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/66134677

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档