Spark无法将这样的实例序列转换为DataFrame/Dataset,这不是很好的开发体验。
这是一个bug还是一个预期的特性?
考虑一个例子:
import spark.implicits._
case class Test(`9`: Double)这将失败:
val failingTest = Seq(Test(9.0)).toDF()这可以很好地工作:
val successfulTest = Seq(9.0).toDF("9").as[Test]
successfulTest.show()

发布于 2021-02-10 19:58:21
如果您看到声明变量的前提条件以及如何命名它们,则不允许使用指定变量名称的方式。
The variable name must start with a letter and cannot begin with a number or other characters
只需将您的case类更改为使用不带符号的字符串变量名,如下所示,它应该可以工作。
import spark.implicits._
case class Test(Id: Double)
val failingTest = Seq(Test(9.0)).toDS()上面这行代码将为您提供一个Test数据集,如下所示:
failingTest: org.apache.spark.sql.Dataset[Test] = [Id: double]
val failingTest1 = Seq(test).toDF()上面的行将为您提供一个行的数据集,该数据集为DataFrame,如下所示:
failingTest1: org.apache.spark.sql.DataFrame = [Id: double]
它会给您错误,因为您没有以正确的格式提供名称。您也可以将其视为bug,因为当您创建case类时,它不会给您带来错误,我认为它应该这样做。
如果您只删除值9并使用任何字符,您的代码也将正常工作,如下所示:
import spark.implicits._
case class Test1(`i`: Double)
val failingTest = Seq(Test1(9.0)).toDF()https://stackoverflow.com/questions/66134677
复制相似问题