文章/答案/技术大牛

发布

社区首页 >问答首页 >比较Java中使用新列打印结果的两个火花数据格式

问比较Java中使用新列打印结果的两个火花数据格式
EN

Stack Overflow用户

提问于 2021-07-26 18:46:11

回答 1查看 201关注 0票数 1

我正在使用Apache，并试图使用比较两个json文件。我有两个数据-- 1)预期数据和2)实际数据。

预期数据- table_1

实际数据- table_2

差异

我需要它对每一列进行比较，使之成为确切的，并获得预期的数据格式，并在其中包含另一列'result‘，其中给出传递或失败。，例如，差异是emp_id 4。因此，该列看起来如下；pass，fail。

有人能帮我吗

apache-spark

apache-spark-sql

json

dataframe

回答 1

Stack Overflow用户

发布于 2021-07-26 20:06:42

假设这两个数据帧具有完全相同的列名，则可以通过将所有列连接到这两个数据帧来比较它们。

val allColumns = dataframe1.columns.toSeq

val diffDf = dataframe1.join(dataframe2, allColumns)

默认联接类型是内部连接，因此在diffDf中接收这两个数据帧之间的所有公共行。

如果您想在diffDf中接收两个dataframe之间的所有不同行，只需使用完整的外部类型，如下所示：

val diffDf = dataframe1.join(dataframe2, allColumns, "fullouter")

您可以使用连接类型来接收所需的diffDf。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/68535018

复制

相似问题

问比较Java中使用新列打印结果的两个火花数据格式
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问比较Java中使用新列打印结果的两个火花数据格式EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问比较Java中使用新列打印结果的两个火花数据格式
EN