文章/答案/技术大牛

发布

社区首页 >问答首页 >火花scala中基于主键的两个数据帧之间的差异查找

问火花scala中基于主键的两个数据帧之间的差异查找
EN

Stack Overflow用户

提问于 2017-09-25 11:26:42

回答 2查看 1.2K关注 0票数 0

我有两个数据帧在火星上。我正在进行df1.except(df2)两次查找，如果有列在两个数据帧之间发生了更改。

df1就像这里

|001000900|aaaaa BELLOWS CORPORATION||N|
|001000905|ddddd DEPARTMENT OF LABOR AND EMPLOYMENT SECURITY|BUREAU OF COMPLIANCE|N|
|001001049|gggg RAVIOLI MFG CO INC|SPINELLI BKY RAVIOLI PASTRY SP|N|
|001001130|dddd ANGELES UNIFIED SCHOOL DISTRICT|TRANSPORTATION BRANCH|N|
|001001143|ffff MUSIC PARTIES, INC||N|
|001001155|BOSTON BRASS AND IRON CO||N|
|001001171|HANCOCK MARINE, INC.||N|
|001001184|TRILLION CORPORATION||N|
|001001192|HAWAII STATE CHIROPRACTIC ASSOCIATION INC||N|
|001001379|THE FRUIT SQUARE PEOPLE INC|L & M BAKERY|N|
|001001416|J & S MARKET||N|

df2如下所示

|001000145|PARADISE TAN||N|
|001000306|SHRUT & ASCH LEATHER COMPANY, INC.||N|
|001000355|HARRISON SPECIALTY CO., INC.||N|
|001000363|LOUIS M. GERSON CO., INC.||N|
|001000467|SAVE THE SEA TURTLES INTERNATIONAL|ADOPT THE BEACH HI|N|
|001000504|DIRIGO SPICE CORPORATION|CUNNINGHAM SPICE|N|
|001000744|FREEDMAN THREAD COMPANY|COLONIAL THREAD CO|N|
|001000756|AFFORDABLE AIR CONDITIONING|P R ENTERPRISE|N|
|001000900|CLIFLEX BELLOWS CORPORATION||N|
|001000905|FLORIDA DEPARTMENT OF LABOR AND EMPLOYMENT SECURITY|BUREAU OF COMPLIANCE|N|
|001001049|SPINELLI RAVIOLI MFG CO INC|SPINELLI BKY RAVIOLI PASTRY SP|N|
|001001130|LOS ANGELES UNIFIED SCHOOL DISTRICT|TRANSPORTATION BRANCH|N|
|001001143|TOSCO MUSIC PARTIES, INC||N|
|001001155|BOSTON BRASS AND IRON CO||N|

但是我想要的是，我必须找到基于一列.Some的两个数据帧之间的差异，如下所示

我要输出如下所示

|dunsnumber|filler1|        businessname|      tradestylename|registeredaddressindicator|
+----------+-------+--------------------+--------------------+--------------------------+
| 001001130|       |dddd ANGELES UNIF...|TRANSPORTATION BR...|                         N|
| 001000900|       |aaaaa BELLOWS COR...|                    |                         N|
| 001000905|       |ddddd DEPARTMENT ...|BUREAU OF COMPLIANCE|                         N|
| 001001143|       |ffff MUSIC PARTIE...|                    |                         N|
| 001001049|       |gggg RAVIOLI MFG ...|SPINELLI BKY RAVI...|                         N|
+----------+-------+--------------------+--------------------+

这是我的密码

    import org.apache.spark.sql.functions._
    val textRdd1 = sc.textFile("/home/cloudera/TRF/PCFP/INCR")
    val rowRdd1 = textRdd1.map(line => Row.fromSeq(line.split("\\|", -1)))
    var df1 = sqlContext.createDataFrame(rowRdd1, schema)

    val textRdd2 = sc.textFile("/home/cloudera/TRF/PCFP/MAIN")
    val rowRdd2 = textRdd2.map(line => Row.fromSeq(line.split("\\|", -1)))
    var df2 = sqlContext.createDataFrame(rowRdd2, schema)
    val diffAnyColumnDF = df1.except(df2).where(df1.col("dunsnumber") === 
    df2.col("dunsnumber")).show()

因此，如果我的主键'dunsnumber‘匹配，那么只会查找是否有任何列更改了该主键。

我希望我的问题清楚。

scala

apache-spark

spark-dataframe

回答 2

Stack Overflow用户

回答已采纳

发布于 2017-09-25 13:55:50

你好，这对我很管用..。

val diffAnyColumnDF = df1.except(df2)
val addDF= diffAnyColumnDF.join(df2, Seq("dunsnumber")).show()

票数 0

Stack Overflow用户

发布于 2017-09-25 11:33:12

Dataframe没有子字符串方法。不过，您可以使用另一种方法。将数据转换为RDD，使用减法，返回数据。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/46404096

复制

相似问题

问火花scala中基于主键的两个数据帧之间的差异查找
EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问火花scala中基于主键的两个数据帧之间的差异查找EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问火花scala中基于主键的两个数据帧之间的差异查找
EN