问S3精选会加速镶木地板文件的火花分析吗？

EN

您可以使用S3 Select with Spark on Amazon EMR和with Databricks，但只能用于CSV和JSON文件。我猜S3精选不是为列文件格式提供的，因为它不会有太多帮助。

假设我们有一个包含first_name、last_name和country列的数据湖。

如果数据存储为CSV文件，并且您运行peopleDF.select("first_name").distinct().count()这样的查询，那么S3将把所有列的所有数据传输到ec2集群以运行计算。这真的很低效，因为我们不需要所有的last_name和country数据来运行这个查询。

如果数据存储为CSV文件，并且您使用S3 select运行查询，那么S3将只传输first_name列中的数据来运行查询。

spark
  .read
  .format("s3select")
  .schema(...)
  .options(...)
  .load("s3://bucket/filename")
  .select("first_name")
  .distinct()
  .count()

如果数据存储在Parquet数据湖中，并且正在运行peopleDF.select("first_name").distinct().count()，则S3将仅将first_name列中的数据传输到ec2集群。Parquet是一种柱状文件格式，这是它的主要优点之一。

因此，根据我的理解，镶嵌面板数据湖上的S3精选无助于加快分析速度，因为柱状文件格式提供了开箱即用的S3精选优化。

我不确定是因为一个同事确定我错了，也因为S3 Select supports the Parquet file format。您能否确认列式文件格式提供了S3精选提供的主要优化功能？