开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >专栏 >你不得不知道的Iceberg的配置Configuration

你不得不知道的Iceberg的配置Configuration

作者头像

王知无-import_bigdata

发布于 2023-04-07 18:48:15

发布于 2023-04-07 18:48:15

4140

举报

文章被收录于专栏：大数据成神之路大数据成神之路

Configuration

1.table properties

1.1 Read properties

因为Iceberg在HDFS上的data文件，通常都是一个个的小文件，所以读取的时候会先进行combine，然后再返回数据。下面是进行combine的一些配置

1.2 Write properties

1.3 Table behavior properties

1.4 Reserved table properties

只在创建或更新表的时候使用，并不会作为表metadata保存下来

1.5 Compatibility flags

2.Catalog properties

2.1 Lock catalog properties

关于catalog lock相关的配置，用来控制commit期间的lock行为

3.Hadoop configuration

用于Hive Metastore connector

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2022-09-19，如有侵权请联系 cloudcommunity@tencent.com 删除

目录

1.table properties
- 1.1 Read properties
- 1.2 Write properties
- 1.3 Table behavior properties
- 1.4 Reserved table properties
- 1.5 Compatibility flags

2.Catalog properties
- 2.1 Lock catalog properties

3.Hadoop configuration