问Nifi格式: CSVRecordSetWritter对AvroRecordSetWritter的性能

EN

我目前正在调整Nifi ExecuteSQLRecord的摄入。这里有多个方面，而在这个问题中，我感兴趣的是一个:摄入速度在多大程度上取决于xxxSetWriter的选择？

AFAIK，从Nifi深度:内容储存库，我了解到Content以某种二进制格式存储数据。那么CSVRecordSetWritter和AvroRecordSetWriter在ExecuteSQLRecord__中有什么区别呢？ExecuteSQLRecord是否将结果集转换为目标格式，然后以某种方式序列化？性能是否在很大程度上取决于选择？

我注意到，在大数据集中，将CSVRecordSetWritter改为AvroRecordSetWriter只会节省8-9%的数据量，并赢得ExecuteSQLRecord速度的10-15%左右。

我很确定SQL源和网络不是瓶颈。线程计数、GC、节点和内核的数量以及磁盘分区都超出了这个问题的范围。