跳到主要内容
版本:v2.7

如何避免Hive目的地出现小文件问题?

Q:如何避免Hive目的地出现小文件问题?​

A:目前在往Hive目的地写入数据时,如果对实时性要求高,选择实时同步的方式,源端每新增数据目的地就会对应生成相应的文件,因此小文件出现就会比较多。如果对于实时性要求不是很高的话,推荐用户选择定时读取的方式,可通过增大写入时间间隔来减少小文件的产生。