华为云首页用户手册

数据仓库服务 GaussDB(DWS)-关于OBS并行导出:导出文件的命名规则

数据仓库服务 GaussDB(DWS)-关于OBS并行导出:导出文件的命名规则

时间：2023-11-01 16:15:35

数据仓库服务 GaussDB(DWS) 导出数据到OBS

导出文件的命名规则

GaussDB (DWS)向OBS导出数据的文件命名规则如下：

从DN节点导出数据时，以segment的格式存储在OBS服务中，文件命名规则为“表名称_节点名称_segment.n”。这里的“n”是从0开始按照自然数0、1、2、3递增。
例如，表t1在datanode3里面的数据导出成文件“t1_datanode3_segment.0”、“t1_datanode3_segment.1”等等，以此类推。
对于来自不同集群或不同数据库的数据，建议用户可以将数据导出到不同的OBS桶或者同一个OBS桶的不同路径下。
每个segment可以存储的最大数据为1GB，并且不能切断元组。如果segment超过1GB，超过1GB的数据会作为第二个segment进行存储。
例如：
datanode3节点将表（t1）导出到OBS时，一个segment里面已经存储了100条元组，大小是1023MB，如果再插入一条5MB的元组，大小就变成1028MB了，此时会以1023MB生成一个“t1_datanode3_segment.0”保存到OBS服务中，新插入的第101条元组作为下一个“t1_datanode3_segment.1”保存到OBS服务中。
导出Hash分布表时，每个DataNode节点生成的segment数量和集群的DataNode节点数无关，而是取决于每个DataNode节点上存储的数据量。按照Hash方式存储在各个DataNode节点上的数据分布不一定均匀。
例如，一个有6个DataNode节点的集群，DataNode1到DataNode6分别有1.5GB、0.7GB、0.6GB、0.8GB、0.4GB、0.5GB的数据，则导出时会生成7个OBS segment文件，其中DataNode1会生成1GB和0.5GB两个segment文件。

上一篇：数据仓库服务 GaussDB(DWS)-关于OBS并行导出:导出流程

下一篇：数据仓库服务 GaussDB(DWS)-关于OBS并行导出:导出流程

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

数据仓库服务 GaussDB(DWS)-关于OBS并行导出:导出文件的命名规则

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题