华为云首页用户手册

数据湖探索 DLI-导出查询结果:注意事项

数据湖探索 DLI-导出查询结果:注意事项

时间：2024-07-01 21:07:19

数据湖探索 DLI

注意事项

通过配置“spark.sql.shuffle.partitions”参数可以设置非 DLI 表在OBS桶中插入的文件个数，同时，为了避免数据倾斜，在INSERT语句后可加上“distribute by rand()”，可以增加处理作业的并发量。例如：
```
insert into table table_target select * from table_source distribute by cast(rand() * N as int);
```
配置项为OPTIONS('DELIMITER'=',')时，可以指定分隔符，默认值为“,”。
对于 CS V数据，支持如下所述分隔符：
- 制表符tab，例如：'DELIMITER'='\t'。
- 支持通过unicode编码指定分割符，例如：'DELIMITER'='\u0001'。
- 单引号（'），单引号必须在双引号（" "）内。例如：'DELIMITER'= "'"。

上一篇：数据湖探索 DLI-内连接:示例

下一篇：数据湖探索 DLI-DWS源表:参数说明

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

数据湖探索 DLI-导出查询结果:注意事项

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题