云服务器内容精选

华为云首页用户手册

SQL作业开发类

数据湖探索 DLI-如何合并小文件

如何合并小文件使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。设置配置项。 spark.sql.shuffle.partitions = 分区数量（即此场景下最终生成的文件数量）执行SQL。 INSERT OVERWRITE TABLE tablename select * FROM tablename distribute by rand() 父主题： SQL作业开发类

数据湖探索 DLI SQL作业开发类
数据湖探索 DLI-SQL作业如何指定表的部分字段进行表数据的插入

SQL作业如何指定表的部分字段进行表数据的插入如果你需要将数据插入到表中，但只想指定部分字段，你可以使用INSERT INTO语句结合SELECT子句来实现。但是 DLI 目前不支持直接在INSERT INTO语句中指定部分列字段进行数据插入，您需要确保在SELECT子句中选择的字段数量和类型与目标表的Schema信息匹配。即确保源表和目标表的数据类型和列字段个数相同，以避免插入失败。如果目标表中的某些字段在SELECT子句中没有被指定，那么这些字段也可能被插入默认值或置为空值（取决于该字段是否允许空值）。父主题： SQL作业开发类

数据湖探索 DLI SQL作业开发类
数据湖探索 DLI-count函数如何进行聚合

count函数如何进行聚合使用count函数进行聚合的正确用法如下： SELECT http_method, count(http_method) FROM apigateway WHERE service_id = 'ecs' Group BY http_method 或者 SELECT http_method FROM apigateway WHERE service_id = 'ecs' DISTRIBUTE BY http_method 错误用法：将会报错。 SELECT http_method, count(http_method) FROM apigateway WHERE service_id = 'ecs' DISTRIBUTE BY http_method 父主题： SQL作业开发类

数据湖探索 DLI SQL作业开发类