检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GROUP BY GROUP BY GROUP BY将SELECT语句的输出行划分成包含匹配值的分组。简单的GROUP BY可以包含由输入列组成的任何表达式，也可以是按位置选择输出列的序号。 以下查询是等效的： SELECT count(*), nationkey FROM customer
添加分区（只支持OBS表） 功能描述 创建OBS分区表成功后，OBS表实际还没有生成分区信息。生成分区信息主要有以下两种场景： 给OBS分区表插入对应的分区数据，数据插入成功后OBS表才会生成分区元数据信息，后续则可以根据对应分区列进行查询等操作。 手工拷贝分区目录和数据到OBS
EXPLAIN 语法 EXPLAIN [ ( option [, ...] ) ] statement 其中选项可以是以下选项之一： FORMAT { TEXT | GRAPHVIZ | JSON } TYPE { LOGICAL | DISTRIBUTED | VALIDATE
固定精度型 名称 描述 存储空间 取值范围 字面量 DECIMAL 固定精度的十进制数。精度最高支持到38位，但精度小于18位能保障性能最好。 Decimal有两个输入参数： precision：总位数，默认38 scale：小数部分的位数，默认0 说明： 如果小数位为零，即十进制（38
时间函数 Flink OpenSource SQL所支持的时间函数如表1所示。 函数说明 表1 时间函数 函数 返回值 描述 DATE string DATE 将日期字符串以"yyyy-MM-dd"的形式解析为SQL日期。 TIME string TIME 将时间字符串以"HH:mm:ss[
Spark作业访问OBS数据时报ResponseCode: 403和ResponseStatus: Forbidden错误 问题现象 Spark程序访问OBS数据时上报如下错误。 Caused by: com.obs.services.exception.ObsException:
修改弹性资源池的主机信息 操作场景 主机信息用于配置主机的IP与域名的映射关系，在作业配置时只需使用配置的域名即可访问对应的主机。在跨源连接创建完成后，支持修改主机信息。 常见的访问MRS的HBase集群时需要配置实例的主机名（即域名）与主机对应的IP地址。 约束限制 已获取MR
Hadoop jar包冲突，导致Flink提交失败 问题现象 Flink 提交失败，异常为： Caused by: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop
时间函数 Flink OpenSource SQL所支持的时间函数如表1所示。 函数说明 表1 时间函数 函数 返回值 描述 DATE string DATE 以“yyyy-MM-dd”的形式返回从字符串解析的 SQL 日期。 DATE_ADD STRING 指定日期增加目标天数后的日期，数据类型为STRING。
使用CTS审计DLI服务 通过云审计服务，您可以记录与DLI服务相关的操作事件，便于日后的查询、审计和回溯。 表1 云审计服务支持的DLI操作列表 操作名称 资源类型 事件名称 创建数据库 database createDatabase 删除数据库 database deleteDatabase
作业相关 导入数据 DLI提供导入数据的接口。您可以使用该接口将存储在OBS中的数据导入到已创建的DLI表或者OBS表中。示例代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 //实例化
时间函数 Flink OpenSource SQL所支持的时间函数如表1所示。 函数说明 表1 时间函数 函数 返回值 描述 DATE string DATE 将日期字符串以"yyyy-MM-dd"的形式解析为SQL日期。 TIME string TIME 将时间字符串以"HH:mm:ss[
get_json_object get_json_object函数用于根据所给路径对json对象进行解析，当json对象非法时将返回NULL。 命令格式 get_json_object(string <json>, string <path>) 参数说明 表1 参数说明 参数 是否必选
Hudi锁配置说明 提交Spark jar作业时需要手动配置Hudi锁。 当使用DLI托管的元数据服务时，必须配置Hudi锁开启，且配置使用DLI提供的Hudi锁实现类： 配置项 配置值 hoodie.write.lock.provider com.huawei.luxor.hudi
聚合函数 聚合函数对一组值进行运算，最终获得一个单值。 除count()、count_if()、max_by()、min_by()和approx_distinct()外，其它聚合函数都忽略空值，并在没有输入行或所有值都为空时返回空值。例如sum()返回null而不是零，并且avg
Spark SQL常用配置项说明 本章节为您介绍DLI 批作业SQL语法的常用配置项。 表1 常用配置项 名称 默认值 描述 spark.sql.files.maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负，则没有限制。 spark.sql.shuffle
字符串函数概览 DLI所支持的字符函数如字符串函数所示。 表1 字符串函数 函数 命令格式 返回值 功能简介 ascii ascii(string <str>) BIGINT 返回字符串中首字符的数字值。 concat concat(array<T> <a>, array<T> <b>[
删除分区 功能描述 本节操作介绍删除分区表的一个或多个分区。 分区表分为两种，OBS表和DLI表。在删除分区时，DLI表和OBS表都支持利用指定条件删除分区表的一个或多个分区。OBS表还支持按指定筛选条件删除分区。 注意事项 所要删除分区的表必须是已经存在的表，否则会出错。 所要
Flink作业模板相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 新建作业模板 DLI提供新建Flink作业模板的接口。您可以使用该接口新建一个Flink作业模板。示例代码如下： 1 2 3 4
导入数据 功能描述 LOAD DATA可用于导入CSV、Parquet、ORC、JSON、Avro格式的数据，内部将转换成Parquet数据格式进行存储。 语法格式 1 2 LOAD DATA INPATH 'folder_path' INTO TABLE [db_name.]table_name
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
