检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加分区(只支持OBS表) 功能描述 创建OBS分区表成功后,OBS表实际还没有生成分区信息。生成分区信息主要有以下两种场景: 给OBS分区表插入对应的分区数据,数据插入成功后OBS表才会生成分区元数据信息,后续则可以根据对应分区列进行查询等操作。 手工拷贝分区目录和数据到OBS分区表路径下,
功能名称 功能描述 阶段 相关文档 1 支持SparkUI查看作业详情 DLI支持通过SparkUI页面查看作业运行的情况。 商用 Class SparkUI 历史变更 关于数据湖探索DLI更多历史版本变更内容,请单击“查看PDF”详细了解。
Lambda 表达式 Lambda表达式可以用->来表示: x->x+1 (x,y)->x+y x->regexp_like(x,'a+') x->x[1]/x[2] x->IF(x>0,x,-x) x->COALESCE(x,0) x->CAST(xASJSON) x->x+TRY(1/0)
sum(DISTINCT col) 参数说明 表1 参数说明 参数 是否必选 说明 col 是 列值支持所有数据类型,可以转换为DOUBLE类型后参与运算。 列值可以为DOUBLE、DECIMAL或BIGINT类型。 如果输入为STRING类型,会隐式转换为DOUBLE类型后参与运算。 返回值说明
MODIFIES, MODULE, MODULES, MONTH, MORE, MULTISET, MUMPS, NAME, NAMES, NATIONAL, NATURAL, NCHAR, NCLOB, NESTING, NEW, NEXT, NO, NONE, NORMALIZE, NORMALIZED
Schema名称支持正则表达式以读取多个Schema的数据,例如test(.)*表示以test开头的所有schema。 table-name 是 无 String Postgres表名。 表名支持正则表达式去读取多个表的数据,例如cdc_order(.)*表示以cdc_order开头的所有表。 port
ALTER TABLE tableName DROP COLUMN|COLUMNS cols 参数描述 表1 DROP COLUMN参数描述 参数 描述 tableName 表名。 cols 待删除列,可以指定多个。 示例 ALTER TABLE table1 DROP COLUMN
导出查询结果 功能介绍 该API用于将SQL语句的查询结果导出到OBS对象存储中,只支持导出“QUERY”类型作业的查询结果。 该API为异步操作。 目前只支持导出数据到OBS中,且导出的路径必须指定到文件夹级别。OBS路径中不支持逗号,且其中的桶名不能以正则格式“.[0-9]+(
该参数设置为true: 当子查询中数据不重复的情况下,执行关联子查询,不需要对子查询的结果去重。 当子查询中数据重复的情况下,执行关联子查询,会提示异常,必须对子查询的结果做去重处理,比如max(),min()。 该参数设置为false: 不管子查询中数据重复与否,执行关联子查询时,都需要对子查询的结果去重,比如max()
DOUBLE a) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 base 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数base的格式包括浮点数格式、整数格式、字符串格式。 参数base非DOUBLE类型时,会隐式转换为DOUBLE类型后参与运算。
a, BIGINT b) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。 当参数a非BIGINT类型时,会隐式转换为BIGINT类型后参与运算。 b
a, BIGINT b) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。 当参数a非BIGINT类型时,会隐式转换为BIGINT类型后参与运算。 b
管理”页面,对比“规格”和“实际CUs”大小是否一致来判断是否扩容成功。或者在“作业管理”页面,查看“SCALE_QUEUE”类型SQL作业的状态,如果作业状态为“弹性扩缩容中”,表示队列正在扩容中。 操作步骤如下: 在DLI管理控制台左侧,选择“资源管理 > 队列管理”。 选择
} ] } 状态码 状态码如表4所示。 表4 状态码 状态码 描述 200 查询成功。 400 请求错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 表5 错误码 错误码 错误信息 DLI.0999 The
2020-09-22, 2020-09-23 04:30:01.741). 原因分析 DLI源表对应字段cir为double类型。 图1 创建源表 目标表对应字段类型为decimal(9,6)。 图2 创建目标表 查询源表数据,发现导致问题产生的记录ctr值为1675,整数位(4位)超出所定义的decimal精度(9
(partition_spec) 描述 查看指定表的元数据信息。该语法目前只能显示列的元数据信息,等效于语法SHOW COLUMNS。 添加EXTENDED关键字会将表的所有元数据信息以“Thrift”序列化的格式显示出来。 添加FORMATTED关键字会将表的元数据信息以表格的形式展示。 示例 显示fruit数据表的列信息:
a, DOUBLE p) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。 参数a非DOUBLE类型时,会隐式转换为DOUBLE类型后参与运算。 p 是
timestamp, string timezone) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 timestamp 是 DATE STRING TINYINT SMALLINT INT BIGINT 代表待转换的时间。 DATE或STRING类型的日期值,或TINYIN
日期函数概览 DLI所支持的日期函数如表1所示。 表1 日期/时间函数 函数 命令格式 返回值 功能简介 add_months add_months(string start_date, int num_months) STRING 返回start_date在num_months个月之后的date。
a, BIGINT b) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。 当参数a非BIGINT类型时,会隐式转换为BIGINT类型后参与运算。 b