检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建函数 功能描述 DLI支持创建使用UDF和UDTF等自定义函数应用于Spark作业开发当中。 具体使用自定义函数端到端的开发指导可以参考:Spark SQL作业使用UDF和Spark SQL作业使用UDTF。 语法格式 1 2 3 4 5 CREATE FUNCTION [db_name
创建函数 功能描述 DLI支持创建使用UDF和UDTF等自定义函数应用于Spark作业开发当中。 具体使用自定义函数端到端的开发指导可以参考:Spark SQL作业使用UDF和Spark SQL作业使用UDTF。 语法格式 1 2 3 4 5 CREATE FUNCTION [db_name
FROM子句嵌套子查询 功能描述 在FROM子句中嵌套子查询,子查询的结果作为中间过渡表,进而作为外部SELECT语句的数据源。 语法格式 1 SELECT [ALL | DISTINCT] attr_expr_list FROM (sub_query) [alias]; 关键字
类型转换函数 语法格式 CAST(value AS type) 语法说明 类型强制转换。 注意事项 若输入为NULL,则返回NULL。 Flink作业不支持使用CAST将“BIGINT”转换为“TIMESTAMP”,可以使用to_timestamp或者to_localtimestamp
类型转换函数 语法格式 CAST(value AS type) 语法说明 类型强制转换。 注意事项 若输入为NULL,则返回NULL。 Flink作业不支持使用CAST将“BIGINT”转换为“TIMESTAMP”,可以使用to_timestamp或者to_localtimestamp
比较函数 表1 比较函数 SQL函数 返回类型 描述 value1 = value2 BOOLEAN 如果 value1 等于 value2 返回 TRUE; 如果 value1 或者 value2 为 NULL 返回 UNKNOWN。 value1 <> value2 BOOLEAN
ROLLUP 功能描述 ROLLUP生成聚合行、超聚合行和总计行。可以实现从右到左递减多级的统计,显示统计某一层次结构的聚合。 语法格式 1 2 3 SELECT attr_expr_list FROM table_reference GROUP BY col_name_list
按列GROUP BY 功能描述 按列对表进行分组操作。 语法格式 1 2 SELECT attr_expr_list FROM table_reference GROUP BY col_name_list; 关键字 GROUP BY:按列可分为单列GROUP BY与多列GROUP
ROLLUP 功能描述 ROLLUP生成聚合行、超聚合行和总计行。可以实现从右到左递减多级的统计,显示统计某一层次结构的聚合。 语法格式 1 2 3 SELECT attr_expr_list FROM table_reference GROUP BY col_name_list
按列GROUP BY 功能描述 按列对表进行分组操作。 语法格式 1 2 SELECT attr_expr_list FROM table_reference GROUP BY col_name_list; 关键字 GROUP BY:按列可分为单列GROUP BY与多列GROUP
典型场景示例:创建弹性资源池并运行作业 本章节主要介绍从创建弹性资源池、创建增强型跨源、添加队列到弹性资源池并运行作业的一个完整流程,帮助您更好、更方便的使用弹性资源池。 图1 创建弹性资源池运行作业流程图 表1 创建新队列时绑定弹性资源池流程说明 阶段 说明 参考文档 步骤一:创建弹性资源池
典型场景示例:迁移Elasticsearch数据至DLI 本文为您介绍如何通过CDM数据同步功能,迁移Elasticsearch类型的CSS集群数据至DLI。其他自建的Elasticsearch等服务数据,均可以通过CDM与DLI进行双向同步。 前提条件 已创建DLI的SQL队列。
创建DLI表关联CSS 功能描述 使用CREATE TABLE命令创建DLI表并关联CSS上已有的表。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联CSS
创建DLI表关联CSS 功能描述 使用CREATE TABLE命令创建DLI表并关联CSS上已有的表。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联CSS
迁移Elasticsearch数据至DLI 本文为您介绍如何通过CDM数据同步功能,迁移Elasticsearch类型的CSS集群数据至DLI。其他自建的Elasticsearch等服务数据,均可以通过CDM与DLI进行双向同步。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建
创建DLI表关联OpenTSDB 功能描述 使用CREATE TABLE命令创建DLI表并关联OpenTSDB上已有的metric,该语法支持CloudTable服务的OpenTSDB和MRS服务的OpenTSDB。 前提条件 创建DLI表关联OpenTSDB之前需要创建跨源连接。
GROUPING SETS 功能描述 GROUPING SETS生成交叉表格行,可以实现GROUP BY字段的交叉统计。 语法格式 1 2 3 SELECT attr_expr_list FROM table_reference GROUP BY col_name_list
创建DLI表关联OpenTSDB 功能描述 使用CREATE TABLE命令创建DLI表并关联OpenTSDB上已有的metric,该语法支持CloudTable服务的OpenTSDB和MRS服务的OpenTSDB。 前提条件 创建DLI表关联OpenTSDB之前需要创建跨源连接。
迁移RDS数据至DLI 本文为您介绍如何通过CDM数据同步功能,迁移关系型数据库RDS数据至DLI。其他关系型数据库数据都可以通过CDM与DLI进行双向同步。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI队列时队列类型需要选择为“SQL
配置DLI作业桶 使用DLI服务前需配置DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据,例如:作业日志、作业结果。 本节操作指导您在DLI管理控制台的“全局配置 > 工程配置”页面配置DLI作业桶。 操作前准备 配置前,请先购买OBS桶或并行文件系统。 大数据场景推荐使用并行文件系统