检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
其他函数 数组函数 表1 数组函数表 函数 返回值类型 描述 CARDINALITY(ARRAY) INT 返回数组的元素个数。 ELEMENT(ARRAY) - 使用单个元素返回数组的唯一元素。 如果数组为空,则返回null。如果数组有多个元素,则抛出异常。 示例: 返回数组的元素个数为3。
使用Spark作业访问sftp中的文件,作业运行失败,日志显示访问目录异常 执行作业的用户数据库和表权限不足导致作业运行失败 为什么Spark3.x的作业日志中打印找不到global_temp数据库 在使用Spark2.3.x访问元数据时,DataSource语法创建avro类型的OBS表创建失败
显示所有角色和用户的绑定关系 功能描述 在当前database显示角色与某用户的绑定关系。 语法格式 1 SHOW PRINCIPALS ROLE; 关键字 无。 注意事项 变量ROLE必须存在。 示例 1 SHOW PRINCIPALS role1; 父主题: 数据权限管理
自定义函数 概述 DLI支持三种自定义函数: UDF:自定义函数,支持一个或多个输入参数,返回一个结果值。 UDTF:自定义表值函数,支持一个或多个输入参数,可返回多行多列。 UDAF:自定义聚合函数,将多条记录聚合成一个值。 暂不支持通过python写UDF、UDTF、UDAF自定义函数。
PARTITION:分区。 参数说明 表1 参数描述 参数 描述 db_name Database名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。 table_name Database中的表名,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。
管理Spark作业模板 操作场景 在创建Spark作业时,您可以在已有的Spark样例模板中进行修改,来实现实际的作业逻辑需求,节约编辑SQL语句的时间。 当前云平台尚未提供预置的Spark模板,但支持用户自定义Spark作业模板,本节操作介绍在Spark管理页面创建Spark模板的操作方法。
显示角色 功能描述 显示所有的角色或者显示当前database下绑定到“user_name”的角色。 语法格式 1 SHOW [ALL] ROLES [user_name]; 关键字 ALL:显示所有的角色。 注意事项 ALL关键字与user_name不可同时存在。 示例 显示绑定到该用户的所有角色。
TBLPROPERTIES:TBLPROPERTIES子句给表添加key/value的属性。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 table_name 表名称。 obs桶多版本回收站目录
DLI中使用EL表达式的格式为:${expr}。 修改前: t_user_message_input_#{date_format(date_sub(current_date(), 1), 'yyyymmddhhmmss')} 修改后: t_user_message_input_$
创建增强型跨源连接后,使用DCS提供的"连接地址"。"连接地址"有多个时,选择其中一个即可。 说明: 访问DCS目前只支持增强型跨源。 port DCS的连接端口,例如6379。 password (已废弃)创建DCS集群时填写的密码。访问非安全Redis集群时不需要填写。 passwdauth
Flink 1.12版本。 Flink 1.12版本有哪些优势? Flink 1.12新增支持DataGen源表、DWS源表、JDBC源表、MySQL CDC源表、Postgres CDC源表、Redis源表、Upsert Kafka源表、Hbase源表 更多升级Flink 1.12版本的优势请参考Flink
Flink 1.12版本。 Flink 1.12版本有哪些优势? Flink 1.12新增支持DataGen源表、DWS源表、JDBC源表、MySQL CDC源表、Postgres CDC源表、Redis源表、Upsert Kafka源表、Hbase源表 更多升级Flink 1.12版本的优势请参考Flink
OpenTSDB,填写OpenTSDB链接地址。 访问MRS OpenTSDB,若使用增强型跨源连接,填写OpenTSDB所在节点IP与端口,格式为"IP:PORT",OpenTSDB存在多个节点时,用分号间隔。 metric 所创建的DLI表对应的OpenTSDB中的指标名称。 tags
储了大量数据而产生的计费。具体操作请参考数据存储。 数据存储 进入“数据管理”>“库表管理”页面。 查看所建的数据库中是否有存储在DLI中的数据: 单击所要查看的数据库名,进入对应的“表管理”页面; 查看对应表的“数据存储位置”是否为DLI。 如果有存储在DLI中的数据,则按照存储计费的标准计费。
表示窗口时间间隔为10秒,请根据实际情况修改该时间值。 格式2:INTERVAL '10' MINUTE 表示窗口时间间隔为10分钟,请根据实际情况修改该时间值。 格式3:INTERVAL '10' DAY 表示窗口时间间隔为10天,请根据实际情况修改该时间值。 period_interval
以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 功能介绍 DLI用户可以通过可视化界面、Restful API、JDBC、Beeline等多种接入方式对云上CloudTable、RDS和DWS等异构数据源进行查询分
SQL使用DEW管理访问凭据 Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导,将Flink作业的输出数据写入到Mysql或DWS时,在connector中设置账号、密码等属性。 Flink Jar 使用DEW获取访问凭证读写OBS 访问OBS的AKSK为例介绍Flink
资源相关API(废弃) 数据库相关API(废弃) 表相关API(废弃) 父主题: 历史API
访问CloudTable集群,填写ZK连接地址(内网)。 访问MRS集群,填写ZK所在节点IP与ZK对外端口,格式为:"ZK_IP1:ZK_PORT1,ZK_IP2:ZK_PORT2"。 说明: 访问MRS集群,只支持创建增强型跨源连接并且需要配置主机信息,管理控制台操作请参考增强
表相关 创建OBS表 创建DLI表 删除表 查看表 修改表 分区相关 多版本备份恢复数据 表生命周期管理