检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
队列引擎版本升级后,在创建表时,提示权限不足怎么办? 问题描述 队列版本从Spark 2.x版本切换至Spark 3.3.x版本时,或切换使用HetuEngine后,如果已经赋予IAM用户的建表权限,但是在创建表时候仍然提示权限不足。 根因分析 DLI队列的引擎版本不同,校验的权限范围不同:
代表需要判断的字符串。 如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型,会隐式转换为STRING类型后参与运算 格式为任意字符串。 format 是 STRING 代表需要转换的目标日期格式。 STRING类型常量,不支持日期扩展格式。 format:格式为代表年月日
故障恢复 系统级故障恢复 DLI系统采用存算分离的架构,计算集群基于K8s资源调度和故障切换机制,在系统故障时,支持自动故障恢复。 作业级故障恢复 Flink、Spark作业支持配置自动重启恢复机制,在开启自动重启功能后,当作业出现异常时将自动重启恢复作业。 父主题: 安全
initcap initcap函数用于将文本字符串转换成首字母大写其余字母小写的形式。 命令格式 initcap(string A) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 A 是 STRING 待转换的文本字符串。 返回值说明 返回一个STRING类型字符串,
hex hex函数用于将整数或字符转换为十六进制格式。 命令格式 hex(BIGINT a) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。 参数
CSS安全集群配置 准备工作 当前CSS服务提供的Elasticsearch 6.5.4或以上集群版本为用户增加了安全模式功能,开启安全模式后,将会为用户提供身份验证、授权以及加密等功能。DLI服务对接CSS安全集群时,需要先进行以下准备工作。 选择CSS Elasticsearch
择新版本的Flink引擎,推荐使用DLI Flink 1.15版本。 正在使用Flink 1.10、Flink1.11版本的作业也请您尽快切换至新版本的Flink引擎,否则作业执行过程中出现的错误,不再提供该版本的任何技术服务支持。 如您有任何问题,可随时通过工单或者服务热线(4
a, b, sum(expression) FROM table GROUP BY a, b GROUPING SETS((a,b)); 将转换为以下一条查询: 1 2 SELECT a, b, sum(expression) FROM table GROUP BY a, b;
弹性资源池支持按需和包年包月的购买方式。 不支持切换弹性资源池的计费模式。 当前仅支持包年包月计费模式的弹性资源池进行规格变更。 按需计费的弹性资源池默认勾选专属资源模式,自创建起按自然小时收费。 管理弹性资源池 弹性资源池不支持切换区域。 Flink 1.10及其以上版本的作业支持在弹性资源池运行。
Kafka作为源表,Print作为结果表(适用于Kafka集群已开启SASL_SSL场景) 创建DMS的kafka集群,开启SASL_SSL,并下载SSL证书,将下载的证书client.jks上传到OBS桶中。 其中,properties.sasl.jaas.config字段包含账号密码,使用DEW进行加密。
作业时选择新版本的Spark引擎,推荐使用DLI Spark 3.3.1版本。 正在使用DLI Spark 3.1.1版本的作业也请您尽快切换至新版本的Spark引擎,否则作业执行过程中出现的错误,不再提供该版本的任何技术服务支持。 如您有任何问题,可随时通过工单或者服务热线(4
me,为什么DLI中查出来的是时间戳呢? Spark中没有datetime数据类型,其使用的是TIMESTAMP类型。 您可以通过函数进行转换。 例如: select cast(create_date as string), * from table where create_date>'2221-12-01
作业时选择新版本的Spark引擎,推荐使用DLI Spark 3.3.1版本。 正在使用DLI Spark 2.3.2版本的作业也请您尽快切换至新版本的Spark引擎,否则作业执行过程中出现的错误,不再提供该版本的任何技术服务支持。 如您有任何问题,可随时通过工单或者服务热线(4
查看队列定时扩缩容计划(废弃) 功能介绍 该API用于查看队列定时扩缩容计划,列出指定队列定时规格变更计划。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1/{project_id}/queues/{queue_name}/plans
from_unixtime函数用于计算将数字型的UNIX值代表的时间戳转换为日期值。 命令格式 from_unixtime(bigint unixtime) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 unixtime 是 BIGINT UNIX格式的时间戳。代表需要转换的时间戳 此处参数应填正常UNIX格式时间戳前十位。
Flink OpenSource SQL 1.15版本使用说明 如果您的作业是从Flink1.12版本切换至Flink 1.15,在使用Flink OpenSource SQL 1.15时请注意以下使用说明。 Flink SQL采用SQL Client 提交方式,相比Flink1
to_char to_char函数用于将日期按照指定格式转换为字符串。 命令格式 to_char(string date, string format) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 date 是 DATE 或 STRING 代表需要处理的日期。 格式为:
='obs://bucket/path') 配置该选项后,MODE不可配,固定为"DROPMALFORMED",即将能够成功转换的记录导入到目标表,而将转换失败的记录存储到指定错误记录存储目录。 注意事项 导入OBS表时,创建OBS表时指定的路径必须是文件夹,若建表路径是文件将导致导入数据失败。
创建队列定时扩缩容计划(废弃) 功能介绍 该API用于创建队列定时扩缩容计划,对指定的队列创建定时规格变更计划。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v1/{project_id}/queues/{queue_name}/plans
to_utc_timestamp to_utc_timestamp函数用于将timezone所对应的时间戳转换为UTC的时间戳。 命令格式 to_utc_timestamp(string timestamp, string timezone) 参数说明 表1 参数说明 参数 是否必选