检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
性(通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka或ecs的地址-->测试)。若能连通,则表示跨源已经绑定成功;否则表示未成功。 购买ecs集群,并下载5.5.2版本的confluent(https://packages.confluent.io/archive/5
击“启动”重新运行作业。作业重新运行完成后再执行3及后续步骤。 在Flink作业列表单击对应作业名称,进入作业详情页面,选择“运行日志”页签。 单击OBS桶,获取对应作业的完整运行日志。 图2 查看运行日志 下载最新“jobmanager.log”文件,搜索“RUNNING to
Delta常见配置参数 提交DLI Spark SQL作业时,在“SQL编辑器”界面右上角的“设置 > 参数设置”中配置Delta参数。 表1 Delta常见配置项 参数 描述 默认值 spark.databricks.delta.retentionDurationCheck.enabled
显示函数详情 功能描述 查看指定函数的相关信息。 语法格式 1 DESCRIBE FUNCTION [EXTENDED] [db_name.] function_name; 关键字 EXTENDED:显示扩展使用信息。 注意事项 返回已有函数的元数据(实现类和用法),如果函数不存在,则系统报错。
新建企业项目和查看已有的企业项目。 更多创建队列的操作步骤请参考创建弹性资源池并添加队列。 修改企业项目 针对之前已创建的集群,其绑定的企业项目可根据实际情况进行修改。 登录DLI管理控制台, 在左侧导航栏,选择“资源管理 > 弹性资源池”。 在弹性资源池资源列表中,选择待修改企业项目的资源,并单击操作列下“更多
ckpoint恢复。 应用场景 本文列举了一些常见的从checkpoint恢复的场景供您参考,如表1所示。 更多场景可以使用从checkpoint恢复的原则结合实际情况进行判断。 表1 从checkpoint恢复的常见场景 场景 是否支持恢复 说明 调整或者增加并行数 不支持 该
并绑定所要使用的队列。然后设置安全组入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性。若能连通,则表示跨源已经绑定成功;否则表示未成功 创建flink opensource sql作业,并选择flink版本为1.12,选择保存日志,然后提交并运行,其SQL代码如下:
reverse reverse函数用于返回倒序字符串。 命令格式 reverse(string <str>) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 str 是 STRING 如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型,则会隐式转换为STRING类型后参与运算。
描述:根据给定的比较器函数对数组进行排序并返回。比较器将使用两个可为空的参数,表示数组的两个可为空的元素。当第一个可为空的元素小于,等于或大于第二个可为空的元素时,它将返回-1、0或1。如果比较器函数返回其他值(包括NULL),则查询将失败并引发错误。 SELECT array_sort(ARRAY
显示角色 功能描述 显示所有的角色或者显示当前database下绑定到“user_name”的角色。 语法格式 1 SHOW [ALL] ROLES [user_name]; 关键字 ALL:显示所有的角色。 注意事项 ALL关键字与user_name不可同时存在。 示例 显示绑定到该用户的所有角色。
(通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka或ecs的地址 > 测试)。如果能连通,则表示跨源已经绑定成功;否则表示未成功。 购买ecs集群,并下载5.5.2版本的confluent和jdk1.8.0_232,并上传到购买的ecs集群中,然
json_array_get('["a", [3, 9], "c"]', 1); -- JSON '[3,9]' 索引页支持负数,表示从最后开始,-1表示最后一个元素,索引超过实际长度会返回null SELECT json_array_get('["c", [3, 9], "a"]'
> 队列管理”。 在对应队列的“操作”列,选择“更多 > 属性设置”。 进入队列属性设置页面,设置对应的属性值。属性值相关参数说明请参考表1 表1 队列属性 属性名称 说明 取值范围 最大spark driver实例数 队列能启动的最大spark driver数量。包含预先启动的spark
逻辑函数 表1 逻辑函数 SQL函数 返回类型 描述 boolean1 OR boolean2 BOOLEAN 如果 boolean1 为 TRUE 或 boolean2 为 TRUE 返回 TRUE。支持三值逻辑。 例如 true || Null(BOOLEAN) 返回 TRUE。
通过控制台提交作业请参考《数据湖探索用户指南》中的“选择依赖资源参数说明”。 通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。 完整示例代码 1 2 3 4 5 6 7 8 9 10 11 12 13
描述 向表中插入新的数据行。 如果指定了列名列表,那么这些列名列表必须与query语句产生列列表名完全匹配。表中不在列名列表中的每一列,其值会设置为null。 如果没有指定列名列表,则query语句产生的列必须与将要插入的列完全匹配。 使用insert into时,会往表中追加数据,而使用insert
) ] 描述 使用LIKE子句可以在一个新表中包含一个已存在的表所有的列定义。可以使用多个LIKE来复制多个表的列。 如果使用了INCLUDING PROPERTIES,表的所有属性也会被复制到新表,该选项最多只能对一个表生效。 对于从表中复制过来的属性,可以使用WITH子句指定属性名进行修改。
format 是 STRING 代表需要转换的目标日期格式。 STRING类型常量,不支持日期扩展格式。 format:格式为代表年月日时分秒的时间单位与任意字符的组合,其中: yyyy代表年份。 mm代表月份。 dd代表天。 hh代表小时。 mi代表分钟。 ss代表秒。 返回值说明 返回BOOLEAN类型的值。
当triggerSavePoint为true时,表示创建保存点。 当triggerSavePoint为false时,表示不创建保存点。默认为false。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 数组元素 否 Array of Objects 返回的响应消息组。具体请参考表4。 表4 数组元素参数说明
代表需要转换的目标日期格式。 STRING类型常量,不支持日期扩展格式。 format:格式为代表年月日时分秒的时间单位与任意字符的组合,其中: yyyy代表年份。 mm代表月份。 dd代表天。 hh代表小时。 mi代表分钟。 ss代表秒。 返回值说明 返回STRING类型。 date非DATE或STRI