检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
field 该值用于在写之前对具有相同的key的行进行合并去重。 指定为具体的表字段 hoodie.datasource.write.payload.class 在更新过程中,该类用于提供方法将要更新的记录和更新的记录做合并,该实现可插拔,如要实现自己的合并逻辑,可自行编写。 org.apache
Database名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。 table_name 是 表名称。 col_name 是 列字段名称。col_name必须是已存在的列。 col_type 是 列数据类型。本语法不支持修改列数据类型,这里指定的是创建表时指定的列数据类型。 col_comment
'num3');-- NULL map() 描述:返回一个空的map。 select map();-- {} map(array(K), array(V)) -> map(K, V) 描述:根据给定的键值对数组,返回map。聚合函数中的map_agg()和multimap_agg()也同样能用于生成map。
SQL场景使用DEW管理和访问凭据的操作指导,将Flink作业的输出数据写入到Mysql或DWS时,在connector中设置账号、密码等属性。 Flink Jar 使用DEW获取访问凭证读写OBS 访问OBS的AKSK为例介绍Flink Jar使用DEW获取访问凭证读写OBS的操作指导。 用户获取Flink作业委托临时凭证
表示匹配所有xpath开头的函数名。 例如:SHOW FUNCTIONS LIKE 'xpath*' ; 表示可以匹配到:xpath、xpath_int、xpath_string等等xpath开头的函数。 'x[a-z]+' 表示匹配以x开头,后面是a到z范围的一个到多个字符的函数名。如可以匹配到:xpath、xtest等。
该操作修改了作业对资源的算法逻辑。 例如原有的算法的语句是执行加减运算,当前需要恢复的状态将算法的语句修改成为乘除取余的运算,是无法从checkpoint直接恢复的。 修改“静态流图” 不支持 该操作修改了作业对资源的算法逻辑。 修改“单TM所占CU数”参数 支持 对计算资源的修改并没有影响到作业算法或算子的运行逻辑。
yyyy-mm-dd hh:mi:ss.ff3 datepart 是 STRING 代表需要返回的时间单位。 参数datepart支持扩展的日期格式:年-year、月-month或-mon、日-day和小时-hour。 yyyy代表年份。 MM代表月份。 dd代表天。 hh代表小时。 mi代表分钟。
STRING 用于作为分隔符的字符串,按照指定的两个分隔符拆分源字符串。如果表达式中没有指定这两项,默认split1为";",split2为":"。当某个被split1拆分后的字符串中有多个split2时,返回结果未定义。 key 否 BIGINT 将字符串按照split1和split2拆分后,返回key值对应的Value。
message String 系统提示信息,执行成功时,信息可能为空。执行失败时,用于显示执行失败的原因。 请求示例 更新SQL模板的信息,包括模板的SQL语句、模板名称、模板的描述信息和分组信息。 { "sql": "select * from t1", "sql_name":
目ID。 resource_name 是 String 上传的资源包名。 表2 query参数说明 参数名称 是否必选 参数类型 说明 group 否 String 上传资源包时,返回的资源组名。 带入query参数的URL示例如下: DELETE /v2.0/{project_
取消作业(废弃) 功能介绍 该API用于取消已经提交的作业,若作业已经执行结束或失败则无法取消。 当前接口已废弃,不推荐使用。 URI URI格式: DELETE /v1.0/{project_id}/queues/{queue_name}/jobs/{job_id} 参数说明 表1
每页显示的返回信息的个数,默认值为100。 offset 否 Integer 偏移量。 filter 否 String 筛选条件,目前只支持“=”条件筛选,例如:name=name1,表示筛选出分区中name=name1的数据,name为分区列名称,name1为分区列的值。key和value不区分大小写。
常见场景的委托权限策略 本节操作提供了DLI常见场景的委托权限策略,用于用户自定义权限时配置委托的权限策略。委托策略中的“Resource”根据需要具体情况进行替换。 数据清理委托权限配置 适用场景:数据清理委托,表生命周期清理数据及lakehouse表数据清理使用。该委托需新建
到OBS桶),提交运行失败的情形(例如:jar包冲突),有时日志不会写到OBS桶中 DLI Flink作业提交或运行失败时,对应生成的作业日志保存方式,包含以下三种情况: 提交失败,只会在submit-client下生成提交日志。 运行失败且在1分钟内的日志,可以直接在管理控制台页面查看,具体如下:
array<string> <a>) 返回将参数中的所有字符串或ARRAY数组中的元素按照指定的分隔符连接在一起的结果。 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 separator 是 STRING STRING类型的分隔符。 str1、str2 是 STRING 至少要指定2个字符串。
标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : +-@,但首尾不能含有空格,不能以_sys_开头。 values 是 Array of strings 值列表。 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : +-@,但首尾不能含有空格。
返回文件/目录在集群中占用的实际空间,即它考虑了为集群设置的复制因子 quota 名称配额(名称配额是对当前目录树中的文件和目录名称数量的硬性限制) space_quota 空间配额(空间配额是对当前目录树中的文件所使用的字节数量的硬性限制) 注意事项 使用由DLI提供的元数据服务时,不支持本命令。
String USER_BUCKET_NAME为用户的桶名,需要进行替换为用户的使用的OBS桶名。 参数的值为用户定义在CSMS通用凭证中的键key, 其Key对应的value为用户的AK(Access Key Id),需要具备访问OBS对应桶的权限。 flink.hadoop.fs.obs
是 批处理作业的ID。 请求消息 无请求参数。 响应消息 表2 响应参数说明 参数名称 是否必选 参数类型 说明 id 否 String 批处理作业的ID,采用UUID(通用唯一识别码)格式。 state 否 String 批处理作业的状态,请参见创建批处理作业中的表7。 请求示例
说明 create_time 是 Long 创建集群的时间。 description 否 String 集群的描述信息。 cu_count 是 Integer 与集群绑定的计算单元个数。 owner 是 String 创建集群的用户。 cluster_name 是 String 集群名称。