检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本章节介绍创建IAM用户并授权使用DLI的方法,操作流程如图1所示。 前提条件 给用户组授权之前,请您先了解用户组可以添加的DLI权限,并结合实际需求进行选择。DLI支持的系统权限,请参见:DLI系统权限。 示例流程 图1 给用户授权DLI权限流程 创建用户组并授权 在IAM控制台创建用户组,并授予DLI服务普通用户权限“DLI
发送SMN服务的消息标题,用户自定义 connector.message-column 是 当前表的某个字段名,其内容作为消息的内容,用户自定义。目前只支持默认的文本消息 注意事项 无 示例 将数据写入smn的相应主题中,其中smn发送的消息的主题为'test',内容为字段'attr1'的内容
能对某一类云服务器资源进行指定的管理操作。DLI支持的API授权项请参见《权限策略和授权项》。 表1 DLI系统权限 系统角色/策略名称 描述 类别 依赖关系 DLI FullAccess 数据湖探索所有权限。 系统策略 该角色有依赖,需要在同项目中勾选依赖的角色: 创建跨源连接:VPC
发送SMN服务的消息标题,用户自定义 connector.message-column 是 当前表的某个字段名,其内容作为消息的内容,用户自定义。目前只支持默认的文本消息 注意事项 无 示例 将数据写入smn的相应主题中,其中smn发送的消息的主题为'test',内容为字段'attr1'的内容
看保存日志的OBS桶。 在日志中搜索依赖包信息。 在日志中搜索“Classpath:”即可查看相关依赖包信息。 Flink 1.15 不再支持DLI程序包管理的功能,依赖包、依赖文件等请在编辑作业时直接选择上传的OBS路径。 父主题: Flink Opensource SQL1.15语法参考
SQL语法解析错误。 400 DLI.0005 SQL语义解析错误。 400 DLI.0006 对象已存在错误。 400 DLI.0007 不支持该操作。 400 DLI.0008 元数据错误。 400 DLI.0009 系统限制。 400 DLI.0011 文件权限校验错误。 400
请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 zip_file 是 String 从OBS上导入的作业zip文件路径,支持填写文件夹,导入文件夹下的所有zip文件。 说明: 文件夹中只能包含zip文件。 is_cover 否 Boolean 如果导入的作业与服
表“DLI_TEST”中的列值,需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。 num 对查询结果进行限制,num参数仅支持INT类型。 values_row 想要插入到表中的值,列与列之间用逗号分隔。 注意事项 DLI表必须已经存在。 DLI表在创建时需要指定Schema信息。
表“DLI_TEST”中的列值,需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。 num 对查询结果进行限制,num参数仅支持INT类型。 values_row 想要插入到表中的值,列与列之间用逗号分隔。 注意事项 DLI表必须已经存在。 DLI表在创建时需要指定Schema信息。
message_subject 是 发往SMN服务的消息标题,用户自定义。 message_column 是 输出流的字段名,其内容作为消息的内容,用户自定义。目前只支持默认的文本消息。 注意事项 无。 示例 将流over_speed_warning的数据输出到消息通知服务SMN中。 1 2 3 4
message_subject 是 发往SMN服务的消息标题,用户自定义。 message_column 是 输出流的字段名,其内容作为消息的内容,用户自定义。目前只支持默认的文本消息。 注意事项 无。 示例 将流over_speed_warning的数据输出到消息通知服务SMN中。 1 2 3 4
即每月1日0点重置免费资源。 DLI的套餐包中仅存储套餐包按自然周期,即每小时重置,其他套餐包按订购周期重置。 约束限制 套餐包购买后不支持退订。 套餐包和具体的区域绑定,购买的套餐只能在绑定的区域使用,不能在其他区域使用。 计费时优先使用套餐中的资源,套餐中资源使用完后,超出部分按需付费。
AK/SK认证 AK/SK认证就是使用AK/SK对请求进行签名,在请求时将签名信息添加到消息头,从而通过身份认证。 AK/SK签名认证方式仅支持消息体大小为12M以内的请求,12M以上的请求请使用Token认证。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联
使用CTS审计DLI服务 通过云审计服务,您可以记录与DLI服务相关的操作事件,便于日后的查询、审计和回溯。 表1 云审计服务支持的DLI操作列表 操作名称 资源类型 事件名称 创建数据库 database createDatabase 删除数据库 database deleteDatabase
年包月计费,整体相比原来更优惠。 弹性资源池规格不满足当前业务需求时,可以通过“变更规格”功能修改当前弹性资源池的规格。 注意事项 当前仅支持包年包月计费模式的弹性资源池进行规格变更。 弹性资源池扩容 在DLI管理控制台左侧,选择“资源管理 > 弹性资源池”。 选择需要扩容的弹性
批处理作业所属代理用户(资源租户)。 state 否 String 批处理作业的状态,请参见创建批处理作业中的表7。 kind 否 String 批处理作业类型,只支持spark类型参数。 log 否 Array of Strings 显示当前批处理作业的最后10条记录。 sc_type 否 String
list。 DEW解密凭据的权限,kms:dek:decrypt。 委托权限示例请参考自定义DLI委托权限和常见场景的委托权限策略。 仅支持Flink1.15版本使用DEW管理访问凭据,在创建作业时,请配置作业使用Flink1.15版本、且已在作业中配置允许DLI访问DEW的委
$表示根节点。 .表示子节点。 []表示[number]表示数组下标,从0开始。 *表示Wildcard for [],返回整个数组。*不支持转义。 返回值说明 返回STRING类型的值。 如果json为空或非法的json格式,返回NULL。 如果json合法,path也存在,则返回对应字符串。
$表示根节点。 .表示子节点。 []表示[number]表示数组下标,从0开始。 *表示Wildcard for [],返回整个数组。*不支持转义。 返回值说明 返回STRING类型的值。 如果json为空或非法的json格式,返回NULL。 如果json合法,path也存在,则返回对应字符串。
user_conf String SQL查询的相关列信息的Json字符串。 result_format String 作业结果的存储格式,当前只支持csv。 result_path String 作业结果的OBS路径。 表3 tags参数 参数名称 是否必选 参数类型 说明 key 是