检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Array of objects 用户自定义主机信息，最大支持2万条记录，详细信息参见表 hosts请求参数。内容填空表示清除所有已配置的主机信息。 表3 hosts请求参数 参数名称 是否必选 参数类型 说明 name 否 String 自定义主机名称。长度128，数字字母下划线("_")横杠("-")句点("
如果提示权限不足，表示“DLI ReadOnlyAccess”已生效。 更多操作 创建子用户请参考《如何创建子用户》。 创建自定义策略请参考DLI自定义策略。 修改用户策略请参考《如何修改用户策略》。 父主题： 准备工作
间段内的数据会重复消费）。 图1 Flink作业配置参数 对于Flink Jar作业，您需要在代码中开启Checkpoint，同时如果有自定义的状态需要保存，您还需要实现ListCheckpointed接口，并为每个算子设置唯一ID。然后在作业配置中，勾选“从Checkpoint
Flink Jar所在的OBS路径 分组名称 选择“已有分组”：可选择已有的分组。 选择“创建新分组”：可输入自定义的组名称。 选择“不分组”：不需要选择或输入组名称。 自定义分组或选择已有的分组名称。 图2 创建对应的Flink Jar包 创建distoDis对应的包。 在DLI控制台，打开“数据管理
在创建作业时，请配置作业使用Flink1.15版本 已在作业中配置允许DLI访问DEW的委托信息。flink.dli.job.agency.name=自定义委托名称。 自定义委托请参考自定义DLI委托权限。 请注意配置参数不需要用"" 或 '' 包裹。 Flink1.15基础镜像内置了3.1.62版本的huaweicloud-sdk-core。
string_func 字符串函数。 aggregate_func 聚合函数。 window_func 分析窗口函数。 user_define_func 用户自定义函数。 general_binary_operator 普通二元操作符。 general_unary_operator 普通一元操作符。 (
包括保存SQL模板、创建作业模板等模板相关API。 Flink作业相关API 包括OBS授权给DLI服务、新建SQL作业、更新SQL作业、新建Flink自定义作业、更新Flink自定义作业、批量运行作业、查询作业列表、查询作业详情、查询作业执行计划、查询作业监控信息、批量停止作业、删除作业、批量删除作业、导
SQL作业优先级 登录DLI管理控制台。 单击“作业管理 > Flink作业”。 选择要待配置的作业，单击操作列下的编辑。 单击“自定义配置”。 在“自定义配置”中输入如下语句，先开启动态扩缩容功能，再设置作业优先级。 对于Flink作业，必须先设置flink.dli.job.scale
系统提示信息，执行成功时，信息为空。 id 否 String 连接ID，用于标识跨源连接的UUID。 name 否 String 创建连接时，用户自定义的连接名称。 status 否 String 连接状态，包括以下两种状态： ACTIVE：已激活 DELETED：已删除 available_queue_info
huawei.demo”，完成后回车。 图7 自定义Package 在包路径下新建Java Class文件，本示例定义为：SumUdfDemo。 图8 新建Java Class文件 编写UDF函数代码。UDF函数实现，主要注意以下几点： 自定义UDF需要继承org.apache.hadoop
Jar，并指定主类。 主要参数的填写说明： 所属队列：选择Flink Jar作业运行的队列。 应用程序：自定义的程序包 主类：指定 类名：输入类名并确定类参数列表（参数间用空格分隔）。 其他依赖文件：自定义的依赖文件。选择2和4导入的jks和properties文件。 Flink版本：1.10 图7
Jar作业所需的计算资源。 步骤3：使用DEW管理访问凭证 跨源分析场景中，使用DEW管理数据源的访问凭证，并创建允许DLI访问DEW的委托。 步骤4：创建自定义委托允许DLI访问DEW读取凭证 创建允许DLI访问DEW的委托。 步骤5：提交Spark作业 创建Spark Jar作业分析数据。 准备工作
全局变量 2020年4月 序号 功能名称 功能描述 阶段 相关文档 1 支持IAM细粒度授权 DLI支持通过IAM进行细粒度授权。 商用 DLI自定义策略 2 支持Flink 1.10 DLI支持Flink 1.10版本特性。 商用 Apache Flink Documentation 2020年3月
pt。 委托权限示例请参考自定义DLI委托权限和常见场景的委托权限策略。 仅支持Flink1.15版本使用DEW管理访问凭据，在创建作业时，请配置作业使用Flink1.15版本、且已在作业中配置允许DLI访问DEW的委托信息。自定义委托及配置请参考自定义DLI委托权限。 使用该功
keystore-password keystore的password，-表示需要用户输入自定义设置的密码值。 是 - security.ssl.key-password ssl key的password，-表示需要用户输入自定义设置的密码值。 是 - security.ssl.truststore
table1 WHERE col_1 = 'Ann'; 示例4：创建DLI非分区表，并自定义列字段数据类型 示例说明：创建名为table2的DLI非分区表，您可以根据业务需求自定义列子段的原生数据类型： 与文字字符有关可以使用STRING、CHAR或者VARCHAR。 与时
参数名称 是否必选 参数类型 说明 id 否 String 连接ID，用于标识跨源连接的UUID。 name 否 String 创建连接时，用户自定义的连接名称。 status 否 String 连接状态，包括以下两种状态： ACTIVE：已激活 DELETED：已删除 available_queue_info
dli.job.agency.name=agency 委托权限示例请参考创建DLI自定义委托权限和常见场景的委托权限策略。 - 开启checkpoint 勾选开启checkpoint。 开启 自定义参数 配置Flink作业访问的元数据类型。 本场景下请选择Lakeformation。
1版本的作业不受更新委托权限的影响，无需自定义委托。 常见的需要自建委托的业务场景： DLI表生命周期清理数据及Lakehouse表数据清理所需的数据清理委托。需用户自行在IAM创建名为dli_data_clean_agency的DLI云服务委托并授权。该委托需新建后自定义权限，但委托名称固定为d
仅用于跨项目授权。 × × × × 如果系统策略不满足授权要求，管理员可以创建自定义策略，并通过给用户组授予自定义策略来进行精细的访问控制，自定义策略是对系统策略的扩展和补充。详细操作请参考创建自定义策略。 相关链接 《IAM产品介绍》 《创建用户组、用户并授予DLI权限》 《策略语法》
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
