检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 将要创建的分组名。 is_async 否 Boolean 是否使用异步方式上传资源包。默认值为“false”,表示不使用异步方式。推荐使用异步方式上传资源包。 tags 否 Array of Objects 资源标签。具体请参考表3。 表3 tags参数 参数名称 是否必选
truststore.jks 将生成的keystore和truststore文件上传到OBS桶中。 CSS安全集群参数配置 具体参数请参考表1,这里主要说明配置CSS安全集群连接参数时需要注意的内容。 .option("es.net.http.auth.user", "admin")
参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求参数 表2 请求参数 名称 是否必选 参数类型 说明 auth_info_name 是 String 认证信息名,同一个project下唯一。
参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求参数 表2 请求参数 名称 是否必选 参数类型 说明 auth_info_name 是 String 认证信息名,同一个project下唯一。
包含跨源操作、消息通知、用户授权操作所需的权限。详细委托包含的权限请参考表2 dli_data_clean_agency 系统默认委托,需用户自行授权 数据清理委托,表生命周期清理数据及lakehouse表数据清理使用。需用户自行在IAM创建名为dli_data_clean_agency的DLI云服务委托并授权。
Boolean 当前设置的扩缩容计划是否激活,默认为“true”,表示激活。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。
getResource("userData/fileName")加载该文件。 ClassName”为需要访问该文件的类名。 userData为固定文件路径名,不支持修改或自定义其他路径名。 fileName为需要访问的文件名。 本节示例适用于Flink 1.12版本。Flink 1.15版本的Jar作业开发指导请参考Flink
仅支持获取AK、SK、SecurityToken。 获取到AK、SK、SecurityToken后,请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Flink1.15版本使用委托授权访问临时凭证: 在创建作业时,请配置作业使用Flink1.15版本 已在作业中配
DLI的计费模式有哪些? DLI在不同的计费项下有不同的计费模式,具体详见表1说明。 表1 DLI计费模式 计费项 计费模式 计费模式说明 计算计费 包年/包月 按照弹性资源池包年/包月的固定费用计费。 按需计费 按需弹性资源池资源使用CU时进行计费。 计算费用=单价*CU数*小时数
托信息的操作步骤。 DLI自定义委托场景 表1 DLI自定义委托场景 场景 委托名称 适用场景 权限策略 允许DLI按表生命周期清理数据 dli_data_clean_agency 数据清理委托,表生命周期清理数据、Lakehouse表数据清理使用。 该委托需新建后自定义权限,但
时间段00:00-09:00和10:00-23:00的扩缩容策略,其他时间段的作业任务通过配置队列的默认扩缩容策略进行保障。 表1 队列扩缩容策略 队列名 新增的扩缩容时间段 新增的扩缩容时间段优先级 新增的扩缩容时间段最小和最大CU 默认扩缩容时间段 默认时间段优先级 默认扩缩容时间段最小和最大CU
ckpoint恢复。 应用场景 本文列举了一些常见的从checkpoint恢复的场景供您参考,如表1所示。 更多场景可以使用从checkpoint恢复的原则结合实际情况进行判断。 表1 从checkpoint恢复的常见场景 场景 是否支持恢复 说明 调整或者增加并行数 不支持 该
Flink作业类 Flink作业咨询类 Flink SQL作业类 Flink Jar作业类 Flink作业性能调优类
Python SDK Python SDK概述 Python SDK环境配置 队列相关 资源相关 SQL作业相关 Spark作业相关
Prometheus监控的配置项中的参数配置。如果这些默认配置不满足您的需求,您可以在Flink作业的“自定义配置”中手动配置以下参数,且优先以您的配置为准。 表1 DLI对接AOM Prometheus监控的配置项 参数 是否必选 默认值 数据类型 默认值 说明 metrics.reporter.remote
API快速入门 创建并提交SQL作业 创建并提交Spark作业 创建并提交Flink作业 创建并使用跨源链接
请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 address 是 String 测试地址。格式为:IP地址或域名:访问端口。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 是 Boolean 请求执行是否成功。“true”表示请求执行成功。
使用DLI提交Flink作业 Flink作业概述 创建Flink OpenSource SQL作业 创建Flink Jar作业 配置Flink作业权限 管理Flink作业 管理Flink作业模板 添加Flink作业标签
使用客户端工具连接DLI 使用JDBC提交SQL作业 使用Spark-submit提交Spark Jar作业 使用Livy提交Spark Jar作业
Flink作业开发指南 流生态作业开发指引 Flink OpenSource SQL作业开发 Flink Jar作业开发基础样例 使用Flink Jar写入数据到OBS开发指南 使用Flink Jar连接开启SASL_SSL认证的Kafka 使用Flink Jar读写DIS开发指南