检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
特点 DLI Flink MRS Flink 特色能力 产品模式 全托管（无需人力运维集群） 半托管（需要人力运维集群） 弹性扩缩容 支持集群容器化部署。 用户可以根据业务负载进行弹性扩缩容，能够基于作业的负载动态调整作业使用资源大小。 支持基于作业优先级动态调整作业的使用资源。 仅支持YARN集群。
Checkpoint。 单击右上角“保存”，保存作业和相关参数。 单击右上角“启动”，进入“启动Flink作业”页面。 在“启动Flink作业”页面确认作业规格和费用，单击“立即启动”，启动作业。 启动作业后，系统将自动跳转到Flink作业管理页面，在“状态”列中可以查看作业状态。
所提交Spark作业的名称。 队列 所提交Spark作业所在的队列。 用户名 执行Spark作业的用户名称。 状态 作业的状态信息，包括如下。 启动中：正在启动 运行中：正在执行任务 已失败：session已退出 已成功：session运行成功 恢复中：正在恢复任务 创建时间 每个作业的创建
单击“自定义配置”。 在“自定义配置”中输入如下语句，先开启动态扩缩容功能，再设置作业优先级。 对于Flink作业，必须先设置flink.dli.job.scale.enable=true开启动态扩缩容功能，再设置作业优先级。 开启动态扩缩容的更多参数设置请参考开启Flink作业动态扩缩容。
集成了AI相关的算法包。 resource_type 否 String 队列所属资源类型。 vm：ecf集群 container：容器化集群（k8s） cu_spec 否 Integer 队列的规格大小。对于包周期队列，表示包周期部分的CU值；对于按需队列，表示用户购买队列时的初始值。
不恢复正常启动。 默认为“false”。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 数组元素 否 Array of Objects 返回的响应消息组。具体请参考表4。 表4 数组元素参数说明 参数名称 是否必选 参数类型 说明 is_success 否 String
属性值相关参数说明请参考表1 表1 队列属性 属性名称 说明 取值范围 最大spark driver实例数 队列能启动的最大spark driver数量。包含预先启动的spark driver和运行作业的spark driver。 当队列为16CUs时范围：2 当队列大于16CUs时范围：2-（CU数/16）
String 作业运行状态。 start-time 否 Long 作业启动时间。 end-time 否 Long 作业停止时间。 duration 否 Long 作业运行时长。 请求示例 无 响应示例 { "is_success": "true", "message": "查询作业执行流图成功"
集群相关API（废弃） 创建集群（废弃） 删除集群（废弃） 获取指定集群信息（废弃） 获取全部集群信息（废弃） 父主题： 历史API
必须为通用类型的队列。 说明： 兼容“cluster_name”参数，即如果使用“cluster_name”指定队列仍然有效。 推荐使用“queue”参数，“queue”参数与“cluster_name”参数两者不能同时存在。 cluster_name 否 String 用于指定队列，填写已创建DLI队列的队列名称。
单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。
参照Flink状态索引的特点，Hudi表超过一定数据量后，Flink作业状态后端压力很大，需要优化状态后端参数才能维持性能；同时由于Flink冷启动的时候需要遍历全表数据，大数据量也会导致Flink作业启动缓慢。因此基于简化使用的角度，针对大数据量的表，可以通过采用Bucket索引来避免状态后端的复杂调优。 如果B
云容器引擎-成长地图 | 华为云 数据湖探索 数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink、HetuEngine生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需
用于指定队列，填写已创建DLI的队列名。必须为通用类型的队列。 说明： 兼容“cluster_name”参数，即如果使用“cluster_name”指定队列仍然有效。 推荐使用“queue”参数，“queue”参数与“cluster_name”参数两者不能同时存在。 catalog_name String
访问OBS的AKSK为例介绍Flink Jar使用DEW获取访问凭证读写OBS的操作指导。 用户获取Flink作业委托临时凭证 DLI提供了一个通用接口，可用于获取用户在启动Flink作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com.huaweicloud.sdk.core.auth
创建并提交SQL作业 SQL编辑器简介 SQL作业编辑器支持使用SQL语句执行数据查询操作。 支持SQL2003，兼容SparkSQL，详细语法描述请参见《数据湖探索SQL语法参考》。 在总览页面，单击左侧导航栏中的“SQL编辑器”或SQL作业简介右上角的“创建作业”，可进入“SQL编辑器”页面。
分配权限 功能描述 授予用户或角色权限。 语法格式 1 GRANT (privilege,...) ON (resource,..) TO ((ROLE [db_name].role_name) | (USER user_name)),...); 关键字 ROLE：限定后面的role_name是一个角色。
进行探索。 您可以使用本文档提供API对数据湖探索进行相关操作，包括队列、SQL作业、Flink作业、Spark作业和跨源连接等等。支持的全部操作请参见API概览。 在调用数据湖探索API之前，请确保已经充分了解数据湖探索相关概念。详细信息请参见产品介绍。 父主题： API使用前必读
情可以参考Flink作业调优。 图3 自定义配置 单击“保存”，保存作业和相关参数。 单击“启动”，进入“启动Flink作业”页面，确认作业规格和费用后，单击“立即启动”，启动作业。 启动作业后，系统将自动跳转到Flink作业管理页面，新创建的作业将显示在作业列表中，在“状态”列
ClassesLoaded JobManager自JVM启动以来加载的类的总数 flink_jobmanager_Status_JVM_ClassLoader_ClassesUnloaded JobManager自JVM启动以来卸载的类的总数 flink_taskmanager_
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
