检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建DLI自定义委托权限 使用Flink 1.15和Spark 3.3及以上版本的引擎执行作业时,当您所需的委托没有包含在DLI系统委托dli_management_agency时,您需要在IAM页面创建相关委托,并在作业配置中添加新建的委托信息。dli_management_agency
查询增强型跨源授权信息 功能介绍 该API用于查询增强型跨源连接授权的信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v2.0/{project_id}/datasource/enhanced-connections/{connection_id
创建队列定时扩缩容计划(废弃) 功能介绍 该API用于创建队列定时扩缩容计划,对指定的队列创建定时规格变更计划。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v1/{project_id}/queues/{queue_name
关联队列到弹性资源池 功能介绍 关联队列到弹性资源池。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v3/{project_id}/elastic-resource-pools/{elastic_resource_pool_name}/queues
怎样查看DLI队列负载? 场景概述 如果需要确认DLI队列的运行状态,决定是否运行更多的作业时需要查看队列负载。 操作步骤 在控制台搜索“云监控服务 CES”。 图1 搜索CES 进入CES后,在页面左侧“云服务监控”列表中,单击“数据湖探索”。 图2 云服务监控 选择队列进行查看
Flink Jar 包冲突,导致作业提交失败 问题描述 用户Flink程序的依赖包与DLI Flink平台的内置依赖包冲突,导致提交失败。 解决方案 首先您需要排除是否有冲突的Jar包。 含DLI Flink提供了一系列预装在DLI服务中的依赖包,用于支持各种数据处理和分析任务。
如何给子用户授权查看Flink作业? 子用户使用DLI时,可以查看队列,但是不能查看Flink作业,可以通过在DLI中对子用户授权,或在IAM中对子用户授权: DLI授权管理 使用租户账号,或者作业owner账号,或有DLI Service Administrator权限的账号,登录
Hadoop jar包冲突,导致Flink提交失败 问题现象 Flink 提交失败,异常为: Caused by: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.obs.metrics.OBSAMetricsProvider
上传jar类型分组资源(废弃) 功能介绍 该API用于在project下上传jar类型分组资源。 上传同名资源模块时,新模块将会覆盖旧模块。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v2.0/{project_id
上传pyfile类型分组资源(废弃) 功能介绍 该API用于在project下的上传pyfile类型模块。上传同名pyfile类型模块时,新模块将会覆盖旧模块。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v2.0
删除跨源认证(废弃) 功能介绍 该API用于删除跨源认证。 当前接口已废弃,不推荐使用。推荐使用删除跨源认证。 调试 您可以在API Explorer中调试该接口。 URI URI格式: DELETE /v2.0/{project_id}/datasource/auth-infos
提示OBS Bucket没有授权怎么办? DLI更新委托后,将原有的dli_admin_agency升级为dli_management_agency。 dli_management_agency包含跨源操作、消息通知、用户授权操作所需的权限,除此之外的其他委托权限需求,都需自定义DLI
设置Flink作业优先级 操作场景 在实际作业运行中,由于作业的重要程度以及紧急程度不同,需要重点保障重要和紧急的作业正常运行,因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能,可以对每个Flink作业设置作业优先级,当资源不充足时,可以优先满足优先级较高的作业的计算资源
初始化DLI客户端 使用DLI SDK工具访问DLI,需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端,示例代码如下: 前提条件 已参考Java SDK概述配置Java SDK环境
删除经典型跨源连接 功能介绍 该API用于删除已创建的经典型跨源连接。创建中的连接,无法删除。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 DELETE /v2.0/{project_id}/datasource-connection
修改队列定时扩缩容计划(废弃) 功能介绍 该API用于修改指定ID的队列的定时扩缩容计划。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: PUT /v1/{project_id}/queues/{queue_name}/plans
API接口返回的中文字符为乱码,如何解决? 当API接口返回的中文字符出现乱码时,通常是因为字符编码格式不匹配。 DLI接口返回的结果编码格式为“UTF-8”,在调用接口获取返回结果时需要对返回的信息编码转换为“UTF-8”。 例如,参考如下实现对返回的response.content
提交作业时提示作业桶权限不足怎么办? 问题描述 已经配置DLI作业桶,且完成Flink桶授权后在提交作业时仍然提示桶未授权怎么办? 根因分析 使用DLI作业桶需要确保已完成DLI作业桶的权限配置。 您需要在OBS管理控制台中检查DLI作业桶的桶策略,确保策略中包含了允许DLI服务进行必要操作的授权信息
修改组或资源包拥有者(废弃) 功能介绍 该API用于修改程序包的owner。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: PUT /v2.0/{project_id}/resources/owner 参数说明 表1 URI
更新程序包时提示权限不足怎么办? 问题现象 在程序包管理下,对已经存在的程序包进行更新操作时,提示如下报错信息: "error_code"*DLI.0003","error_msg":"Permission denied for resource ‘resources. xxx',