检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
错误码 调用API出错后,将不会返回结果数据。调用方可根据每个API对应的错误码来定位错误原因。 当调用出错时,HTTP 请求返回一个 4xx 或 5xx 的 HTTP 状态码。返回的消息体中是具体的错误代码及错误信息。在调用方找不到错误原因时,可以联系企业技术人员,并提供错误码,以便我们尽快帮您解决问题。
如何给子用户授权查看Flink作业? 子用户使用DLI时,可以查看队列,但是不能查看Flink作业,可以通过在DLI中对子用户授权,或在IAM中对子用户授权: DLI授权管理 使用租户账号,或者作业owner账号,或有DLI Service Administrator权限的账号,登录DLI控制台。
数据保护技术 数据存储安全 为了确保您的个人敏感数据(例如用户名、密码、手机号码等)不被未经过认证、授权的实体或者个人获取,DLI对用户数据的存储和传输进行加密保护,以防止个人数据泄露,保证您的个人数据安全。 数据销毁机制 用户删除DLI队列后,存储在集群上的用户个人敏感数据会随之删除。
DLI委托概述 什么是委托? 各云服务之间存在业务交互关系,一些云服务需要与其他云服务协同工作,需要您创建云服务委托,将操作权限委托给DLI服务,让DLI服务以您的身份使用其他云服务,代替您进行一些资源运维工作。 例如:在DLI新建Flink作业所需的AKSK存储在数据加密服务D
与其他云服务的关系 与对象存储服务(OBS)的关系 对象存储服务(Object Storage Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下四种。 数据来源:使用DLI服务提供API,将OBS对应路径的数据导入到DLI。 具体API请参考《导入数据》。
状态码 状态码如表1所示。 表1 状态码 状态码 编码 状态码说明 100 Continue 继续请求。 这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如,切换到HTTP的新版本协议。
配置DLI云服务委托权限 使用DLI服务前请先配置DLI云服务权限。 本节操作适用于以下场景: 首次使用DLI服务,请参考本节操作按需配置DLI云服务委托权限。 使用DLI的过程中需要与其他云服务协同工作,因此需要您将部分服务的操作权限委托给DLI服务,确保DLI具备基本使用的权
队列权限管理 管理员用户和队列的所有者拥有队列的所有操作权限,且根据业务需求对其他用户分配队列的操作权限,确保用户之间的作业互不影响,保障作业的执行性能。本节操作介绍队列权限管理的相关操作。 操作须知 管理员用户和队列的所有者拥有所有权限,不需要进行权限设置且其他用户无法修改其队列权限。
弹性资源池权限管理 针对不同用户,管理员可以通过权限设置赋予各用户不同的操作权限,控制各用户弹性资源池的操作范围。 注意事项 管理员用户和弹性资源池的所有者拥有所有权限,不需要进行权限设置且其他用户无法修改其队列权限。 给新用户设置弹性资源池权限时,该用户所在用户组的所属区域需具有Tenant
DLI作业开发流程 本节内容为您介绍DLI作业开发流程。 创建IAM用户并授权使用DLI 如果您是企业用户,并计划使用IAM对您所拥有的DLI资源进行精细的权限管理,请创建IAM用户并授权使用DLI。具体操作请参考创建IAM用户并授权使用DLI。 首次使用DLI您需要根据控制台的
管理DLI全局变量 什么是全局变量 DLI支持在管理控制台设置全局变量,将作业开发过程中频繁使用的变量设置为全局变量,可以避免在编辑作业过程中重复定义,减少开发与维护成本。通过使用全局变量可以替换长难复杂变量,简化复杂参数,提升SQL语句可读性。 本节操作为您介绍如何创建全局变量。
配置Flink作业权限 Flink作业权限操作场景 针对不同用户,可以通过权限设置分配不同的作业,不同用户之间的作业效率互不影响,保障作业性能。 管理员用户和作业的所有者拥有所有权限,不需要进行权限设置且其他用户无法修改其作业权限。 给新用户设置作业权限时,该用户所在用户组的所属区域需具有Tenant
配置DLI程序包权限 针对不同用户,可以通过权限设置分配不同的程序包组或程序包,不同用户之间的作业效率互不影响,保障作业性能。 管理员用户、程序包组拥有程序包组的所有权限。不需要进行权限设置,且其他用户无法修改其程序包组权限。 管理员用户、程序包的所有者拥有程序包的所有权限。不需
创建DLI自定义委托权限 使用Flink 1.15和Spark 3.3及以上版本的引擎执行作业时,当您所需的委托没有包含在DLI系统委托dli_management_agency时,您需要在IAM页面创建相关委托,并在作业配置中添加新建的委托信息。dli_management_a
功能总览 功能总览 全部 数据湖探索 权限管理 弹性资源池 DLI元数据 DLI SQL作业 DLI Spark作业 DLI Flink作业 跨源连接 DLI自定义委托 自定义镜像 OBS 2.0支持 数据湖探索 数据湖探索(Data Lake Insight,以下简称DLI)是完全兼容Apache
使用DLI提交Spark Jar作业 操作场景 DLI允许用户提交编译为Jar包的Spark作业,Jar包中包含了Jar作业执行所需的代码和依赖信息,用于在数据查询、数据分析、机器学习等特定的数据处理任务中使用。在提交Spark Jar作业前,将程序包上传至OBS,并将程序包与数据和作业参数一起提交以运行作业。
使用DLI提交Flink Jar作业 操作场景 Flink Jar作业适用于需要自定义流处理逻辑、复杂的状态管理或特定库集成的数据分析场景。需要用户自行编写并构建Jar作业程序包,在提交Flink Jar作业前,将Jar作业程序包上传至OBS,并将程序包与数据和作业参数一起提交以运行作业。