检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备工作 配置DLI云服务委托权限 创建IAM用户并授权使用DLI 配置DLI作业桶
使得资源的权限控制更加精确。 在我的凭证下，您可以查看项目ID。 图1 项目隔离模型 企业项目 企业项目是项目的升级版，针对企业不同项目间资源的分组和管理，是逻辑隔离。企业项目中可以包含多个区域的资源，且项目中的资源可以迁入迁出。 关于企业项目ID的获取及企业项目特性的详细信息，请参见《企业管理服务用户指南》。
配置DLI读写外部数据源数据的操作流程 DLI执行作业需要读写外部数据源时需要具备两个条件： 打通DLI和外部数据源之间的网络，确保DLI队列与数据源的网络连通。 妥善保存数据源的访问凭证确保数据源认证的安全性，便于DLI安全访问数据源。 本节操作介绍配置DLI读写外部数据源数据操作流程。 配置D
LI服务以您的身份使用其他云服务，代替您进行一些资源运维工作。该委托包含获取IAM用户相关信息、跨源场景访问和使用VPC、子网、路由、对等连接的权限、作业执行失败需要通过SMN发送通知消息的权限。 详细委托包含的权限请参考配置DLI云服务委托权限。 创建执行作业所需的计算资源和元数据
OBS的使用涉及以下几项费用： 存储费用：静态网站文件存储在OBS中产生的存储费用。 请求费用：用户访问OBS中存储的静态网站文件时产生的请求费用。 流量费用：用户使用自定义域名通过公网访问OBS时产生的流量费用。 实际产生的费用与存储的文件大小、用户访问所产生的请求次数和流量大小有关，请根据自己的业务进行预估。
天蓝色数字表示部署中的Task个数。 深灰色数字表示排队中的Task个数。 状态 算子任务对应的状态。 反压状态 算子的工作负荷状态。包含如下几种状态： OK：表示工作负荷正常。 LOW：表示工作负荷略高。DLI处理数据的速度比较快。 HIGH：表示工作负荷高。源端输入数据的速度比较慢。
查看弹性资源池的基本信息 资源池创建完成后您可以通过管理控制台查看和管理您的弹性资源池。 本节操作介绍在管理控制台如何查看弹性资源池基本信息，包括弹性资源池的VPC网段、IPv6网段、创建时间等信息。 查看弹性资源池的基本信息 登录DLI管理控制台。 选择“资源管理 > 弹性资源池”。
适用于当用户切换区域、项目或用户时，需要创建相同的作业，而作业比较多的情况。此时，不需要重新创建作业，只需要将原有的作业导出，再在新的区域、项目或者使用新的用户登录后，导入作业即可。 如果需要导入自建的作业，建议使用创建作业的功能。 具体请参考创建Flink OpenSource SQL作业，创建Flink
仅在勾选该权限且更新DLI委托权限后的项目生效。未勾选该权限的项目不具备跨源场景所需权限、和SMN发送通知消息的权限。 示例1：在项目A配置DLI的基础使用、跨源场景、运维场景的权限和示例2：在项目B配置DLI的基础使用、跨源场景、运维场景的权限给出了同一个区域的不同项目更新DLI委托带来的委托权限差异。
System）是对象存储服务（Object Storage Service，OBS）提供的一种经过优化的高性能文件系统，提供毫秒级别访问时延，以及TB/s级别带宽和百万级别的IOPS，能够快速处理高性能计算（HPC）工作负载。 并行文件系统的详细介绍和使用说明，请参见《并行文件系统特性指南》。 使用须知
怎样查看弹性资源池和作业的资源使用情况？ 在大数据分析的日常工作中，合理分配和管理计算资源，可以提供良好的作业执行环境。 您可以根据作业的计算需求和数据规模分配资源、调整任务执行顺序，调度不同的弹性资源池或队列资源以适应不同的工作负载。待提交作业所需的CUs需小于等于弹性资源池的剩余可用CUs，才可以确保作业任务的正常执行。
本章节介绍创建IAM用户并授权使用DLI的方法，操作流程如图1所示。 前提条件 给用户组授权之前，请您先了解用户组可以添加的DLI权限，并结合实际需求进行选择。DLI支持的系统权限，请参见：DLI系统权限。 示例流程 图1 给用户授权DLI权限流程 创建用户组并授权 在IAM控制台创
OpenTSDB是基于HBase分布式的 ，可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息，并可实现数据的秒级查询，解决海量监控类数据在普通数据库中查询存储的局限性，可用于系统监控和测量、物联网数据、金融数据和科学实验结果数据的收集监控。 DLI可以通过
本例介绍通过DLI控制台提交Jar作业程序包的基本流程。由于不同的业务需求，Jar包的具体编写会有所差异。建议您参考DLI提供的示例代码，并根据实际业务场景进行相应的编辑和定制。获取DLI样例代码。 操作流程 使用DLI提交Spark Jar作业的操作流程如表1所示。 开始进行如下操作前，请务必参考准备工作完成必要操作。
查看队列的基本信息 本节操作介绍在管理控制台如何查看队列的基本信息，包括队列的引擎类型和引擎版本。 查看队列的基本信息 登录DLI管理控制台。 选择“资源管理 > 队列管理”。 进入队列列表页面，选择您需要查看的队列。 在列表页面的右上方单击可以自定义显示列，并设置表格内容显示规则、操作列显示规则。
描述 ALL ALL关键字用于返回数据库所有匹配的行，包括重复的行。ALL关键字的后面只能跟*，否则执行语句会出错。 ALL是SQL语句的默认行为，通常不会被明确写出，如果不指定ALL或DISTINCT，查询结果将包含所有的行，即使是重复的行数据也将被返回。 DISTINCT 在SE
求，Jar包的具体编写会有所差异。建议您参考DLI提供的示例代码，并根据实际业务场景进行相应的编辑和定制。获取DLI样例代码。 操作流程 使用DLI提交Flink Jar作业的操作流程请参考表1。 开始进行如下操作前，请务必参考准备工作完成必要操作。 表1 使用DLI提交Flink
15和Spark 3.3.1版本的作业不受更新委托权限的影响，无需自定义委托。 为兼容存量的作业委托权限需求，dli_admin_agency仍为您保留在IAM委托中。 服务授权需要主账号或者用户组admin中的子账号进行操作。 请勿删除系统默认创建的委托。 表1 DLI委托 权限名
单击“提交”完成弹性资源池的创建。 在弹性资源池的列表页，选择要操作的弹性资源池，单击操作列的“添加队列”。 配置队列的基础配置，具体参数信息如下。 表3 弹性资源池添加队列基础配置 参数名称 参数说明 配置样例 名称 弹性资源池添加的队列名称。 dli_queue_01 类型 选择创建的队列类型。
是否支持IPv6：如果创建增强型跨源连接时您选择的子网是开启IPv6的，则您创建的增强型跨源连接也是支持IPv6的。 主机信息：访问MRS的HBase集群时需要配置实例的主机名（即域名）与主机对应的IP地址。详细信息请参考修改弹性资源池的主机信息。 父主题： 管理增强型跨源连接
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
