检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IAM ReadOnlyAccess DLI对未登录过DLI的用户进行授权时，需获取IAM用户相关信息。因此需要IAM ReadOnlyAccess权限。 IAM ReadOnlyAccess是全局权限，请务必勾选该权限，否则IAM ReadOnlyAccess权限将在所有区域失效
选择对应的企业项目。 单击“下一步”，配置队列的扩缩容策略。 单击“新增”，可以添加不同优先级、时间段、“最小CU”和“最大CU”扩缩容策略。 本例配置的扩缩容策略如图3所示。 图3 添加队列时配置扩缩容策略 表3 扩缩容策略参数说明 参数名称 参数说明 配置样例 优先级 当前弹性资源池中
DLI请求条件 您可以在创建自定义策略时，通过添加“请求条件”（Condition元素）来控制策略何时生效。请求条件包括条件键和运算符，条件键表示策略语句的 Condition 元素，分为全局级条件键和服务级条件键。全局级条件键（前缀为g:）适用于所有操作，服务级条件键（前缀为服
用于清除GroupBy或Window经过最大保留时间后仍未更新的中间状态，默认设置为1小时。 脏数据策略 选择处理脏数据的策略。支持如下三种策略：“忽略”，“抛出异常”和“保存”。 “脏数据策略”选择“保存”时，配置“脏数据转储地址”。单击地址框选择保存脏数据的OBS路径。 create table
配置完委托的基本信息后，单击“下一步”。 授予当前委托所需的权限策略，单击“新建策略”。 配置策略信息。 输入策略名称，本例：dli-obs-agency。 选择“JSON视图”。 在策略内容中粘贴自定义策略。 本例权限包含访问和使用OBS的权限，适用于以下场景：DLI Flink作业下载OBS对
类型：队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。 AZ策略、CPU架构、规格：保持默认即可。 企业项目：当前选择为“default”。 高级选项：选择“自定义”。 网段：配置队列网段。例如，当前配置为10.0.0.0/16。 队列的网段不能和DMS Kafka、RDS
配置DLI作业桶 使用DLI服务前需配置DLI作业桶，该桶用于存储DLI作业运行过程中产生的临时数据，例如：作业日志、作业结果。 本节操作指导您在DLI管理控制台的“全局配置 > 工程配置”页面配置DLI作业桶。 操作前准备 配置前，请先购买OBS桶或并行文件系统。 大数据场景推
委托的权限策略示例请参考常见场景的委托权限策略。 表2 dli_management_agency委托包含的权限 权限名 权限说明 IAM ReadOnlyAccess DLI对未登录过DLI的用户进行授权时，需获取IAM用户相关信息。因此需要IAM ReadOnlyAccess权限。
类型：队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。 AZ策略、CPU架构、规格：保持默认即可。 企业项目：当前选择为“default”。 高级选项：选择“自定义”。 网段：配置队列网段。例如，当前配置为10.0.0.0/16。 队列的网段不能和DMS Kafka、RDS
图2 添加订阅 登录DLI控制台，创建Flink SQL作业，编写作业SQL后，配置“运行参数”。 Flink Jar作业可靠性配置与SQL作业相同，不再另行说明。 根据如下公式，配置作业的“CU数量”、“管理单元”与“最大并行数”： CU数量 = 管理单元 + (算子总并行数 /
MRS配置 DLI跨源连接中配置MRS主机信息 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 对接MRS HBase需要在DLI队列的host文件中添加MRS集群节点的/etc/hosts信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。
DLI资源 资源是服务中存在的对象。在DLI中，资源如下，您可以在创建自定义策略时，通过指定资源路径来选择特定资源。 表1 DLI的指定资源与对应路径 资源类型 资源名称 资源路径 queue DLI队列 queues.queuename database DLI数据库 databases
配置DLI访问其他云服务的委托权限 DLI委托概述 创建DLI自定义委托权限 常见场景的委托权限策略 典型场景DLI委托权限配置示例
SQL常用操作与系统策略的授权关系，请参考常用操作与系统权限关系。 表1 DLI系统权限 系统角色/策略名称 描述 类别 依赖关系 DLI FullAccess 数据湖探索所有权限。 系统策略 该角色有依赖，需要在同项目中勾选依赖的角色： 创建跨源连接：VPC ReadOnlyAccess 创建包年/包月资源：BSS
击“下一步”。 配置同名作业策略。单击“下一步”。 勾选“配置同名替换”，如果待导入的作业名已存在，则覆盖已存在的作业配置，并且作业状态重置为草稿。 不勾选“配置同名替换”，如果待导入的作业名已存在，则不导入同名作业的配置。 确认“配置文件”和“同名作业策略”配置无误。单击“确认导入”，完成导入作业。
在DLI控制台配置表权限 表权限操作场景 针对不同用户，可以通过权限设置分配不同的表权限。 管理员用户和表的所有者拥有所有权限，不需要进行权限设置且其他用户无法修改其表权限。 给新用户设置表权限时，该用户所在用户组的所属区域需具有Tenant Guest权限。关于Tenant G
目的数据源子网与队列所在子网为不同的子网，否则会造成网段冲突。 主机信息 可选参数，用于配置主机的IP与域名的映射关系，在作业配置时只需使用配置的域名即可访问对应的主机。 例如：访问MRS的HBase集群时需要配置Zookeeper实例的主机名（即域名）与对应的IP地址。每行填写一条记录，填写格式为：“IP
default 单击“下一步”，配置队列的扩缩容策略。 单击“新增”，可以添加不同优先级、时间段、“最小CU”和“最大CU”扩缩容策略。 本例配置的扩缩容策略如图2所示。 图2 添加队列时配置扩缩容策略 表4 扩缩容策略参数说明 参数名称 参数说明 配置样例 优先级 当前弹性资源池中
任务分别配置不同的资源执行来节省资源使用。 执行资源 Compaction调度的间隔应小于Compaction计划生成的间隔，例如1小时左右生成一个Compaction计划的话，执行Compaction计划的调度任务应该至少半小时调度一次。 Compaction作业配置的资源，v
云。 子网：选择步骤1：获取外部数据源的内网IP、端口和安全组获取的外部数据源的子网。 其他参数可以根据需要选择配置。 参数配置完成后，单击“确定”完成增强型跨源配置。单击创建的跨源连接名称，查看跨源连接的连接状态，等待连接状态为：“已激活”后可以进行后续步骤。 如果是连接MRS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
