检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在DLI控制台左侧导航栏中单击“全局配置 > 服务授权”。 在委托设置页面，按需选择以下场景的权限。 单击权限卡片上的可以查看包含的详细的权限策略。 委托说明如表1所示。 表1 dli_management_agency委托包含的权限 适用场景 委托名 权限说明 基础使用 IAM ReadOnlyAccess
能，可以帮助您安全地控制华为云资源的访问。 通过IAM，您可以在华为云账号中给员工创建IAM用户，并使用策略来控制他们对华为云资源的访问范围。 目前包括角色（粗粒度授权）和策略（细粒度授权）。具体的权限介绍和授权操作请参考《数据湖探索用户指南》。 创建队列。在“资源管理 > 队列
sourceTopic; String sinkTopic; // 消费策略，只有当分区没有Checkpoint或者Checkpoint过期时，才会使用此配置的策略； // 如果存在有效的Checkpoint，则会从此Checkpoint开始继续消费
Service，OBS）提供的一种经过优化的高性能文件系统，提供毫秒级别访问时延，以及TB/s级别带宽和百万级别的IOPS，能够快速处理高性能计算（HPC）工作负载。 并行文件系统的详细介绍和使用说明，请参见《并行文件系统特性指南》。 配置DLI作业桶 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。
Size（Parquet文件大小） 小（更新时（I/O）开销大） 大（更新时开销小） Write Amplification（写放大） 高 低（取决于compaction策略） Hudi表使用约束与限制 Hudi支持使用Spark SQL操作Hudi的DDL/DML的语法。但在使用DLI提供的元数据提交Spar
2020年4月 序号 功能名称 功能描述 阶段 相关文档 1 支持IAM细粒度授权 DLI支持通过IAM进行细粒度授权。 商用 DLI自定义策略 2 支持Flink 1.10 DLI支持Flink 1.10版本特性。 商用 Apache Flink Documentation 2020年3月
Once模式每条数据至少被消费一次，请依据业务情况选择。 勾选“异常自动恢复”和“从Checkpoint恢复”，根据自身业务情况选择重试次数。 配置“脏数据策略”，依据自身的业务逻辑和数据特征选择忽略、抛出异常或者保存脏数据。 选择“运行队列”。提交并运行作业。 登录云监控服务CES控制台，在“云
给新用户设置队列权限时，该用户所在用户组的所属区域需具有Tenant Guest权限。 关于Tenant Guest权限的介绍和开通方法，详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 队列权限相关操作步骤 在DLI管理控制台的左侧，选择“资源管理 > 队列管理”。 选择待
// 消费策略，只有当分区没有Checkpoint或者Checkpoint过期时，才会使用此配置的策略；如果存在有效的Checkpoint，则会从此Checkpoint开始继续消费 // 取值有： LATEST 从最新的数据开始消费，此策略会忽略通道中已有数据
取值样例 优先级 安全组规则优先级。 优先级可选范围为1-100，默认值为1，即最高优先级。优先级数字越小，规则优先级级别越高。 1 策略 安全组规则策略。 允许 协议端口 网络协议。目前支持“All”、“TCP”、“UDP”、“ICMP”和“GRE”等协议。 端口：允许远端地址访问指定端口，取值范围为：1～65535。
28个字符。 队列名称不区分大小写，系统会自动转换为小写。 类型：队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。 AZ策略、CPU架构、规格：保持默认即可。 企业项目：当前选择为“default”。 高级选项：选择“自定义”。 网段：配置队列网段。例如，当前配置为10
shuffle.partitions（指定Shuffle过程中Partition的个数） dli.sql.cbo.enabled（是否打开CBO优化策略） dli.sql.cbo.joinReorder.enabled（开启CBO优化时，是否允许重新调整join的顺序） 响应消息 表3 响应参数
Once模式每条数据至少被消费一次，请依据业务情况选择。 勾选“异常自动恢复”和“从Checkpoint恢复”，根据自身业务情况选择重试次数。 配置“脏数据策略”，依据自身的业务逻辑和数据特征选择忽略、抛出异常或者保存脏数据。 选择“运行队列”。提交并运行作业。 登录云监控服务CES控制台，在“云
JobManager CPU的负载 flink_jobmanager_Status_JVM_CPU_Time JobManager CPU的使用 flink_taskmanager_Status_JVM_CPU_Load TaskManager CPU的负载 flink_taskma
能，可以帮助您安全地控制华为云资源的访问。 通过IAM，您可以在华为云账号中给员工创建IAM用户，并使用策略来控制他们对华为云资源的访问范围。 目前包括角色（粗粒度授权）和策略（细粒度授权）。具体的权限介绍和授权操作请参考《数据湖探索用户指南》。 创建队列。在“资源管理 > 队列
连接复合主键的拼接符，默认为_。 failure-handler 否 fail String 对Elasticsearch请求失败时的故障处理策略。有效的策略是： fail: 如果请求失败并因此导致作业失败，则抛出异常。 ignore: 忽略失败并丢弃请求。 retry-rejected：重新添加由于队列容量饱和而失败的请求。
给新用户设置全局变量权限时，该用户所在用户组的所属区域需具有Tenant Guest权限。关于Tenant Guest权限的介绍和开通方法，详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 全局变量用户授权 单击“全局配置 > 全局变量”页面，单击全局变量“操作”列中的“权限设
28个字符。 队列名称不区分大小写，系统会自动转换为小写。 类型：队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。 AZ策略、CPU架构、规格：保持默认即可。 企业项目：当前选择为“default”。 高级选项：选择“自定义”。 网段：配置队列网段。例如，当前配置为10
VPC”相关内容。 DLI使用场景 企业IT管理账号创建VPC和子网，并将该VPC和子网共享给其他企业业务账号，便于企业集中配置VPC安全策略，有利于资源有序集中管理。 企业业务账号使用共享的VPC和子网创建资源，并想要使用DLI提交作业访问共享VPC中的资源。此时需要建立DLI与共享VPC中资源的网络连接。
限时，管理员用户所在用户组的所属区域需具有Tenant Guest权限。 关于Tenant Guest权限的介绍和开通方法，详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 配置程序包组或程序包权限 在“程序包管理”页面，选择要授权的程序包组或程序包，单击“操作”列中的“权限管理”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
