检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
输入长度不能超过128个字符。 激活任务 激活队列扩缩容定时任务。默认开启。如果关闭，则系统不会触发执行当前设置的定时规格变更任务。 有效期 设置执行定时任务的时间段。包括“日期”和“时间”。 说明： “有效期”中的“开始时间”需要晚于当前的系统时间。 如果只设置了扩容，在“有效期”结束之后，系统不会自动
job_config参数说明 参数名称 是否必选 参数类型 说明 checkpoint_enabled 否 Boolean 是否开启作业自动快照功能。 true：开启 false：关闭 默认为“false”。 checkpoint_mode 否 String 快照模式,。两种可选： ex
job_config参数说明 参数名称 是否必选 参数类型 说明 checkpoint_enabled 否 Boolean 是否开启作业自动快照功能。 true：开启 false：关闭 默认为“false”。 checkpoint_interval 否 Integer 快照时间间隔。 单位为秒，默认值为“10”。
管理单元参数设置详见：manager_cu_number。 checkpoint_enabled 否 Boolean 是否开启作业自动快照功能。 开启：true 关闭：false 默认：false checkpoint_mode 否 Integer 快照模式,。两种可选： 1
Hudi锁配置说明 提交Spark jar作业时需要手动配置Hudi锁。 当使用DLI托管的元数据服务时，必须配置Hudi锁开启，且配置使用DLI提供的Hudi锁实现类： 配置项 配置值 hoodie.write.lock.provider com.huawei.luxor.hudi
15及以上版本中，弹性资源池与Prometheus实例解绑后，新作业不再上报指标到该Prometheus实例，已提交的作业继续上报至作业运行结束。 Flink 1.15及以上版本中，修改绑定的Prometheus实例后，新作业上报指标到修改后的Prometheus实例，已提交的作业继续上报
Hive源表 简介 Apache Hive 已经成为了数据仓库生态系统中的核心。 它不仅仅是一个用于大数据分析和ETL场景的SQL引擎，同样它也是一个数据管理平台，可用于发现，定义，和演化数据。 Flink与Hive的集成包含两个层面，一是利用了Hive的MetaStore作为持
SQL使用DEW管理访问凭据 集群未启用Kerberos认证（普通模式） Doris的表名是区分大小写。 使用cloudTable的doris时，'fenodes'字段值的端口请用8030，如'xx:8030'。同时安全组请放开端口8030, 8040，9030。 开启HTTPS后，需要在创建表的with子句中添加如下配置参数：
数据湖探索管理员。 操作权限：具有数据湖探索服务资源的所有执行权限。创建后，可通过ACL赋权给其他子用户使用。 作用范围：项目级服务。 系统角色 无 表2列出了DLI SQL常用操作与系统权限的授权关系，您可以参照该表选择合适的系统策略。 更多SQL语法赋权请参考《数据湖探索SQL语法参考》>
Strings 用户已上传到DLI资源管理系统的类型为file的资源包名。也支持指定OBS路径，例如：obs://桶名/包名。 modules 否 Array of Strings 依赖的系统资源模块名，具体模块名可通过查询组内资源包（废弃）接口查看。 DLI系统提供了用于执行跨源作业的依赖模块，各个不同的服务对应的模块列表如下：
但可以节省Hudi表List过程的时间，也可以缓解存储压力。 规则 Hudi表必须执行Clean。 对于Hudi的MOR、COW表，都需要开启Clean。 Hudi表在写入数据时会自动判断是否需要执行Clean，因为Clean的开关默认打开(hoodie.clean.automatic默认为true)。
SASL_SSL认证方式。 MRS集群请开启Kerberos认证。 在”组件管理 > Kafka > 服务配置”中查找配置项” security.protocol”，并设置为”SASL_SSL”。 登录MRS集群的Manager，下载用户凭据：”系统设置 > 用户管理 ，单击用户名后的”更多 > 下载认证凭据”。
华为云账号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用DLI服务的其它功能。 默认情况下，新建的IAM用户没有任何权限，您需要将其加入用户组，并给用户组授予策略或角色，才能使得该用户组中的用户获得对应的权限，这一过程称为授权。授权后，用户就可以基于被授予的权限对云服务进行操作。
操作流程如图1所示。 前提条件 给用户组授权之前，请您先了解用户组可以添加的DLI权限，并结合实际需求进行选择。DLI支持的系统权限，请参见：DLI系统权限。 示例流程 图1 给用户授权DLI权限流程 创建用户组并授权 在IAM控制台创建用户组，并授予DLI服务普通用户权限“DLI
RENAME TABLE 功能开启 配置参数： hoodie.schema.evolution.enable=true 命令功能 ALTER TABLE ... RENAME语法用于修改表名。 命令语法 ALTER TABLE tableName RENAME TO newTableName
创建source流从HBase中获取数据，作为作业的输入数据。HBase是一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值。DLI可以从HBase中读取数据，用于过滤分析、数据转储等场景。
是否允许忽略注释行（默认不允许），注释行以 '#' 作为起始字符。 如果允许注释行，请确保 csv.ignore-parse-errors 也开启了从而允许空行。 csv.ignore-parse-errors 否 false Boolean 当解析异常时，是跳过当前字段或行，还是抛出错误失败（默认为
完成DLI委托权限的更新。 更新委托权限后，系统将升级您的dli_admin_agency为dli_management_agency。 为兼容存量的作业委托权限需求，dli_admin_agency仍为您保留在IAM委托中。 请勿删除系统默认创建的委托。 后续操作 除dli_m
SET 功能开启 配置参数： hoodie.schema.evolution.enable=true 命令功能 ALTER TABLE ... SET|UNSET语法用于修改表属性。 命令语法 ALTER TABLE tableName SET|UNSET tblproperties
在DLI创建Flink结果表到OBS的作业时，如上述举例中的car_infos_sink表，是否开启了Checkpoint。如果未开启则需要开启Checkpoint参数，重新运行作业生成OBS数据文件。 开启Checkpoint步骤如下。 到DLI管理控制台，左侧导航栏选择“作业管理 > F
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
