检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
增量查询之前必须指定当前表的查询为增量查询模式，并且查询后重写设置表的查询模式 如果增量查询完，不重新将表查询模式设置回去，将影响后续的实时查询 示例 以SQL作业为例： 配置参数 hoodie.tableName.consume.mode=INCREMENTAL // 必须设置当前表读取为增量读取模式 hoodie
15版本使用DEW管理访问凭据，在创建作业时，请配置作业使用Flink1.15版本、且已在作业中配置允许DLI访问DEW的委托信息。自定义委托及配置请参考自定义DLI委托权限。 使用该功能，所有涉及OBS的桶，都需要进行配置AKSK。 语法格式 在Flink jar作业编辑界面，选择配置优化参数，配置信息如下: 不
作业时，请配置作业使用Spark3.3.1版本、且已在作业中配置允许DLI访问DEW的委托信息。 自定义委托及配置请参考自定义DLI委托权限。 使用该功能，所有涉及OBS的桶，都需要进行配置AKSK。 语法格式 在Spark Jar作业编辑界面，选择配置优化参数，配置信息如下:
datasource.css。 如果选择Spark版本为3.1.1时，无需选择Module模块， 需在 “Spark参数（--conf)” 配置 spark.driver.extraClassPath=/usr/share/extension/dli/spark-jar/datasource/css/*
OpenSource SQL编辑页面，自定义配置中配置参数pipeline.global-job-parameters，在UDF代码中获取该参数并使用。如需修改参数值，直接在FlinkOpenSource SQL编辑页面，自定义配置中修改该参数值，即可达到快速修改UDF参数值的目的。
OpenSource SQL编辑页面，自定义配置中配置参数pipeline.global-job-parameters，在UDF代码中获取该参数并使用。如需修改参数值，直接在FlinkOpenSource SQL编辑页面，自定义配置中修改该参数值，即可达到快速修改UDF参数值的目的。
RENAME TABLE 功能开启 配置参数： hoodie.schema.evolution.enable=true 命令功能 ALTER TABLE ... RENAME语法用于修改表名。 命令语法 ALTER TABLE tableName RENAME TO newTableName
enable配置项，所以不涉及Apache Spark 命令注入漏洞（CVE-2022-33891）。 该漏洞主要影响在启用了ACL（访问控制列表）时，可以通过提供任意用户名来执行命令导致数据安全受到威胁。 DLI在设计时充分考虑了数据安全和数据隔离，因此没有启用相关的配置项，所以不会受到这个漏洞的影响。
并行文件系统的详细介绍和使用说明，请参见《并行文件系统特性指南》。 配置DLI作业桶 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。 在“工程配置”页面，选择“DLI作业桶”，单击配置桶信息。 图1 工程配置 单击打开桶列表。 选择用于存放DLI作业临时数据的桶，并单击“确定”。
并行文件系统的详细介绍和使用说明，请参见《并行文件系统特性指南》。 配置DLI作业桶 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。 在“工程配置”页面，选择“DLI作业桶”，单击配置桶信息。 图1 工程配置 单击打开桶列表。 选择用于存放DLI作业临时数据的桶，并单击“确定”。
SET 功能开启 配置参数： hoodie.schema.evolution.enable=true 命令功能 ALTER TABLE ... SET|UNSET语法用于修改表属性。 命令语法 ALTER TABLE tableName SET|UNSET tblproperties
提交作业时提示作业桶权限不足怎么办？ 问题描述 已经配置DLI作业桶，且完成Flink桶授权后在提交作业时仍然提示桶未授权怎么办？ 根因分析 使用DLI作业桶需要确保已完成DLI作业桶的权限配置。 您需要在OBS管理控制台中检查DLI作业桶的桶策略，确保策略中包含了允许DLI服务进行必要操作的授权信息。
并行文件系统的详细介绍和使用说明，请参见《并行文件系统特性指南》。 配置DLI作业桶 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。 在“工程配置”页面，选择“DLI作业桶”，单击配置桶信息。 图1 工程配置 单击打开桶列表。 选择用于存放DLI作业临时数据的桶，并单击“确定”。
ADD COLUMNS 功能开启 配置参数： hoodie.schema.evolution.enable=true 命令功能 ADD COLUMNS命令用于为现有表添加新列。 命令语法 ALTER TABLE tableName ADD COLUMNS(col_spec[, col_spec
依据的DLI分区表。在TBLPROPERTIES中配置dli.multi.version.enable、comment、orc.compress和auto.purge。 dli.multi.version.enable：本例配置为true，即代表开启DLI数据多版本功能，用于表数据的备份与恢复。
的设计与开发方面的规则，适用于Hudi开发场景的表的设计、管理与作业开发。 主要包括以下方面的规范： 数据表设计 资源配置 性能调优 常见故障处理 常用参数配置 术语约定 本规范采用以下的术语描述： 规则：编程时强制必须遵守的原则。 建议：编程时必须加以考虑的原则。 说明：对此规则或建议进行的解释。
其他可选参数保持默认即可，详细说明可参见配置MySQL源端参数。 目的端作业配置 目的连接名称：选择已创建的DLI连接“dlilink”。 模式或表空间：选择导入到DLI的哪个模式。 自动创表：这里选择“不存在时创建”，当下面“表名”参数中配置的表不存在时，CDM会自动在DLI中创建该表。
ResponseCode: 403, ResponseStatus: Forbidden 解决方案 Spark程序访问OBS数据时，需要通过配置AK、SK的访问进行访问。 具体访问方式可以参考：通用队列操作OBS表如何设置AK/SK。 父主题： Spark作业运维类
DLI SDK功能矩阵 SDK开发指南指导您如何安装和配置开发环境、如何通过调用DLI SDK提供的接口函数进行二次开发。 Java、Python SDK功能矩阵请参见表1 表1 SDK功能矩阵 语言 功能 内容 Java OBS授权 介绍将OBS桶的操作权限授权给DLI的Java
高级选项：选择“自定义”。 网段：配置队列网段。例如，当前配置为10.0.0.0/16。 队列的网段不能和DMS Kafka、RDS MySQL实例的子网网段有重合，否则后续创建跨源连接会失败。 其他参数根据需要选择和配置。 参数配置完成后，单击“立即购买”，确认配置信息无误后，单击“提交”完成队列创建。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
