检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
并行文件系统的详细介绍和使用说明，请参见《并行文件系统特性指南》。 配置DLI作业桶 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。 在“工程配置”页面，选择“DLI作业桶”，单击配置桶信息。 图1 工程配置 单击打开桶列表。 选择用于存放DLI作业临时数据的桶，并单击“确定”。
提交作业时提示作业桶权限不足怎么办？ 问题描述 已经配置DLI作业桶，且完成Flink桶授权后在提交作业时仍然提示桶未授权怎么办？ 根因分析 使用DLI作业桶需要确保已完成DLI作业桶的权限配置。 您需要在OBS管理控制台中检查DLI作业桶的桶策略，确保策略中包含了允许DLI服务进行必要操作的授权信息。
其他可选参数保持默认即可，详细说明可参见配置MySQL源端参数。 目的端作业配置 目的连接名称：选择已创建的DLI连接“dlilink”。 模式或表空间：选择导入到DLI的哪个模式。 自动创表：这里选择“不存在时创建”，当下面“表名”参数中配置的表不存在时，CDM会自动在DLI中创建该表。
ResponseCode: 403, ResponseStatus: Forbidden 解决方案 Spark程序访问OBS数据时，需要通过配置AK、SK的访问进行访问。 具体访问方式可以参考：通用队列操作OBS表如何设置AK/SK。 父主题： Spark作业运维类
DLI SDK功能矩阵 SDK开发指南指导您如何安装和配置开发环境、如何通过调用DLI SDK提供的接口函数进行二次开发。 Java、Python SDK功能矩阵请参见表1 表1 SDK功能矩阵 语言 功能 内容 Java OBS授权 介绍将OBS桶的操作权限授权给DLI的Java
在DLI控制台管理数据库资源 在DLI控制台配置数据库权限 在DLI控制台删除数据库 在DLI控制台修改数据库所有者 库表管理标签管理 父主题： 创建数据库和表
DROP COLUMN 功能开启 配置参数： hoodie.schema.evolution.enable=true 命令功能 ALTER TABLE ... DROP COLUMN语法用于删除列。 命令语法 ALTER TABLE tableName DROP COLUMN|COLUMNS
TABLE所需权限列表 权限描述 表的ALTER权限 细粒度权限：dli:table:alter。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 ALTER TABLE table1 RENAME TO table2 系统响应 通过运行SHOW
TABLES参数描述 参数 描述 IN db_name Database名称，仅当需要显示指定Database的所有Table时配置。 注意事项 IN db_Name为可选配置。 示例 SHOW TABLES IN hudidb; 权限需求 由DLI提供的元数据服务 SQL权限： database
ARCHIVELOG 命令功能 用于根据配置对Timeline上的Instant进行归档，并从Timeline上将已归档的Instant删除，以减少Timeline的操作压力。 命令格式 RUN ARCHIVELOG ON tableIdentifier; RUN ARCHIVELOG
ALTER COLUMN 功能开启 配置参数： hoodie.schema.evolution.enable=true 命令功能 ALTER TABLE ... ALTER COLUMN语法用于修改当前列属性包括列类型、列位置、列comment。 命令语法 ALTER TABLE
CLEANARCHIVE 命令功能 用于对Hudi表的归档文件进行清理，以减少Hudi表的数据存储及读写压力。 命令格式 按文件容量进行清理，需要配置参数： hoodie.archive.file.cleaner.policy = KEEP_ARCHIVED_FILES_BY_SIZE;
RENAME COLUMN 功能开启 配置参数： hoodie.schema.evolution.enable=true 命令功能 ALTER TABLE ... RENAME COLUMN语法用于修改列名称。 命令语法 ALTER TABLE tableName RENAME COLUMN
排查客户实际数据，发现客户Kafka数据存在多层嵌套的复杂json体。不支持解析。 有两种方式解决此问题： 通过udf成jar包的形式 修改配置 修改源数据格式，再次执行作业，无问题。 父主题： Flink SQL作业类
TABLE所需权限列表 权限描述 表的ALTER权限 细粒度权限：dli:table:alter。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 ALTER TABLE table1 DROP COLUMN a.b.c ALTER TABLE
SHOW_HOODIE_PROPERTIES 命令功能 查看指定hudi表的hoodie.properties文件中的配置。 命令格式 call show_hoodie_properties(table => '[table_name]'); 参数描述 表1 参数描述 参数 描述
DLI为用户提供了作业失败的topic订阅功能。 登录DLI控制台。 单击左侧“队列管理”，进入队列管理页面。 在队列管理页面，单击左上角“创建消息通知主题”进行配置。详细操作请参考《数据湖探索用户指南》。 父主题： DLI弹性资源池和队列类
TABLE所需权限列表 权限描述 表的ALTER权限 细粒度权限：dli:table:alter。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 alter table h0 add columns(ext0 string); alter
IllegalArgumentException: Access key cannot be null 问题根因 该Flink SQL作业在配置作业运行参数时，有选择保存作业日志或开启Checkpoint，配置了OBS桶保存作业日志和Checkpoint。但是运行该Flink SQL作业的IAM用户没有OBS写入权限导致该问题。
表所在数据库的DROP_TABLE权限 细粒度权限：dli:table:dropTable。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 DROP TABLE IF EXISTS db0.delta_table0; 系统响应 执行成
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
