检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALTER COLUMN 功能开启 配置参数： hoodie.schema.evolution.enable=true 命令功能 ALTER TABLE ... ALTER COLUMN语法用于修改当前列属性包括列类型、列位置、列comment。 命令语法 ALTER TABLE
String krb5配置文件obs路径。 keytab String keytab配置文件obs路径。 truststore_location String truststore配置文件obs路径。 keystore_location String keystore配置文件obs路径。
在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现详解 import相关依赖包 1 2 3 from __future__ import
IllegalArgumentException: Access key cannot be null 问题根因 该Flink SQL作业在配置作业运行参数时，有选择保存作业日志或开启Checkpoint，配置了OBS桶保存作业日志和Checkpoint。但是运行该Flink SQL作业的IAM用户没有OBS写入权限导致该问题。
创建自定义镜像 以tensorflow为例，说明如何将tensorflow打包进镜像，生成安装了tensorflow的自定义镜像，在DLI作业中使用该镜像运行作业。 准备容器环境。 请参考安装容器引擎文档中的“安装容器引擎”章节。 使用root用户登录1容器镜像环境，执行以下命令获取DLI的基础镜像。
SHOW_HOODIE_PROPERTIES 命令功能 查看指定hudi表的hoodie.properties文件中的配置。 命令格式 call show_hoodie_properties(table => '[table_name]'); 参数描述 表1 参数描述 参数 描述
TABLE所需权限列表 权限描述 表的ALTER权限 细粒度权限：dli:table:alter。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 ALTER TABLE table1 DROP COLUMN a.b.c ALTER TABLE
排查客户实际数据，发现客户Kafka数据存在多层嵌套的复杂json体。不支持解析。 有两种方式解决此问题： 通过udf成jar包的形式 修改配置 修改源数据格式，再次执行作业，无问题。 父主题： Flink SQL作业类
CLEANARCHIVE 命令功能 用于对Hudi表的归档文件进行清理，以减少Hudi表的数据存储及读写压力。 命令格式 按文件容量进行清理，需要配置参数： hoodie.archive.file.cleaner.policy = KEEP_ARCHIVED_FILES_BY_SIZE;
RENAME COLUMN 功能开启 配置参数： hoodie.schema.evolution.enable=true 命令功能 ALTER TABLE ... RENAME COLUMN语法用于修改列名称。 命令语法 ALTER TABLE tableName RENAME COLUMN
TABLE所需权限列表 权限描述 表的ALTER权限 细粒度权限：dli:table:alter。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 alter table h0 add columns(ext0 string); alter
enabled 否 true Boolean Flink默认采用的是内存索引（使用Bueckt索引时不配置该项），需要将数据的主键缓存到内存中，保证目标表的数据唯一，因此需要配置该值，否则会导致数据重复，默认值：true。 write.index_bootstrap.tasks 否
依据的DLI分区表。在OPTIONS中配置pmultiLevelDirEnable和compression。 multiLevelDirEnable：本例设置为true，表示查询该表时会迭代读取表路径中的所有文件和子目录文件，若不需要此项配置可以设置为false或不设置（默认为false）；
参数说明 表1 参数说明 参数 是否必选 说明 expr 是 待计算返回结果的表达式。 ignore_nulls 否 BOOLEAN类型，表示是否忽略NULL值。默认值为False。 当参数的值为True时，返回窗口中第一条非NULL的值。 partition_clause 否 指定分区
DLI为用户提供了作业失败的topic订阅功能。 登录DLI控制台。 单击左侧“队列管理”，进入队列管理页面。 在队列管理页面，单击左上角“创建消息通知主题”进行配置。详细操作请参考《数据湖探索用户指南》。 父主题： DLI弹性资源池和队列类
ignore-parse-errors 否 false Boolean 当解析异常时，是跳过当前字段或行，还是抛出错误失败（默认为 false，即抛出错误失败）。如果忽略字段的解析异常，则会将该字段值设置为null。 debezium-json.timestamp-format.standard 否 'SQL'
参数说明 表1 参数说明 参数 是否必选 说明 expr 是 待计算返回结果的表达式。 ignore_nulls 否 BOOLEAN类型，表示是否忽略NULL值。默认值为False。 当参数的值为True时，返回窗口中第一条非NULL的值。 partition_clause 否 指定分区
写入的文件格式，支持按CSV、Parquet、ORC、JSON、Avro格式。 file_format为csv时，options参数可以参考表3。 注意事项 通过配置“spark.sql.shuffle.partitions”参数可以设置非DLI表在OBS桶中插入的文件个数，同时，为了避免数据倾斜，在I
对表执行clean操作时需要表的owner才可以执行。 如果需要修改clean默认的参数，需要在执行SQL时，在设置中配置需要保留的commit数量等参数，参见Hudi常见配置参数。 使用由DLI提供的元数据服务时，本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功，查看任务日志确认有无异常。
表所在数据库的DROP_TABLE权限 细粒度权限：dli:table:dropTable。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 DROP TABLE IF EXISTS db0.delta_table0; 系统响应 执行成
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
