检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0011 文件权限校验错误。 400 DLI.0012 资源对象不可用。 401 DLI.0013 用户认证错误。 401 DLI.0014 服务认证错误。 400 DLI.0015 Token解析错误。 400 DLI.0016 身份角色错误。 400 DLI.0018 数据转换错误。
wasNull() get系列方法 DatabaseMetaData API支持的常用方法签名 ResultSet getCatalogs() 在DLI服务中没有Catalog的概念,返回空的ResultSet。 ResultSet getColumns(String catalog, String
as hh; 权限需求 由DLI提供的元数据服务 SQL权限: database table 无 INSERT_INTO_TABLE 细粒度权限:dli:table:insertIntoTable 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。
Token的有效期为24小时,需要使用一个Token鉴权时,可以先缓存起来,避免频繁调用。 Token可通过调用获取用户Token接口获取,调用本服务API需要project级别的Token,即调用获取用户Token接口时,请求body中auth.scope的取值需要选择project,如下所示。
commits个Instant不会被归档,以此保证有足够的Instant去触发compation schedule。 使用由DLI提供的元数据服务时,本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi DML语法说明
如果需要修改clean默认的参数,需要在执行SQL时,在设置中配置需要保留的commit数量等参数,参见Hudi常见配置参数。 使用由DLI提供的元数据服务时,本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功,查看任务日志确认有无异常。 父主题: Hudi DML语法说明
配置前,请先购买OBS桶或并行文件系统。大数据场景推荐使用并行文件系统,并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,以及TB/s级别带宽和百
CONSTRAINT所需权限列表 权限描述 表的ALTER权限 细粒度权限:dli:table:alter。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 alter table delta_table0 drop constraint const_price;
SERDEPROPERTIES:Serde属性。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path OBS存储路径。 注意事项 该命令的主要应用场景是针对分区表,如当手动在OBS上面添加分区目录时,再通过上
on>.zip”解压目录下的windows目录。例如:“D:\tmp\dli-sdk-python-1.0.8”。 执行如下命令安装DLI服务Python SDK,安装过程中会自动下载第三方依赖库。 python setup.py install 运行结果参见图1所示。 图1 安装Python
表的INSERT_INTO_TABLE权限 细粒度权限:dli:table:insertIntoTable LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 insert into delta_table0 values(1, 'a1', 20);
OPTIMIZE所需权限列表 权限描述 表的UPDATE权限 细粒度权限:dli:table:update。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 OPTIMIZE delta_table0; optimize delta_table0
TABLE所需权限列表 权限描述 表的ALTER权限 细粒度权限:dli:table:alter。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 其他修改 ALTER TABLE table1 ALTER COLUMN col_a
UPDATE所需权限列表 权限描述 表的UPDATE权限 细粒度权限:dli:table:update。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 update delta_table0 set price = price + 20
CONSTRAINT所需权限列表 权限描述 表的ALTER权限 细粒度权限:dli:table:alter。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 alter table delta_table0 add constraint const_price
表的DESCRIBE_TABLE权限 细粒度权限:dli:table:describeTable。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 DESCRIBE FORMATTED delta_table0; DESCRIBE
RESTORE所需权限列表 权限描述 表的UPDATE权限 细粒度权限:dli:table:update。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 RESTORE delta_table0 TO TIMESTAMP AS OF '2020-10-18
TABLE所需权限列表 权限描述 表的ALTER权限 细粒度权限:dli:table:alter。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 ALTER TABLE table1 RENAME COLUMN addr to address
行日志”可以查看实时日志。 运行失败且超过1分钟(日志转储周期1分钟),会在application_xx下生成运行日志。 另外,由于DLI服务端已经内置了Flink的依赖包,并且基于开源社区版本做了安全加固。为了避免依赖包兼容性问题或日志输出及转储问题,打包时请注意排除以下文件:
=> 'id'); 注意事项 table与path参数必须存在一个,否则无法判断需要执行clustering的表。 使用由DLI提供的元数据服务时,本命令仅支持配置table参数,不支持配置path参数。 如果需要对指定分区进行clustering,参考格式:predicate =>