检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下载CSS安全集群的认证凭证。 登录CSS服务管理控制台，单击“集群管理”。 在“集群管理”页面中，单击对应的集群名称，进入“基本信息”页面。 单击“安全模式”后的下载证书，下载CSS安全集群的证书。 将认证凭证上传到OBS桶。 关于如何创建OBS桶并上传数据，请参考《对象存储服务快速入门》。 创建跨源认证。
使用Dockerfile将作业运行需要的依赖（文件、jar包或者软件）打包到镜像中，生成自定义镜像。 将镜像发布到SWR（容器镜像服务）中。 在DLI服务作业编辑页面选择自己生成的镜像，运行作业。 查看作业执行情况。 获取DLI基础镜像 请根据队列的架构类型选择相同类型的基础镜像。
commits个Instant不会被归档，以此保证有足够的Instant去触发compation schedule。 使用由DLI提供的元数据服务时，本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功，查看任务结果，查看任务日志确认有无异常。 父主题： Hudi DML语法说明
n时需要添加参数hoodie.payload.ordering.field为preCombineField的值。 使用由DLI提供的元数据服务时，本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功，查看任务结果，查看任务日志确认有无异常。 父主题： Hudi DML语法说明
wasNull() get系列方法 DatabaseMetaData API支持的常用方法签名 ResultSet getCatalogs() 在DLI服务中没有Catalog的概念，返回空的ResultSet。 ResultSet getColumns(String catalog, String
CONSTRAINT所需权限列表 权限描述 表的ALTER权限 细粒度权限：dli:table:alter。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 alter table delta_table0 drop constraint const_price;
as hh; 权限需求 由DLI提供的元数据服务 SQL权限： database table 无 INSERT_INTO_TABLE 细粒度权限：dli:table:insertIntoTable 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。
这里的sink表通过创建临时表指向Hudi表路径来写入数据，同时在表参数中配置hive_sync相关参数，实时同步元数据至由DLI提供的元数据服务。（具体参数详见Flink参数一节） 请将作业中sink表的path参数修改为希望保存hudi表的obs路径。 -- 临时表作为source，通过datagen
on>.zip”解压目录下的windows目录。例如：“D:\tmp\dli-sdk-python-1.0.8”。 执行如下命令安装DLI服务Python SDK，安装过程中会自动下载第三方依赖库。 python setup.py install 运行结果参见图1所示。 图1 安装Python
None 服务介绍 数据湖探索 DLI 介绍什么是数据湖探索 02:47 数据湖探索DLI产品介绍 功能介绍 数据湖探索 DLI 熟悉数据湖探索控制台 03:10 数据湖探索控制台介绍 操作指导 数据湖探索 DLI 介绍怎样创建提交SQL作业 07:36 数据湖探索SQL作业入门指导
Token的有效期为24小时，需要使用一个Token鉴权时，可以先缓存起来，避免频繁调用。 Token可通过调用获取用户Token接口获取，调用本服务API需要project级别的Token，即调用获取用户Token接口时，请求body中auth.scope的取值需要选择project，如下所示。
如果需要修改clean默认的参数，需要在执行SQL时，在设置中配置需要保留的commit数量等参数，参见Hudi常见配置参数。 使用由DLI提供的元数据服务时，本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功，查看任务日志确认有无异常。 父主题： Hudi DML语法说明
preCombineField，否则存在数据最终表现与预期不一致的风险。 使用由DLI提供的元数据服务时，不支持创建DLI表，只支持创建OBS表，即必须通过LOCATION参数配置表路径。 使用由LakeFormation提供的元数据服务时，创建内表和外表均支持。需要注意：在DROP内表时，数据也会被同步删除。
OPTIMIZE所需权限列表 权限描述 表的UPDATE权限 细粒度权限：dli:table:update。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 OPTIMIZE delta_table0; optimize delta_table0
表的INSERT_INTO_TABLE权限 细粒度权限：dli:table:insertIntoTable LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 insert into delta_table0 values(1, 'a1', 20);
RESTORE所需权限列表 权限描述 表的UPDATE权限 细粒度权限：dli:table:update。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 RESTORE delta_table0 TO TIMESTAMP AS OF '2020-10-18
CONSTRAINT所需权限列表 权限描述 表的ALTER权限 细粒度权限：dli:table:alter。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 alter table delta_table0 add constraint const_price
表的DESCRIBE_TABLE权限 细粒度权限：dli:table:describeTable。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 DESCRIBE FORMATTED delta_table0; DESCRIBE
PARTITION partition_specs SET LOCATION obs_path; 关键字 PARTITION：分区。 LOCATION：分区路径。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path
在跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景推荐使用数据加密服务DEW来存储数据源的认证信息，为您解决数据安全、密钥安全、密钥管理复杂等问题。具体操作请参考使用DEW管理数据源访问凭证。 约束和限制 表1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
