检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询已授权给LakeFormation服务的obs路径列表 功能介绍 查询已授权给LakeFormation服务的obs路径列表 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
Hudi。 前提条件 已参考任务授权开启授权。 已上传待检测的数据至OBS并行文件系统,即已从S3或HDFS将数据上传复制到LakeFormation实例所在Region的OBS并行文件系统的规划路径下。 元数据发现的目标Catalog、目标Database已规划和创建。 操作步骤
METADATA_DISCOVERY status 否 String CREATED:已创建、 SUBMITTED:已提交、 RUNNING:运行中、 SUCCESS:成功、 FAILED:失败、 STOPPED:已停止、 PARTIAL_SUCCESS:部分成功。 枚举值: CREATED
offset 是 Integer 分页查询时的偏移量。默认值为0。最小值为0,最大值为1000。 limit 否 Integer 分页一页显示数。默认值为10。最小值为1,最大值为1000。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
是否必选 参数类型 描述 status 否 String CREATED:已创建、 SUBMITTED:已提交、 RUNNING:运行中、 SUCCESS:成功、 FAILED:失败、 STOPPED:已停止、 PARTIAL_SUCCESS:部分成功。 枚举值: CREATED
type:REDACT修订, HASH哈希加密,PARTIAL_MASK部分掩码,NULLIFY用NULL值替换原值,UNMASKED原样显示,DATA_ONLY_SHOW_YEAR仅显示日期字符串的年份部分,CUSTOM自定义脱敏规则。 枚举值: REDACT HASH PARTIAL_MASK NULLIFY
LakeFormation,迁移成功后为元数据绑定的默认Owner将会拥有元数据的操作权限。 前提条件 已参考元数据迁移完成元数据迁移。 当前用户具有OBS相关操作权限,且已创建用于存储数据的OBS并行文件系统。 需将待迁移的权限策略文件导出,并上传至OBS并行文件系统中。权限导出操作可联系对应服务支持人员。
offset 否 Integer 分页查询时的偏移量。默认值为0。最小值为1,最大值为1000。 limit 否 Integer 分页一页显示数。默认值为1000。最小值为1,最大值为1000。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
选择列脱敏类型,对列数据进行脱敏处理。资源类型为“列”时显示该参数。 PARTIAL_MASK:遮掩部分数据。 REDACT:修订原有列的数据。 HASH:使用哈希算法加密。 NULLIFY:用NULL值替换原值。 UNMASKED:原样显示。 DATA_ONLY_SHOW_YEAR:仅显示日期字符串的年份部分。
ormation控制台。 单击页面右上角“立即购买”或“购买实例”,进入购买实例页面。 首次创建实例时界面显示“立即购买”,如果界面已有LakeFormation实例则显示为“购买实例”。 按照需求配置以下参数。 表1 购买LakeFormation实例 参数 参数说明 样例 类型
ALTER 修改函数。 DROP 删除函数。 DESCRIBE 查看函数的元数据信息。 EXEC 执行函数。 路径 READ 路径下文件的读权限。 WRITE 路径下文件的写权限。 隐式LakeFormation权限 尽管没有在LakeFormation中进行显式的授权,但是La
offset 是 Integer 分页查询时的偏移量。默认值为0。最小值为0,最大值为1000。 limit 否 Integer 分页一页显示数。默认值为10,最大值为1000。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 否 String
Catalog路径与default数据库路径保持一致。 前提条件 当前实例已创建存储迁移元数据的Catalog。 待操作用户具有OBS相关操作权限、具有已创建存储迁移元数据的Catalog的操作权限。 已创建了用于存储迁移数据的OBS并行文件系统。 表的Owner只能包含字母、数
用户在数据目录(Catalog)中可对元数据库和元数据表进行管理,按照业务规划创建对应数据表。 前提条件 已创建LakeFormation实例,且实例处于正常运行状态。 已创建待创建数据表的数据库及其所属Catalog。 已参考创建元数据存储路径提前创建了用于存储数据表的OBS并行文件系统。 管理数据表 登录管理控制台。
户还需提前完成以下准备工作: 已在IAM服务中创建用于授权的IAM业务用户、用户组,用户已关联至用户组。 已在OBS服务中创建一个并行文件系统,并在文件系统中创建用于映射数据表的文件夹。 已创建对接LakeFormation所需的相关委托。例如,如果执行MRS对接LakeForm
筛选实例状态:RESOURCE_PREPARATION-实例资源准备中、RUNNING-实例运行中、RESOURCE_RELEASE-实例资源释放中、DELETED-实例已释放、RESOURCE_PREPARATION_FAIL-实例资源准备失败、FROZEN_RELEASABLE-可恢复冻结、FROZEN_U
og下可以创建多个数据库,通过集中式的元数据管理,可以有效提升数据资产价值。 前提条件 已创建LakeFormation实例,且实例处于正常运行状态。 已创建待添加数据库的Catalog。 已参考创建元数据存储路径提前创建了用于存储数据库的OBS并行文件系统。 管理数据库 登录管理控制台。
type:REDACT修订, HASH哈希加密,PARTIAL_MASK部分掩码,NULLIFY用NULL值替换原值,UNMASKED原样显示,DATA_ONLY_SHOW_YEAR仅显示日期字符串的年份部分,CUSTOM自定义脱敏规则。 枚举值: REDACT HASH PARTIAL_MASK NULLIFY
在进行LakeFormation Java SDK开发程序前,要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 安装Java和JDK环境 已安装Java环境,Java版本要求使用JDK1.8或更高版本。 安装和配置IntelliJ IDEA 用于开发应用程序的工具,版本要求:2019
用户在数据目录(Catalog)中可对元数据进行管理,按照业务规划创建对应函数。 前提条件 已创建LakeFormation实例,且实例处于正常运行状态。 已创建待添加函数的数据库及其所属Catalog。 如果配置“函数位置”参数,需已参考创建元数据存储路径提前创建了用于存储函数的OBS并行文件系统。 创建函数