检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用LakeFormation Java SDK开发程序 准备开发程序环境 参考样例 调测程序
委托管理 创建委托 删除委托 委托查询 创建委托 删除委托 委托查询 父主题: Console
任务管理 创建任务 根据条件分页列举任务信息 删除任务 获取任务详情 修改任务信息 运行任务 停止任务 查看任务日志 查看历史任务 父主题: Console
应用示例 外部服务接入LakeFormation
附录 状态码 错误码 获取项目ID 获取账号ID
规格管理 查询规格列表 父主题: Console
分区管理 批量修改分区信息 列举分区信息 批量添加分区信息 批量删除分区信息 批量获取分区信息 列举分区值列表 列举全量分区值列表 父主题: LakeCat
管理LakeFormation实例 创建LakeFormation实例 配置LakeFormation实例 删除LakeFormation实例
LakeFormation支持将外部服务的元数据及其权限全量或增量迁移至当前LakeFormation实例中,对元数据及权限进行统一管理。 进行任务管理操作前,需要为当前用户委托访问LakeFormation的相关权限,用于元数据、权限迁移时写入相关数据。 前提条件 已提前参考创建用户并授
创建角色并绑定用户 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例,选择“数据权限 > 角色”。 单击“创建角色”,在弹出的窗口中填写“角色名称”和“描述”后,单击“确定”。
Catalog:在左侧导航栏选择“元数据 > Catalog”,选择待授权Catalog“操作”列的“更多 > 授权”。 数据库:在左侧导航栏选择“元数据 > 数据库”,在右上角“Catalog”后的下拉框中选择待授权数据库所属的Catalog名称,选择待授权数据库“操作”列的“更多 > 授权”。 数据表:在左侧导航栏选择“元数据
管理函数 用户在数据目录(Catalog)中可对元数据进行管理,按照业务规划创建对应函数。 前提条件 已创建LakeFormation实例,且实例处于正常运行状态。 已创建待添加函数的数据库及其所属Catalog。 如果配置“函数位置”参数,需已参考创建元数据存储路径提前创建了用于存储函数的OBS并行文件系统。
本功能,帮助您便捷地进行实例管理,加速实现数据湖承载的业务的规划和部署。 元数据管理 LakeFormation提供数据湖元数据Catalog、数据库、数据表等的创建、修改、查看、删除等功能,并支持配置元数据生命周期。帮助您便捷地进行数据湖初始化构建以及持续运营,集中式的统一管理
W至5W五种QPS规格。 共享型 元数据对象数量 按照元数据对象使用量收费,元数据对象数量为Catalog、数据库、表、分区、索引、函数数量之和。 前100万个不计费,后续按照万个/小时计费,不足万个按照万个计算。 API调用次数 按照元数据相关API的调用次数收费,每个月前100万次不收费,后续按每次计费。
LakeFormation适用于以下场景: 数据湖建设和持续运营:数据湖建设和持续运营,是指数据湖的初始化建设及后续日常的海量元数据及权限管理,因此客户需要便捷高效的建设和管理方式。 多计算引擎共享元数据:多计算引擎共享元数据,是指客户的多种计算引擎(Hive、Spark等)均使用统一的元数据,最大化实现数据的共享,
创建客户端 登录华为云管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例,进入实例界面。 在左侧导航栏选择“接入管理”,进入接入管理界面。 单击“
示例2:拒绝用户删除数据 拒绝策略需要同时配合其他策略使用,否则没有实际作用。用户被授予的策略中,一个授权项的作用如果同时存在Allow和Deny,则遵循Deny优先原则。 如果您给用户授予Admin的系统策略,但不希望用户拥有删除LakeFormation的Catalog、数据库、表的权
objects 表元数据列表。 page_info PagedInfo object 分页返回信息。 表5 TableMeta 参数 参数类型 描述 catalog_name String catalog名称。 database_name String 数据库名称。 table_name
答: LakeFormation不会自动创建OBS桶。 LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS并行文件系统。
批量删除分区信息 功能介绍 非事务表:如果设置删除数据,立刻删除分区数据路径下的数据。 事务表:如果设置删除数据,保留数据在原路径下但对外不可见,待数据超期后统一删除。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SD