检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
mation实例下可以创建多个Catalog，包含名称、描述、位置等信息，支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。 数据库（Database） LakeFormation实例的数据目录（Catalog）的下级资源，即在一个Cat
应用场景 数据湖建设和持续运营 多服务/多集群共享元数据
权限管理 LakeFormation权限概述 IAM权限介绍 LakeFormation权限介绍
基本概念 元数据 数据权限 区域与可用区
准备工作 注册华为云账号 配置云服务授权 权限管理
配置开源Hive组件对接LakeFormation 环境准备 配置Hive对接LakeFormation 对接后二次开发
服务介绍 应用开发简介 开发流程
使用LakeFormation Java SDK开发程序 准备开发程序环境 参考样例 调测程序
管理LakeFormation实例 创建LakeFormation实例 配置LakeFormation实例 删除LakeFormation实例
管理数据权限 数据权限概述 新增授权 取消授权 查询授权 管理角色
hadoop.fs.obs.OBS spark.hadoop.fs.obs.endpoint=obs.xxx.huawei.com # 指定访问OBS凭证获取类为LakeFormationObsCredentialProvider spark.hadoop.fs.obs.credentials
元数据的参数描述中，1个中文字符对应3个字节。 LakeFormation依赖OBS服务的并行文件系统，OBS需要基于大数据存算分离场景进行分离部署；LakeFormation元数据的存储位置对应OBS路径，与存算分离架构的MRS等大数据集群对接。OBS并行文件系统需要支持AccessLabel特性。 L
表所映射的OBS并行文件系统的文件目录。 单击“”，选择表存储在OBS并行文件系统中的位置，单击“确定”。 可选参数，如果不配置，则数据表存储路径为“上层数据库存储路径/表名” 如果配置该参数，则所选位置只能以“obs://”开头，且必须包含一个存储对象，例如选择“obs://la
的元数据及其权限全量或增量迁移至当前LakeFormation实例中，对元数据及权限进行统一管理。 进行任务管理操作前，需要为当前用户委托访问LakeFormation的相关权限，用于元数据、权限迁移时写入相关数据。 前提条件 已提前参考创建用户并授权使用LakeFormatio
所属Catalog 待创建数据库所属Catalog。 选择位置 数据库信息存储在OBS并行文件系统中的位置。 单击“”，选择位置后，单击“确定”。 所选位置只能以“obs://”开头，且必须包含一个存储对象，例如选择“obs://lakeformation-test/catalog1/dat
用户可以在管理控制台的LakeFormation实例界面，针对该实例下的所有Catalog、Database、Table等数据资源，授予用户组等主体细粒度的数据访问权限。 经过以上授权操作，形成一条或多条权限策略，权限策略包含授权主体、授权对象、权限、授权权限等。 表1介绍了不同元数据类型的LakeFormation权限：
如果需要删除函数，可以选择“更多 > 删除”，确认操作影响后，单击“确定”。 删除元数据时如果同步删除文件，数据将移入对应OBS桶的回收站（“lake-formation-trash-dir/table_id”OBS路径）目录下。 父主题： 管理元数据
通过IAM完成对IAM用户或委托的身份认证以及部分访问控制。 云审计服务（Cloud Trace Service，CTS） 云审计服务记录LakeFormation服务相关的操作事件，方便用户日后的查询、审计和回溯。 对象存储服务（Object Storage Service，OBS） LakeFormat
数据湖建设和持续运营 场景描述 数据湖建设和持续运营，是指数据湖的初始化建设及后续日常的海量元数据及权限管理，因此用户需要便捷高效的建设和管理方式。 传统方式的弊端 仅支持通过计算引擎（Hive、Spark等）执行SQL实现元数据的定义、修改、查询，对用户有一定的技能要求，缺少提升易用性的可视化界面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
