检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
AbstractFileSystem.obs.impl=org.apache.hadoop.fs.obs.OBS spark.hadoop.fs.obs.endpoint=obs.xxx.huawei.com # 指定访问OBS凭证获取类为LakeFormationObsCredentialProvider
与其他服务的关系 LakeFormation服务与其他服务的关系如下表所示。 表1 LakeFormation服务与其他服务的关系 服务名称 LakeFormation服务与其他服务的关系 统一身份认证（Identity and Access Management，IAM） 通过
元数据发现当前仅支持Spark on Hudi。 前提条件 已参考任务授权开启授权。 已上传待检测的数据至OBS并行文件系统，即已从S3或HDFS将数据上传复制到LakeFormation实例所在Region的OBS并行文件系统的规划路径下。 元数据发现的目标Catalog、目标Database已规划和创建。
com/huaweicloud/obsa-hdfs/blob/master/release/hadoop-huaweicloud-3.1.1-hw-53.8.jar pom文件：https://github.com/huaweicloud/obsa-hdfs/blob/master/hadoop-huaweicloud/pom
<name>fs.obs.impl</name> <value>org.apache.hadoop.fs.obs.OBSFileSystem</value> </property> <property> <name>fs.AbstractFileSystem.obs.impl</name>
表所映射的OBS并行文件系统的文件目录。 单击“”，选择表存储在OBS并行文件系统中的位置，单击“确定”。 可选参数，如果不配置，则数据表存储路径为“上层数据库存储路径/表名” 如果配置该参数，则所选位置只能以“obs://”开头，且必须包含一个存储对象，例如选择“obs://la
如果需要删除函数，可以选择“更多 > 删除”，确认操作影响后，单击“确定”。 删除元数据时如果同步删除文件，数据将移入对应OBS桶的回收站（“lake-formation-trash-dir/table_id”OBS路径）目录下。 父主题： 管理元数据
所属Catalog 待创建数据库所属Catalog。 选择位置 数据库信息存储在OBS并行文件系统中的位置。 单击“”，选择位置后，单击“确定”。 所选位置只能以“obs://”开头，且必须包含一个存储对象，例如选择“obs://lakeformation-test/catalog1/dat
com/huaweicloud/obsa-hdfs/blob/master/release/hadoop-huaweicloud-3.1.1-hw-53.8.jar pom文件：https://github.com/huaweicloud/obsa-hdfs/blob/master/hadoop-huaweicloud/pom
限对云服务进行操作。 LakeFormation授权时，在全局级服务中设置权限，不需要切换区域。 权限根据授权精细程度分为角色和策略。 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度，提供有限的服务相关角色用于授权。由于华为云各服务之间存
元数据的参数描述中，1个中文字符对应3个字节。 LakeFormation依赖OBS服务的并行文件系统，OBS需要基于大数据存算分离场景进行分离部署；LakeFormation元数据的存储位置对应OBS路径，与存算分离架构的MRS等大数据集群对接。OBS并行文件系统需要支持AccessLabel特性。 L
是企业级数据湖一站式构建服务，在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接MapReduce服务（MRS）、数据仓库服务 GaussDB（DWS）、数据湖探索（DLI）、AI开发平台ModelArts、数据治理中心
mation服务对应权限。 创建用户并加入用户组 在IAM控制台创建用户，并将其加入1.创建用户组并授权中创建的用户组。 用户登录并验证权限 以新创建的用户登录云服务控制台，切换至授权区域，验证权限是否生效。 例如： 在“服务列表”中选择LakeFormation服务，进入总览界
500 00011110 创建OBS桶失败。 请检查是否支持OBS服务、OBS服务权限是否正确或联系运维人员。 500 00011111 OBS写入数据失败。 请检查是否支持OBS服务、OBS服务权限是否正确或联系运维人员。 500 00011112 OBS更新任务信息失败。 请联系运维人员。
数据库内包含两个数据表“table_A”、“table_B”，并进行授权。 创建存储元数据的OBS路径 登录管理控制台。 在页面左上角单击，选择“存储 > 对象存储服务”，进入对象存储服务页面。 选择“并行文件系统 > 创建并行文件系统”，进入创建页面，配置相关参数后单击“立即创建”。
基于策略授权的服务授权项 云服务在IAM预置了常用授权项，称为系统策略。如果IAM系统策略无法满足授权要求，管理员可以根据各服务支持的授权项，创建IAM自定义策略来进行精细的访问控制，IAM自定义策略是对系统策略的扩展和补充。 除IAM服务外，Organizations服务中的服务控制策略（Service
ation实例的数据权限界面进行授权操作。 RangerAdmin WebUI界面的OBS模块，禁止执行添加、删除权限非默认策略的操作，统一在LakeFormation实例的数据权限界面进行OBS路径授权操作。 MRS集群取消对接LakeFormation后，RangerAdmi
路径地址。例如obs://location/uri/。 database_location_list Array of strings 数据库路径列表。当值为null时，响应Body无该参数。 owner String catalog所有者。LakeFormation服务分为一期和二期，一期响应Body无该参数。
路径地址。例如obs://location/uri/。 database_location_list Array of strings 数据库路径列表。当值为null时，响应Body无该参数。 owner String catalog所有者。LakeFormation服务分为一期和二期，一期响应Body无该参数。
配置开源Hive组件对接LakeFormation 环境准备 配置Hive对接LakeFormation 对接后二次开发
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
