检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LakeFormation实例的元数据资源中的最顶层资源,即在一个LakeFormation实例下可以创建多个Catalog,包含名称、描述、位置等信息,支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。 数据库(Database) LakeFormation实例的数据目
将多个角色授予用户 功能介绍 将多个角色授予用户。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/instances/{
对象存储服务”,进入对象存储服务页面。 选择“并行文件系统 > 创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。 文件系统名称:根据界面要求设置并行文件系统名称,例如“lakeformation-test”。 其他参数根据实际情况选择。 在并行文件系统页面,单击已创建的文件系统名称,例如“lakeformation-test”。
将一个或者多个角色从用户移除 功能介绍 将一个或者多个角色从用户移除。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/i
将一个或者多个用户/用户组加入角色 功能介绍 将一个或者多个用户/用户组加入角色。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project
将一个或者多个用户/用户组从角色移除 功能介绍 将一个或者多个用户/用户组从角色移除。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{proje
RANGER:MRS集群中Ranger权限策略 日志存储位置 运行迁移任务时,产生的日志存储位置。 权限策略文件存储位置 待迁移的权限策略文件在OBS并行文件系统中的存储位置。 权限策略文件名 待迁移权限策略的文件名称。 Catalog ID 填写权限来源的Catalog名称。 “权限策略类型”选择“DLF”时配置该参数。
LakeFormation的一个Catalog下可以创建多个数据库,通过集中式的元数据管理,可以有效提升数据资产价值。 前提条件 已创建LakeFormation实例,且实例处于正常运行状态。 已创建待添加数据库的Catalog。 已参考创建元数据存储路径提前创建了用于存储数据库的OBS并行文件系统。 管理数据库 登录管理控制台。
管理Catalog 数据目录(Catalog)是元数据管理对象,它可以包含多个数据库。 用户可在LakeFormation中创建并管理多个Catalog,用于不同外部集群的元数据隔离。 前提条件 已创建LakeFormation实例,且实例处于正常运行状态。 Catalog数据存
conf中补充如下配置: spark.sql.catalogImplementation=hive 在“spark/conf/”文件夹下新增文件hive-site.xml(如果已有该文件则编辑此文件),并在hive-site.xml中补充以下配置: <configuration> <!--固定配置,开启自定义metastore客户端-->
zip”和“*.rar”文件。 支持7-Zip 16.04版本。 准备依赖信息 准备LakeFormation Java SDK依赖 参考Maven SDK地址,在Maven仓库中查看LakeFormation Java SDK最新版本Jar包,并获取文件内容,例如:
LakeFormation实例的元数据资源中的最顶层资源,即在一个LakeFormation实例下可以创建多个Catalog,包含名称、描述、位置等信息,支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。 数据库(Database) LakeFormation实例的数据目
EXTERNAL_TABLE:外部表。当文件已经存在或位于远程位置时,使用外部表。 VIRTUAL_VIEW:虚拟视图。不存储实际的数据,不占用物理空间。 MATERIALIZED_VIEW:物化视图。存储实际的数据,占用物理空间。 数据存储位置 表所映射的OBS并行文件系统的文件目录。 单击“”,选
号信息。 API映射表:请参见API参考。 LakeFormation云服务需要访问的租户资源包括:租户的用户组和用户信息的读取,对象存储文件目录的创建/删除等,对象存储标签权限接口的访问。 推荐的安全配置 不涉及。 基础设施安全性 LakeFormation实例运行在跨AZ部署
如果数据存储位置下的文件后缀为同一类型,建议选择对应发现类型。 如果数据存储位置下的文件后缀为多种类型,建议选择“自动发现”。 如果数据存储位置下的文件不带后缀,建议选择对应类型。如果选择“自动发现”,则系统默认以Parquet类型文件进行发现,其他类型文件将会发现失败。 日志存储位置
已创建待添加函数的数据库及其所属Catalog。 如果配置“函数位置”参数,需已参考创建元数据存储路径提前创建了用于存储函数的OBS并行文件系统。 创建函数 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。
对象存储服务”,进入对象存储服务页面。 选择“并行文件系统 > 创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。 文件系统名称:根据界面要求设置并行文件系统名称,例如“lakeformation-test”。 其他参数根据实际情况选择。 在并行文件系统页面,单击已创建的文件系统名称,例如“lakeformation-test”。
按元数据类型 按自定义规则 过滤策略存储位置 迁移的自定义元数据过滤策略文件在OBS并行文件系统中的存储位置。 “元数据过滤策略”选择“按自定义规则”时配置该参数。 过滤策略文件名 迁移的自定义元数据过滤策略文件名。 “元数据过滤策略”选择“按自定义规则”时配置该参数。 迁移元数据对象
e:alter 修改表文件。 lakeformation:tableFile:create 创建表文件。 lakeformation:tableFile:drop 删除表文件。 lakeformation:tableFileGroup:alter 修改表文件组元数据。 lakef
列脱敏类型对应的选项。可以参考表2进行配置。资源类型为“列”时显示该参数。 路径 “授权类型”选择“路径”时配置该参数。 单击选择授权的OBS文件系统中的路径。可以选择多个路径,但不能超过10个。 操作类型 选择授权的操作类型。不同的授权类型对应的操作类型不同,详见表2。 赋予授权权限 是否授予授权权限。