检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理元数据 创建元数据存储路径 管理Catalog 管理数据库 管理数据表 管理函数
管理数据迁移 任务授权 元数据迁移 权限迁移 元数据发现
r MetaDataDiscoveryParameter object 元数据发现参数。 smn_notify Boolean 该任务是否进行smn通知 smn_notify_topic String 任务通知的smn主题 smn_notify_types Array of strings
ccess_connections必填。不建议使用,使用接入租户相关接口代替。 枚举值: SYSTEM CUSTOM vpc_id 否 String VPC ID,即虚机私有云ID。可以在 接入管理-创建客户端-前往VPC创建 进行创建。 subnet_id 否 String 子
X-Auth-Token:用户Token,可选,当使用Token方式认证时,必须填充该字段。用户Token也就是调用获取用户Token接口的响应值,该接口是唯一不需要认证的接口。 当前API同时支持使用AK/SK认证,AK/SK认证是使用SDK对请求进行签名,签名过程会自动往请求中添加Aut
请检查相关资源使用量。 500 00011040 湖仓构建服务依赖资源显著过载。 请检查相关资源使用量。 500 00011041 湖仓构建服务依赖资源中等过载。 请检查相关资源使用量。 500 00011042 湖仓构建服务依赖资源轻微过载。 请检查相关资源使用量。 500 00011043
查询实例详情 功能介绍 使用实例ID查询LakeFormation实例详情。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}
准备LakeFormation实例 如果您是第一次使用LakeFormation,请参考准备工作章节,完成账号注册及授权等操作。 创建实例相关步骤请参考创建LakeFormation实例章节。 已创建待操作华为云账号的访问密钥AK/SK信息。具体操作请参考获取AK/SK章节。 父主题:
从LakeFormation服务中批量取消授权OBS路径 功能介绍 从LakeFormation服务中批量取消授权OBS路径,已经有元数据使用的OBS路径无法取消授权 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK
表1 LakeFormation状态说明 状态 说明 资源准备中 创建LakeFormation实例后,LakeFormation实例状正在进行资源准备。 资源准备失败 创建LakeFormation实例后,LakeFormation实例准备资源失败。 运行中 LakeFormat
dec/1.15/commons-codec-1.15.jar 10 java-sdk-core-3.2.4.jar (如果仅使用自定义认证信息获取类使用Token认证,则无需补充该jar包。) https://mirrors.huaweicloud.com/repository
如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 怎样查看我的配额? 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面,查看各项资源的总配额及使用情况。 如果当
如果迁移类型为DLF,其对应关系及迁移策略如下: RAM用户:IAM用户(如果对应的IAM用户不存在,该权限策略不进行迁移) RAM角色:IAM用户组(如果对应的IAM用户组不存在,该权限策略不进行迁移) DLF角色:LakeFormation角色(不存在会自动创建) 如果迁移类型为Ranger
多服务/多集群共享元数据 场景描述 多服务/多集群均使用统一的元数据,最大化实现数据的共享,避免不必要的重复数据,更大程度释放业务数据价值。 本服务的优势 兼容Hive元数据模型:提供兼容Hive元数据模型的SDK客户端,使计算引擎对接LakeFormation更轻松和高效。 兼
理,因此客户需要便捷高效的建设和管理方式。 多计算引擎共享元数据:多计算引擎共享元数据,是指客户的多种计算引擎(Hive、Spark等)均使用统一的元数据,最大化实现数据的共享,避免不必要的重复数据,更大程度释放业务数据价值。
特殊字符,且长度为1~49个字符。principal_name支持中划线'-'字符,但是对Principal进行授权时不支持'-'字符,可通过将有中划线的用户绑定到相关角色进行授权。 响应参数 状态码: 200 表5 响应Body参数 参数 参数类型 描述 [数组元素] Array
支持将外部服务的元数据全量或增量迁移至当前LakeFormation实例中,对元数据进行统一管理。 √ √ 权限迁移管理 支持将外部服务的元数据权限全量或增量迁移至当前LakeFormation实例中,对元数据的权限进行统一管理。 √ √ 接入客户端管理 提供统一的接入管理能力,用户可以通过
象,例如选择“obs://lakeformation-test/catalog1”。如果没有合适的并行文件系统,可以单击“前往OBS创建”进行创建。 建议选择未被其他Catalog选中的文件夹。 描述 所创建Catalog的描述信息。 长度为0~4000字节,1个中文字符对应3个字节。
并为该Catalog创建数据库“default”(固定名称,不可自定义),数据库内包含两个数据表“table_A”、“table_B”,并进行授权。 创建存储元数据的OBS路径 登录管理控制台。 在页面左上角单击,选择“存储 > 对象存储服务”,进入对象存储服务页面。 选择“并行文件系统
ormation实例并与MRS集群对接,实现统一的数据湖权限管理。 快速入门 使用流程简介 创建LakeFormation实例 规划数据湖 MRS对接LakeFormation实例 03 使用 通过使用LakeFormation可以实现跨AZ部署及高可靠、弹性伸缩、元数据统一管理