检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LakeFormation适用于以下场景: 数据湖建设和持续运营:数据湖建设和持续运营,是指数据湖的初始化建设及后续日常的海量元数据及权限管理,因此客户需要便捷高效的建设和管理方式。 多计算引擎共享元数据:多计算引擎共享元数据,是指客户的多种计算引擎(Hive、Spark等)均使用统一的元数据,最
在LakeFormation管理控制台删除实例,报错“实例不可删除。请先删除该xx实例下的所有客户端后重试。”该如何处理? 答: 当前实例包含客户端时,将无法进行删除。请先删除所有接入管理客户端后再执行删除实例操作。详细操作如下: 登录LakeFormation管理控制台,在左侧导航栏单击“接入管理”。
数据湖建设和持续运营 场景描述 数据湖建设和持续运营,是指数据湖的初始化建设及后续日常的海量元数据及权限管理,因此用户需要便捷高效的建设和管理方式。 传统方式的弊端 仅支持通过计算引擎(Hive、Spark等)执行SQL实现元数据的定义、修改、查询,对用户有一定的技能要求,缺少提升易用性的可视化界面。
PartitionColumnStatistic deletePartitionColumnStatistics 查看审计日志 用户需要在云审计服务CTS的管理控制台查询LakeFormation服务的事件列表。 详情请参考:查看审计日志(审计事件)。
和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可用于对LakeFormation实例、元数据等权限的管理。 父主题: 安全
tion管理的数据目录,可以包含多个数据库。 数据库(DATABASE):LakeFormation管理的数据库,可以包含多个数据表或函数。 数据表(TABLE):LakeFormation管理的数据表,可以包含多个列。 列(COLUMN):LakeFormation管理的列。
LakeFormation使用流程简介 该LakeFormation入门教程介绍了如何创建一个LakeFormation实例并与MRS集群对接,实现统一的数据湖元数据及权限管理。 使用流程简介 MRS与LakeFormation对接的使用流程如下图所示: 图1 LakeFormation使用流程 约束说明 MRS
的自定义策略,可以在IAM和企业管理两个服务中给用户组授权并生效。如果仅支持IAM项目,不支持企业项目,表示仅能在IAM中给用户组授权并生效,如果在企业管理中授权,则该自定义策略不生效。关于IAM项目与企业项目的区别,详情请参见:IAM与企业管理的区别。 父主题: 权限和授权项
基于策略授权的服务授权项 云服务在IAM预置了常用授权项,称为系统策略。如果IAM系统策略无法满足授权要求,管理员可以根据各服务支持的授权项,创建IAM自定义策略来进行精细的访问控制,IAM自定义策略是对系统策略的扩展和补充。 除IAM服务外,Organizations服务中的服务控制策略(Service
湖仓构建(DataArts Lake Formation,简称LakeFormation)是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接多种计算引擎及大数据云服务 本文档提供LakeFormati
从控制台获取项目ID 项目ID表示租户的资源,账号ID对应当前账号。用户可在对应页面下查看不同Region对应的项目ID和账号ID。 登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 图1 查看项目ID 多项目时,展开“
(SK)两部分,系统通过AK识别用户的身份,通过SK对请求数据进行签名验证,用于确保请求的机密性、完整性和请求者身份的正确性。 登录华为云管理控制台。 将鼠标移动到右上角用户名,在下拉列表中单击“我的凭证”。 在“我的凭证”页面中选择“访问密钥”。 单击“新增访问密钥”,进入“新增访问密钥”页面。
LakeCat 函数管理 目录管理 数据库管理 数据表管理 数据表统计 分区管理 分区统计信息 授权管理 用户组管理 元数据统计 角色管理 凭证管理 配置管理 User 元数据事件管理 父主题: API
功能总览 功能总览 全部 LakeFormation 实例管理 元数据管理 数据权限授权 数据迁移 接入客户端管理 LakeFormation LakeFormation是企业级湖仓一站式构建服务,提供湖仓元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger
元数据迁移管理 支持将外部服务的元数据全量或增量迁移至当前LakeFormation实例中,对元数据进行统一管理。 √ √ 权限迁移管理 支持将外部服务的元数据权限全量或增量迁移至当前LakeFormation实例中,对元数据的权限进行统一管理。 √ √ 接入客户端管理 提供统一
用元数据管理相关接口,从而使用LakeFormation提供的能力。 规格管理 规格管理接口,包括查询规格列表等接口。 配额管理服务 配额管理接口,包括查询用户的配额信息等接口。 标签管理服务 标签管理接口,包括查询资源标签集合、批量更新标签等接口。 委托管理 委托管理接口,包括创建、查询、删除委托等接口。
Console 实例管理 任务管理 服务授权管理 OBS管理 接入管理 规格管理 配额管理服务 标签管理服务 委托管理 元数据事件管理 Location 父主题: API
创建客户端 登录华为云管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例,进入实例界面。 在左侧导航栏选择“接入管理”,进入接入管理界面。 单击“创建
Bucket Lifecycle:实例的生命周期管理功能,需要有操作生命周期的权限。 VPCEndpoint Administrator:实例的接入管理功能,需要有操作VPC终端节点的权限。 DNS FullAccess:实例的接入管理功能,需要有操作DNS内网域名的权限。 勾选“
安全 资产识别与管理 身份认证与访问控制 数据保护技术 审计 更新管理