检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看审计日志 云审计服务是安全解决方案中专业的日志审计服务,记录了LakeFormation的相关操作事件,方便您日后的查询、审计和回溯。 支持审计日志的操作 表1 云审计服务支持的LakeFormation服务操作 操作名称 资源类型 事件名称 创建Catalog Catalog
5个字符。 description String 描述信息。最大长度为4000个字符。当无描述信息时,则description值为null,当值为null时,响应Body无该参数。 principal_source String 主体来源: IAM-云用户、 SAML-联邦、 LDAP
根据条件分页列举角色 删除角色 获取角色 修改角色信息 列举所有角色名 查询角色下的用户/用户组 将一个或者多个用户/用户组加入角色 将一个或者多个用户/用户组从角色移除 更新角色中的principals 父主题: LakeCat
描述信息。最大长度为4000个字符。当无描述信息时,则description值为null,当值为null时,响应Body无该参数。 principal_source String 主体来源: IAM-云用户、 SAML-联邦、 LDAP ld-用户、 LOCAL-本地用户、 AGENTTENANT-委托、 OTHER-其它。
LakeFormation入门教程,介绍如何创建一个LakeFormation实例并与MRS集群对接,实现统一的数据湖权限管理。 快速入门 使用流程简介 创建LakeFormation实例 规划数据湖 MRS对接LakeFormation实例 03 使用 通过使用LakeFormation可以实现跨AZ部署及
删除实例 功能介绍 根据实例ID删除LakeFormation实例。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v1/{project_id}/
5个字符。 description String 描述信息。最大长度为4000个字符。当无描述信息时,则description值为null,当值为null时,响应Body无该参数。 principal_source String 主体来源: IAM-云用户、 SAML-联邦、 LDAP
服务授权管理 接入服务授权 查询租户当前的接入服务授权 注册租户协议 查询租户是否注册协议 删除租户协议 注册租户协议 查询租户是否注册协议 删除租户协议 查询当前系统协议 父主题: Console
恢复实例 功能介绍 从回收站恢复LakeFormation实例。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/inst
删除LakeFormation实例时报错实例不可删除 问: 在LakeFormation管理控制台删除实例,报错“实例不可删除。请先删除该xx实例下的所有客户端后重试。”该如何处理? 答: 当前实例包含客户端时,将无法进行删除。请先删除所有接入管理客户端后再执行删除实例操作。详细操作如下: 登录Lake
Hudi表不支持在LakeFormation管理面编辑表的字段,只能通过Hudi客户端增删改表的字段。 Flink读写Hudi场景下同步Hive表,仅支持使用hive_sync.mode=jdbc,不支持hms方式。 Spark使用小权限用户登录客户端创建数据库时,如果用户没有default库的OBS路径权限,将提示缺少权限,实际创建数据库成功。
数据目录(Catalog)是元数据管理对象,它可以包含多个数据库。 用户可在LakeFormation中创建并管理多个Catalog,用于不同外部集群的元数据隔离。 前提条件 已创建LakeFormation实例,且实例处于正常运行状态。 Catalog数据存储到OBS中,当前用户需具有OBS相关操作权限。 已参考
管理函数 用户在数据目录(Catalog)中可对元数据进行管理,按照业务规划创建对应函数。 前提条件 已创建LakeFormation实例,且实例处于正常运行状态。 已创建待添加函数的数据库及其所属Catalog。 如果配置“函数位置”参数,需已参考创建元数据存储路径提前创建了用于存储函数的OBS并行文件系统。
安全 资产识别与管理 身份认证与访问控制 数据保护技术 审计 更新管理
管理数据表 用户在数据目录(Catalog)中可对元数据库和元数据表进行管理,按照业务规划创建对应数据表。 前提条件 已创建LakeFormation实例,且实例处于正常运行状态。 已创建待创建数据表的数据库及其所属Catalog。 已参考创建元数据存储路径提前创建了用于存储数据表的OBS并行文件系统。
Studio等多种计算引擎及大数据云服务,使用户可以便捷高效地构建数据湖和运营相关业务,加速释放业务数据价值。 LakeFormation产品通过底层资源实现跨AZ部署及高可靠、弹性伸缩、元数据统一管理、元数据与文件目录联动授权、对接多计算引擎等功能,是一个Serverless服务。
创建客户端 登录华为云管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例,进入实例界面。 在左侧导航栏选择“接入管理”,进入接入管理界面。 单击“
project_id 是 String 项目编号。获取方法,请参见获取项目ID。 instance_id 是 String LakeFormation实例ID。创建实例时自动生成。例如:2180518f-42b8-4947-b20b-adfc53981a25。 catalog_name 是 String
MRS对接LakeFormation实例 MRS对接前准备 MRS对接LakeFormation实例前准备请参考准备工作章节创建委托、配置LakeFormation数据连接等操作。 MRS对接LakeFormation实例 当前仅MRS 3.3.0-LTS版本集群支持对接LakeFormation。
存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统,可跳过该章节操作。 操作步骤 登录管理控制台。 在页面左上角单击,选择“存储 > 对象存储服务”,进入对象存储服务页面。 选择“并行文件系统 > 创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。