检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
User 获取用户列表 将多个角色授予用户 将一个或者多个角色从用户移除 更新用户中的角色 查询用户的角色列表 父主题: LakeCat
Location 向LakeFormation服务授权OBS路径 查询已授权给LakeFormation服务的obs路径列表 从LakeFormation服务中批量取消授权OBS路径 父主题: Console
环境准备 简介 准备LakeFormation实例 创建客户端 修改DNS信息
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
权限管理 创建用户并授权使用LakeFormation 创建LakeFormation自定义IAM策略 父主题: 准备工作
管理函数 用户在数据目录(Catalog)中可对元数据进行管理,按照业务规划创建对应函数。 前提条件 已创建LakeFormation实例,且实例处于正常运行状态。 已创建待添加函数的数据库及其所属Catalog。 如果配置“函数位置”参数,需已参考创建元数据存储路径提前创建了用于存储函数的OBS并行文件系统。
LakeFormation支持将外部服务的元数据及其权限全量或增量迁移至当前LakeFormation实例中,对元数据及权限进行统一管理。 进行任务管理操作前,需要为当前用户委托访问LakeFormation的相关权限,用于元数据、权限迁移时写入相关数据。 前提条件 已提前参考创建用户并授
个字节。 (可选)单击“数据库存储位置”区域中的“添加数据库存储位置”。单击“”可按照需求手动选择数据库存储位置,单击“确定”。支持添加多条。 “数据库存储位置”为可选参数。如果配置了该参数,则该Catalog下的数据库位置必须选择为该Catalog“数据库存储位置”的子路径、或该Catalog“选择位置”的子路径。
Catalog:在左侧导航栏选择“元数据 > Catalog”,选择待授权Catalog“操作”列的“更多 > 授权”。 数据库:在左侧导航栏选择“元数据 > 数据库”,在右上角“Catalog”后的下拉框中选择待授权数据库所属的Catalog名称,选择待授权数据库“操作”列的“更多 > 授权”。 数据表:在左侧导航栏选择“元数据
W至5W五种QPS规格。 共享型 元数据对象数量 按照元数据对象使用量收费,元数据对象数量为Catalog、数据库、表、分区、索引、函数数量之和。 前100万个不计费,后续按照万个/小时计费,不足万个按照万个计算。 API调用次数 按照元数据相关API的调用次数收费,每个月前100万次不收费,后续按每次计费。
创建角色并绑定用户 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例,选择“数据权限 > 角色”。 单击“创建角色”,在弹出的窗口中填写“角色名称”和“描述”后,单击“确定”。
本功能,帮助您便捷地进行实例管理,加速实现数据湖承载的业务的规划和部署。 元数据管理 LakeFormation提供数据湖元数据Catalog、数据库、数据表等的创建、修改、查看、删除等功能,并支持配置元数据生命周期。帮助您便捷地进行数据湖初始化构建以及持续运营,集中式的统一管理
示例2:拒绝用户删除数据 拒绝策略需要同时配合其他策略使用,否则没有实际作用。用户被授予的策略中,一个授权项的作用如果同时存在Allow和Deny,则遵循Deny优先原则。 如果您给用户授予Admin的系统策略,但不希望用户拥有删除LakeFormation的Catalog、数据库、表的权
创建客户端 登录华为云管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例,进入实例界面。 在左侧导航栏选择“接入管理”,进入接入管理界面。 单击“
本节介绍REST API请求的组成,并以调用IAM服务的获取用户Token接口说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 您还可以通过视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987
符。 表2 Query参数 参数 是否必选 参数类型 描述 delete_data 否 Boolean 是否删除表中的数据,该参数只针对内表生效,外表不会删除数据。默认为false。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是
data_statistic_enable 否 Boolean 数据概况统计开关。默认状态为开,修改table开关状态后,还需检查所属database的开关状态。例如:table与所属database开关同时打开,则数据概况统计开启。否则关闭 表4 StorageDescriptor
配置云服务授权 首次使用LakeFormation服务需要进行服务授权,授权相关云资源的权限。 云服务授权操作 使用注册华为云账号创建的用户登录管理控制台。 在服务列表中选择“大数据 > 湖仓构建 LakeFormation”,进入“服务授权”页面。 IAM ReadOnlyAccess:实
catalog名称。 catalog_id String catalogID。 database_name String 数据库名称。 database_id String 数据库ID。 table_name String 表名称。 table_id String 表ID。 table_status
data_statistic_enable 否 Boolean 数据概况统计开关。默认状态为开,修改table开关状态后,还需检查所属database的开关状态。例如:table与所属database开关同时打开,则数据概况统计开启。否则关闭 version_id 否 String