检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
约束与限制 IAM用户组被删除后,LakeFormation云服务数据权限中的相关权限策略,需要用户手动清理删除。 建库时路径不能为所在Catalog父路径或相同路径,不能为同一Catalog下其他数据库(除default外)路径的父路径、子路径或相同路径。 创建数据库的存储位置
资产识别与管理 资产识别 资产信息:元数据信息、数据权限策略信息。 账号信息:不涉及,用户在LakeFormation不感知具体账号信息。 API映射表:请参见API参考。 LakeFormation云服务需要访问的租户资源包括:租户的用户组和用户信息的读取,对象存储文件目录的创
区域与可用区 通常用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region)指物理的数据中心。每个区域完全独立,这样可以实现一定程度的容错能力和稳定性。资源创建成功后不能更换区域。 可用区(AZ,Availability Zone)是同一区域内
身份认证与访问控制 身份认证 Console界面本租户IAM用户访问LakeFormation。 LakeFormation针对界面下发的HTTPS请求中IAM Token进行认证,识别出租户、IAM用户等身份。认证失败则拒绝请求。 Console界面其他租户IAM用户切换到本租
共享型与独享型LakeFormation对比 LakeFormation提供了不同实例类别,满足不同场景下用户对性能和成本的不同诉求。 独享型特性当前仅针对白名单用户开放。 计费对比 共享型与独享型实例的计费项及计费说明详细介绍请参考计费说明章节中表1。 性能对比 表1 性能对比
(%),取值范围为 0到100,100表示百分之百全量扫描,0表示每个文件夹下只扫描一个文件。 table_depth 否 Integer 表深度。假设有路径obs://a/b/c/d/e=1/f=99,用户设置了数据存储路径为obs://a/b,则分组层级2代表以d为分界,d为ta
(%),取值范围为 0到100,100表示百分之百全量扫描,0表示每个文件夹下只扫描一个文件。 table_depth 否 Integer 表深度。假设有路径obs://a/b/c/d/e=1/f=99,用户设置了数据存储路径为obs://a/b,则分组层级2代表以d为分界,d为ta
(%),取值范围为 0到100,100表示百分之百全量扫描,0表示每个文件夹下只扫描一个文件。 table_depth Integer 表深度。假设有路径obs://a/b/c/d/e=1/f=99,用户设置了数据存储路径为obs://a/b,则分组层级2代表以d为分界,d为ta
将域名指向IPv4地址”。 TTL(秒) 解析记录在本地DNS服务器的缓存时间,根据需要填写。 值 填写客户端接入IP,可以通过7获取。 如果添加记录集时出现“与已有解析记录冲突”,需要检查已有记录集中是否存在冲突的解析记录。 添加成功后,即可在记录集列表中找到解析记录。 父主题: 环境准备
元数据发现 操作场景 当数据存储在OBS并行文件系统中,而在LakeFormation还未与对应的元数据关联时,可以通过元数据发现,来构造这些数据对应的元数据信息,从而支撑SQL引擎或者用户的应用程序的计算与分析。 当前元数据发现特性属于公测阶段,公测期产品完全免费,商业化后会根据元数据发现消耗资源收取资源费用。
该LakeFormation入门教程介绍了如何创建一个LakeFormation实例并与MRS集群对接,实现统一的数据湖元数据及权限管理。 使用流程简介 MRS与LakeFormation对接的使用流程如下图所示: 图1 LakeFormation使用流程 约束说明 MRS对接LakeFormation前,需要注意以下约束限制:
委托查询 功能介绍 委托查询,查询委托是否创建及委托中的action与配置的是否完全一致。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/agency
如果与LakeFormation实例对接的服务需要使用角色授权,则在创建对接LakeFormation权限的委托时必须包含角色的相关权限。 例如,LakeFormation与MRS集群对接后,需要使用角色的查询权限,则在准备工作创建LakeFormation委托时需要勾选“lakeformation:role:describe”。
mation并将数据存储在OBS中进行统一管理。 在迁移hive元数据时,为避免迁移元数据时发生路径冲突,建议hive Catalog路径与default数据库路径保持一致。 前提条件 当前实例已创建存储迁移元数据的Catalog。 待操作用户具有OBS相关操作权限、具有已创建存
安全 资产识别与管理 身份认证与访问控制 数据保护技术 审计 更新管理
M项目,不支持企业项目,表示仅能在IAM中给用户组授权并生效,如果在企业管理中授权,则该自定义策略不生效。关于IAM项目与企业项目的区别,详情请参见:IAM与企业管理的区别。 父主题: 权限和授权项
MapReduce服务(MapReduce Service,MRS) LakeFormation与MRS集群中的Ranger、Hive、Spark对接,实现湖、仓元数据统一管理。 数据仓库服务 GaussDB(DWS) LakeFormation与DWS对接,实现湖、仓元数据统一管理。
基本概念 元数据 数据权限 区域与可用区
从而通过身份认证。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 SK(Secret Access Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。
2022年11月 序号 功能名称 功能描述 阶段 相关文档 1 LakeFormation公测上线 支持基于IAM用户组统一授权管理。 元数据统一,支持与MRS集群Hive和Spark对接。 商用 LakeFormation使用流程简介