-
什么是区域和可用区 - 湖仓构建 LakeFormation
通常用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region)指物理的数据中心。每个区域完全独立,这样可以实现最大程度的容错能力和稳定性。资源创建成功后不能更换区域。 可用区(AZ,Availability Zone)是同一区域内,电力和网络互相隔离的物理区域
-
区域与可用区 - 湖仓构建 LakeFormation
区域与可用区 通常用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region)指物理的数据中心。每个区域完全独立,这样可以实现一定程度的容错能力和稳定性。资源创建成功后不能更换区域。 可用区(AZ,Availability Zone)是同一区域内
-
基本概念 - 湖仓构建 LakeFormation
Region指面向公共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 可用区(AZ,Availability Zone) 一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存
-
权限及授权项说明 - 湖仓构建 LakeFormation
对应API接口:自定义策略实际调用的API接口。 授权项:自定义策略中支持的Action,在自定义策略中的Action中写入授权项,可以实现授权项对应的权限功能。 依赖的授权项:部分Action存在对其他Action的依赖,需要将依赖的Action同时写入授权项,才能实现对应的权限功能。 IAM
-
分页获取表的描述信息 - 湖仓构建 LakeFormation
分页获取表的描述信息 功能介绍 通过数据库通配符和表通配符,找到符合条件的表并返回表的描述信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{p
-
更新表的列统计信息 - 湖仓构建 LakeFormation
否 String 估算唯一值使用的位图。 表13 DateColumnStatisticsData 参数 是否必选 参数类型 描述 minimum_value 否 String 列中的最小时间戳。 maximum_value 否 String 列中的最大时间戳。 number_of_null
-
获取表的列统计信息 - 湖仓构建 LakeFormation
bit_vector String 估算唯一值使用的位图。 表12 DateColumnStatisticsData 参数 参数类型 描述 minimum_value String 列中的最小时间戳。 maximum_value String 列中的最大时间戳。 number_of_null
-
删除表的指定列统计信息 - 湖仓构建 LakeFormation
删除表的指定列统计信息 功能介绍 删除表的指定列统计信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v1/{project_id}/insta
-
元数据发现 - 湖仓构建 LakeFormation
元数据发现 操作场景 当数据存储在OBS并行文件系统中,而在LakeFormation还未与对应的元数据关联时,可以通过元数据发现,来构造这些数据对应的元数据信息,从而支撑SQL引擎或者用户的应用程序的计算与分析。 当前元数据发现特性属于公测阶段,公测期产品完全免费,商业化后会根据元数据发现消耗资源收取资源费用。
-
LakeFormation使用流程简介 - 湖仓构建 LakeFormation
该LakeFormation入门教程介绍了如何创建一个LakeFormation实例并与MRS集群对接,实现统一的数据湖元数据及权限管理。 使用流程简介 MRS与LakeFormation对接的使用流程如下图所示: 图1 LakeFormation使用流程 约束说明 MRS对接LakeFormation前,需要注意以下约束限制:
-
什么是LakeFormation - 湖仓构建 LakeFormation
LakeFormation是企业级数据湖一站式构建服务,在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接MapReduce服务(MRS)、数据仓库服务 GaussDB(DWS)、数据湖探索(DLI)、AI开发平台ModelArts、数据治理中心
-
角色授权 - 湖仓构建 LakeFormation
某个角色拥有资源(比如数据库)的某些权限,则拥有这个角色的用户或者用户组也拥有了对应的资源操作权限。 如果与LakeFormation实例对接的服务需要使用角色授权,则在创建对接LakeFormation权限的委托时必须包含角色的相关权限。 例如,LakeFormation与MRS集群对接
-
修改DNS信息 - 湖仓构建 LakeFormation
com”,查找“已关联的VPC”列为创建的客户端对应的虚拟私有云的域名所在的行,单击对应“操作”列的“管理解析”。 单击“添加记录集”,填写以下参数后,单击“确定”。 表1 添加记录集 参数 说明 类型 选择“A – 将域名指向IPv4地址”。 TTL(秒) 解析记录在本地DNS服务器的缓存时间,根据需要填写。
-
共享型与独享型LakeFormation对比 - 湖仓构建 LakeFormation
LakeFormation提供数据湖元数据函数的创建、修改、删除、查看等功能。 √ √ 元数据生命周期管理 LakeFormation支持配置数据的删除策略,节省空间及成本,提升系统的灵活性。 √ √ 元数据权限管理 提供针对元数据的授权、取消、查看等功能。 √ √ 元数据迁移管理 支持将外部服务的元数据
-
LakeFormation适用哪些场景 - 湖仓构建 LakeFormation
LakeFormation适用于以下场景: 数据湖建设和持续运营:数据湖建设和持续运营,是指数据湖的初始化建设及后续日常的海量元数据及权限管理,因此客户需要便捷高效的建设和管理方式。 多计算引擎共享元数据:多计算引擎共享元数据,是客户的多种计算引擎(Hive、Spark等)均使用统一的元数据,最大化实现数据的共享,避
-
删除数据库 - 湖仓构建 LakeFormation
删除数据库 功能介绍 删除指定数据库,catalog的默认数据库不允许删除。 cascade: 指定为true时,删除数据库下的表;指定为false时,只能删除空的数据库。 delete_data: 指定为true时,级联删除会将表的数据放入回收站;指定为false时,不删除表数据。
-
权限迁移 - 湖仓构建 LakeFormation
在完成元数据迁移后,可以将对应元数据的权限迁移至LakeFormation,迁移成功后为元数据绑定的默认Owner将会拥有元数据的操作权限。 前提条件 已参考元数据迁移完成元数据迁移。 当前用户具有OBS相关操作权限,且已创建用于存储数据的OBS并行文件系统。 需将待迁移的权限策略
-
多服务/多集群共享元数据 - 湖仓构建 LakeFormation
多服务/多集群共享元数据 场景描述 多服务/多集群均使用统一的元数据,最大化实现数据的共享,避免不必要的重复数据,更大程度释放业务数据价值。 本服务的优势 兼容Hive元数据模型:提供兼容Hive元数据模型的SDK客户端,使计算引擎对接LakeFormation更轻松和高效。 兼
-
管理数据库 - 湖仓构建 LakeFormation
“数据表存储位置”为可选参数。 “数据表存储位置”可选择为所属Catalog路径及其子路径、或“数据库存储位置”路径及其子路径。 如果配置了该参数,则该数据库下的数据表位置必须是该数据库“数据表存储位置”的子路径、或数据库“选择位置”的子路径。 (可选)单击“函数存储位置”区域中
-
规划数据湖 - 湖仓构建 LakeFormation
规划数据湖 MRS对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog,名称为“default”的数据库。 LakeFormation实例创建成功后,用户可按照业务规划创建相关Catalog及内部的数据库、表等元数据。