检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
列举分区信息 功能介绍 遍历指定数据表下的分区列表,对于事务表,支持基于表的特定版本遍历分区列表。 当过滤条件不为空时,优先根据过滤条件筛选过滤, 当过滤条件为空且分区值不为空时,再根据分区值筛选过滤, 当过滤条件和分区值都为空时,返回指定数据表下所有分区。 调试 您可以在API
发布和对应的文档动态,欢迎体验。 2022年11月 序号 功能名称 功能描述 阶段 相关文档 1 LakeFormation公测上线 支持基于IAM用户组统一授权管理。 元数据统一,支持与MRS集群Hive和Spark对接。 商用 LakeFormation使用流程简介
LakeFormation服务架构图如图1所示。 图1 LakeFormation服务架构 LakeFormation功能包括元数据管理、数据权限管理、控制台、API。 元数据基于Hive元数据模型,支持Catalog、数据库、表、函数等元数据对象。 数据权限管理提供权限策略的配置和对应的权限访问控制。 授权主体支持
审计 云审计服务(Cloud Trace Service,简称CTS),是华为云安全解决方案中专业的日志审计服务。 CTS可以提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可用于对LakeFormation实例、元数据等权限的管理。
、EXTERNAL_TABLE-外表、VIRTUAL_VIEW-视图、MATERIALIZED_VIEW-物化视图、DICTIONARY_TABLE字典表。 枚举值: MANAGED_TABLE EXTERNAL_TABLE VIRTUAL_VIEW MATERIALIZED_VIEW
MRS集群和LakeFormation实例必须同在一个云账户下且属于同一个Region。 LakeFormation侧创建的接入客户端所在虚拟私有云,必须与MRS集群在同一虚拟私有云下。 MRS集群仅支持对接LakeFormation实例中名称为hive的Catalog。 MRS存量集群需要先完成元
Name,总长度不能超过1000字符。 元数据的参数描述中,1个中文字符对应3个字节。 LakeFormation依赖OBS服务的并行文件系统,OBS需要基于大数据存算分离场景进行分离部署;LakeFormation元数据的存储位置对应OBS路径,与存算分离架构的MRS等大数据集群对接。OBS并
atalogPlugin方式对接基于Spark SessionCatalogV2,支持对接多个Catalog,社区仍在持续开发当中,存在部分不支持的SQL语句。 使用MetastoreClient方式对接:MetastoreClient方式对接基于Spark HiveExternalCatalog机制与Hive
默认情况下,新建的IAM用户没有任何权限,您需要将其加入用户组,并给用户组授予策略或角色,才能使用户组中的用户获得相应的权限,这一过程称为授权。授权后,用户就可以基于已有权限对云服务进行操作。 权限根据授权的精细程度,分为角色和策略。角色以服务为粒度,是IAM最初提供的一种根据用户的工作职能定义权限的粗
<name>hive.metastore.session.client.class</name> <value>com.huawei.cloud.dalf.lakecat.client.hiveclient.LakeCatMetaStoreClient</value> </property>
LakeFormation产品概述 实例管理 在使用LakeFormation之前,首先需要创建一个实例,后续的操作,如管理元数据、设置元数据权限等,都是基于您创建的实例进行的。 LakeFormation提供实例的创建、配置、删除等基本功能,帮助您便捷地进行实例管理,加速实现数据湖承载的业务的规划和部署。
统一身份认证(Identity and Access Management,IAM) 通过IAM完成对IAM用户或委托的身份认证以及部分访问控制。 云审计服务(Cloud Trace Service,CTS) 云审计服务记录LakeFormation服务相关的操作事件,方便用户日后的查询、审计和回溯。 对象存储服务(Object
FormationClient实例、创建请求,添加参数、查询Catalogs列表的相关代码。) package com.huawei.cloud.dalf.lakecat.examples; import com.huaweicloud.sdk.core.auth.BasicCredentials;
如果需要修改列脱敏配置,单击“操作”列中的“更多”按钮,单击“编辑列脱敏参数”。仅配置了列脱敏时支持操作。 为指定资源添加授权 用户可基于数据湖资源视角,为指定的某个资源(数据库、表)添加授权。 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeForm
分区,则与该表或分区关联的数据和元数据将删除。 EXTERNAL_TABLE:外部表。当文件已经存在或位于远程位置时,使用外部表。 VIRTUAL_VIEW:虚拟视图。不存储实际的数据,不占用物理空间。 MATERIALIZED_VIEW:物化视图。存储实际的数据,占用物理空间。
准备LakeFormation实例,详细操作请参考创建LakeFormation实例。 创建LakeFormation接入客户端,并与Hive在相同的虚拟私有云、子网下,详细操作请参考管理接入客户端。 准备开发环境,详细操作请参考准备开发程序环境中“准备开发环境”部分,其中“安装和配置IntelliJ
准备LakeFormation实例,详细操作请参考创建LakeFormation实例。 创建LakeFormation接入客户端,并与Spark在相同的虚拟私有云、子网下,详细操作请参考管理接入客户端。 准备开发环境,详细操作请参考准备开发程序环境中“准备开发环境”部分,其中“安装和配置IntelliJ