检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建LakeFormation实例 在使用LakeFormation时,您首先需要创建一个实例,后续的操作,如管理元数据、设置元数据权限等,都是基于您创建的实例进行的。 操作步骤 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。
对象存储服务”,进入对象存储服务页面。 选择“并行文件系统 > 创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。 文件系统名称:根据界面要求设置并行文件系统名称,例如“lakeformation-test”。 其他参数根据实际情况选择。 在并行文件系统页面,单击已创建的文件系统名称
参数说明 样例 类型 选择实例类型。 共享 独享 独享 区域 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 xxx 计费模式 实例的计费模式。 按需收费 按需收费 项目 选择实例所属的项目。 xxx 名称 自定义LakeFormation实例名称。
据及权限进行统一管理。 接入管理 LakeFormation提供统一的接入管理能力,用户可以通过创建接入客户端的方式为指定的客户端环境建立网络连接通道,同时可以在客户端详情中查看接入IP、接入域名等信息,用于其他云服务接入LakeFormation实例。 访问方式 当前提供了We
为表授予“SELECT”权限时,需要同时选择列,例如设置“列”为“*”。 行过滤条件 为权限策略设置行过滤条件。资源类型为“表”、“列”时显示该参数。 设置格式为:列名 操作符 列值 支持使用=、<=、<、>、>=、like等格式。 例如行过滤条件设置为:department = "fina
分区统计信息 批量获取分区的列统计信息 批量设置分区的统计信息 删除分区列的统计信息 父主题: LakeCat
directory”为本地安装的Maven版本。 然后根据实际情况设置好“User settings file”和“Local repository”参数,依次单击“Apply > OK”。 图7 选择本地Maven安装目录 设置IntelliJ IDEA的文本文件编码格式,解决乱码显示问题。
ignore_obs_checked 否 Boolean 忽略内表建表时对Obs路径的限制。 network_type 否 String 迁移网络类型,包括EIP,VPC_PEERING。 枚举值: EIP VPC_PEERING accepted_vpc_id 否 String 对端rds所在的vpcid。
ignore_obs_checked 否 Boolean 忽略内表建表时对Obs路径的限制。 network_type 否 String 迁移网络类型,包括EIP,VPC_PEERING。 枚举值: EIP VPC_PEERING accepted_vpc_id 否 String 对端rds所在的vpcid。
实例ID。 ignore_obs_checked Boolean 忽略内表建表时对Obs路径的限制。 network_type String 迁移网络类型,包括EIP,VPC_PEERING。 枚举值: EIP VPC_PEERING accepted_vpc_id String 对端rds所在的vpcid。
码,如图1所示。 图1 获取SDK代码示例 当您在中间的填充栏填入对应内容时, 右侧代码示例栏会自动拼装参数到代码中供您进行使用。 图2 设置输入参数 SDK列表 表1提供了LakeFormation服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。
PI Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/specs 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 表2 Query参数
批量删除分区信息 Partition dropPartitions 批量清空列表信息 Partition truncatePartitions 批量设置分区的统计信息 PartitionColumnStatistic setPartitionColumnStatistics 删除分区列的统计信息
OTHER type 否 String catalog类型,可选值为DEFAULT(代表默认的元数据类型)、CLICKHOUSE(代表CH类型),不设置时默认为DEFAULT。 创建时指定,不可修改。 枚举值: DEFAULT CLICKHOUSE version_id 否 String
OTHER type 否 String catalog类型,可选值为DEFAULT(代表默认的元数据类型)、CLICKHOUSE(代表CH类型),不设置时默认为DEFAULT。 创建时指定,不可修改。 枚举值: DEFAULT CLICKHOUSE 响应参数 状态码: 201 表4 响应Body参数
LakeFormation针对界面下发的HTTPS请求中IAM Token进行认证,识别出委托方租户(本租户)、委托、被委托方租户(ECS云服务账号)、被委托方IAM用户(ECS云服务内置用户)等身份。认证失败则拒绝请求。 资产的访问控制 元数据信息的访问控制 LakeFormation实例针对
用户开通使用LakeFormation服务前,需要提前了解并接受相关的协议与授权。 OBS管理 OBS桶管理接口,包括OBS桶、对象等查询接口。 通过这些接口,您可以获取用于设置元数据的存储路径OBS相关信息。 接入管理 服务接入管理接口,包括获取接入信息,申请接入等接口。 开通服务并创建实例以后,LakeForm
已发布区域:以控制台实际上线区域为准。 LakeFormation产品概述 实例管理 在使用LakeFormation之前,首先需要创建一个实例,后续的操作,如管理元数据、设置元数据权限等,都是基于您创建的实例进行的。 LakeFormation提供实例的创建、配置、删除等基本功能,帮助您便捷地进行实例管理,加速实现数据湖承载的业务的规划和部署。
OTHER type String catalog类型,可选值为DEFAULT(代表默认的元数据类型)、CLICKHOUSE(代表CH类型),不设置时默认为DEFAULT。 创建时指定,不可修改。 枚举值: DEFAULT CLICKHOUSE update_time String catalog元数据最后一次修改时间。
OTHER type String catalog类型,可选值为DEFAULT(代表默认的元数据类型)、CLICKHOUSE(代表CH类型),不设置时默认为DEFAULT。 创建时指定,不可修改。 枚举值: DEFAULT CLICKHOUSE update_time String catalog元数据最后一次修改时间。