检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建LakeFormation实例 在使用LakeFormation时,您首先需要创建一个实例,后续的操作,如管理元数据、设置元数据权限等,都是基于您创建的实例进行的。 操作步骤 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。
AccessConnectionInfo 参数 参数类型 描述 vpcep_id String 虚拟私有云终端节点ID。在接入管理-创建客户端-前往VPC创建-VPC终端节点 创建和查看。 subnet_id String 子网ID。 ip String 接入IP。 owner String
设为默认实例 功能介绍 设为默认实例,只有非默认实例可以设置为默认实例。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/
AccessRequestInfo 参数 是否必选 参数类型 描述 vpcep_id 是 String 虚拟私有云终端节点ID。在 接入管理-创建客户端-前往VPC创建-VPC终端节点 创建和查看。 domain 是 String 分组独立域名。 响应参数 状态码: 200 表5 响应Header参数
AccessConnectionInfo 参数 参数类型 描述 vpcep_id String 虚拟私有云终端节点ID。在接入管理-创建客户端-前往VPC创建-VPC终端节点 创建和查看。 subnet_id String 子网ID。 ip String 接入IP。 owner String
Lifecycle:实例的生命周期管理功能,需要有操作生命周期的权限。 VPCEndpoint Administrator:实例的接入管理功能,需要有操作VPC终端节点的权限。 DNS FullAccess:实例的接入管理功能,需要有操作DNS内网域名的权限。 勾选“同意LakeFormation服务声明”,并单击“同意授权”,完成服务授权。
自定义接入客户端的名称。 虚拟私有云 选择为MRS服务所在的虚拟私有云。 所属子网 选择为MRS服务所在的子网。 单击“操作”列“查看详情”,可以查看终端节点ID、接入IP、接入域名等信息。
为表授予“SELECT”权限时,需要同时选择列,例如设置“列”为“*”。 行过滤条件 为权限策略设置行过滤条件。资源类型为“表”、“列”时显示该参数。 设置格式为:列名 操作符 列值 支持使用=、<=、<、>、>=、like等格式。 例如行过滤条件设置为:department = "fina
码,如图1所示。 图1 获取SDK代码示例 当您在中间的填充栏填入对应内容时, 右侧代码示例栏会自动拼装参数到代码中供您进行使用。 图2 设置输入参数 SDK列表 表1提供了LakeFormation服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。
批量删除分区信息 Partition dropPartitions 批量清空列表信息 Partition truncatePartitions 批量设置分区的统计信息 PartitionColumnStatistic setPartitionColumnStatistics 删除分区列的统计信息
OTHER type 否 String catalog类型,可选值为DEFAULT(代表默认的元数据类型)、CLICKHOUSE(代表CH类型),不设置时默认为DEFAULT。 创建时指定,不可修改。 枚举值: DEFAULT CLICKHOUSE 响应参数 状态码: 201 表4 响应Body参数
OTHER type 否 String catalog类型,可选值为DEFAULT(代表默认的元数据类型)、CLICKHOUSE(代表CH类型),不设置时默认为DEFAULT。 创建时指定,不可修改。 枚举值: DEFAULT CLICKHOUSE version_id 否 String
分区统计信息 批量获取分区的列统计信息 批量设置分区的统计信息 删除分区列的统计信息 父主题: LakeCat
directory”为本地安装的Maven版本。 然后根据实际情况设置好“User settings file”和“Local repository”参数,依次单击“Apply > OK”。 图7 选择本地Maven安装目录 设置IntelliJ IDEA的文本文件编码格式,解决乱码显示问题。
用户开通使用LakeFormation服务前,需要提前了解并接受相关的协议与授权。 OBS管理 OBS桶管理接口,包括OBS桶、对象等查询接口。 通过这些接口,您可以获取用于设置元数据的存储路径OBS相关信息。 接入管理 服务接入管理接口,包括获取接入信息,申请接入等接口。 开通服务并创建实例以后,LakeForm
fs.obs.impl.disable.cache=true Endpoint:不同服务不同区域的Endpoint不同。您可以从地区和终端节点中获取。 将上述配置添加到core-site.xml文件中亦可生效,添加时需要去除“spark.hadoop”前缀。 对接LakeFormation元数据
URL中填写的数据库是否准确。 JDBC URL中填写的IP是否准确。 如果数据源类型为MRS本地元数据,DBServer可能发生主备倒换,需要重新绑定弹性IP到主节点。 数据库连接端口安全组是否放开。 如果选择EIP连接方式,任务运行前,数据源的安全组规则需要把0.0.0.0/0全部放开。 如果选择VP
已发布区域:以控制台实际上线区域为准。 LakeFormation产品概述 实例管理 在使用LakeFormation之前,首先需要创建一个实例,后续的操作,如管理元数据、设置元数据权限等,都是基于您创建的实例进行的。 LakeFormation提供实例的创建、配置、删除等基本功能,帮助您便捷地进行实例管理,加速实现数据湖承载的业务的规划和部署。
PI Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/specs 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 表2 Query参数
OTHER type String catalog类型,可选值为DEFAULT(代表默认的元数据类型)、CLICKHOUSE(代表CH类型),不设置时默认为DEFAULT。 创建时指定,不可修改。 枚举值: DEFAULT CLICKHOUSE update_time String catalog元数据最后一次修改时间。