检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS管理 查询OBS桶列表 查询OBS桶对象列表 父主题: Console
查询已授权给LakeFormation服务的obs路径列表 功能介绍 查询已授权给LakeFormation服务的obs路径列表 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
向LakeFormation服务授权OBS路径 功能介绍 将OBS路径授权给LakeFormation服务,LakeFormation服务对于已授权的OBS路径具有读写权限 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成
从LakeFormation服务中批量取消授权OBS路径 功能介绍 从LakeFormation服务中批量取消授权OBS路径,已经有元数据使用的OBS路径无法取消授权 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK
BucketDetail objects OBS桶列表。 total Integer OBS桶总数。 表6 BucketDetail 参数 参数类型 描述 id String OBS桶ID。 name String OBS桶名称。 creation_date String OBS桶创建时间。 location
查询OBS桶对象列表 功能介绍 查询OBS桶对象列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/obs/buckets/{bucket_name}
obs.OBS spark.hadoop.fs.obs.endpoint=obs.xxx.huawei.com # 指定访问OBS凭证获取类为LakeFormationObsCredentialProvider spark.hadoop.fs.obs.credentials.provider=com
配置管理 获取所有用户可见的租户面配置 父主题: LakeCat
<name>fs.obs.impl</name> <value>org.apache.hadoop.fs.obs.OBSFileSystem</value> </property> <property> <name>fs.AbstractFileSystem.obs.impl</name>
ReadOnlyAccess:实例运行的过程中需要有获取用户的用户组和用户信息的权限。 OBS OperateAccess:实例的存储功能,需要获取访问对象存储等服务的权限。 OBS AccessLabel:实例的权限控制功能,需要有打标签的能力。 OBS Bucket Lifecycle:实例的生命周期管理功能,需要有操作生命周期的权限。
环境准备 在配置开源Hive组件对接LakeFormation前,需要提前准备以下信息: 准备可用的开源Hive环境,目前支持Hive 2.3以及Hive 3.1两个版本,并安装Git环境。 准备LakeFormation实例,详细操作请参考创建LakeFormation实例。
环境准备 在配置开源Spark组件对接LakeFormation前,需要提前准备以下信息: 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备Lake
objects 配置项。 page_info PagedInfo object 分页信息。 表5 LakeCatConfiguration 参数 参数类型 描述 key String 配置项的key。 value String 配置项的值。 description String 配置项描述。
配置LakeFormation实例 LakeFormation实例创建完成后,可以在实例“总览”页面对LakeFormation实例进行变更实例规格、设置默认实例等操作。 变更实例规格:对当前实例的QPS规格进行变更。仅独享型实例支持该操作。 设置默认实例:设置当前实例为默认实例
录存储在OBS并行文件系统中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统,可跳过该章节操作。 操作步骤 登录管理控制台。 在页面左上角单击,选择“存储 > 对象存储服务”,进入对象存储服务页面。 选择“并行文件系统
r将会拥有元数据的操作权限。 前提条件 已参考元数据迁移完成元数据迁移。 当前用户具有OBS相关操作权限,且已创建用于存储数据的OBS并行文件系统。 需将待迁移的权限策略文件导出,并上传至OBS并行文件系统中。权限导出操作可联系对应服务支持人员。 权限策略中授权主体(除角色外)需
框中分别选择待创建函数的Catalog、数据库的名称。可以查看当前数据库中包含的函数。 单击“创建函数”,配置相关参数。 在“基本信息”区域配置以下信息。 表1 基本信息配置参数 参数 参数说明 函数名称 填写待创建的元数据函数名称。 只能包含字母、数字、下划线,长度为1~256个字符。
如果迁移的数据来源中,元数据的存储路径前缀不为“obs://”,则需要单击“添加location规则”配置规则将前缀替换为“obs://”,并且确保存在对应的OBS存储路径。 例如,当前元数据的存储路径为“file:/a/b”,则“路径”填写“file:/”,“替换成”填写“obs://”,并确保OBS并行文件系统
表所映射的OBS并行文件系统的文件目录。 单击“”,选择表存储在OBS并行文件系统中的位置,单击“确定”。 可选参数,如果不配置,则数据表存储路径为“上层数据库存储路径/表名” 如果配置该参数,则所选位置只能以“obs://”开头,且必须包含一个存储对象,例如选择“obs://la
CLICKHOUSE 选择位置 Catalog数据存储在OBS并行文件系统中的位置。可选参数。 单击“”,选择位置后,单击“确定”。 如果配置该参数,则所选位置只能以“obs://”开头,且必须包含一个存储对象,例如选择“obs://lakeformation-test/catal