检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS管理 查询OBS桶列表 查询OBS桶对象列表 父主题: Console
分页一页显示数。默认值为1000。最小值为1,最大值为1000。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 否 String 租户token。 响应参数 状态码: 200 表4 响应Header参数 参数 参数类型 描述 X-request-id String
请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 否 String 租户token。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 object_names Array of strings object名称列表。 location
on 请求参数 表1 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 否 String 租户token。 表2 请求Body参数 参数 是否必选 参数类型 描述 locations 是 Array of strings 需要授权的OBS路径列表 响应参数
n 请求参数 表1 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 否 String 租户token。 表2 请求Body参数 参数 是否必选 参数类型 描述 locations 是 Array of strings 需要取消授权的OBS路径列表 响应参数
待创建函数的Catalog、数据库的名称。可以查看当前数据库中包含的函数。 单击“创建函数”,配置相关参数。 在“基本信息”区域配置以下信息。 表1 基本信息配置参数 参数 参数说明 函数名称 填写待创建的元数据函数名称。 只能包含字母、数字、下划线,长度为1~256个字符。 所属Catalog
表所映射的OBS并行文件系统的文件目录。 单击“”,选择表存储在OBS并行文件系统中的位置,单击“确定”。 可选参数,如果不配置,则数据表存储路径为“上层数据库存储路径/表名” 如果配置该参数,则所选位置只能以“obs://”开头,且必须包含一个存储对象,例如选择“obs://la
创建元数据存储路径 LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统,可跳过该章节操作。 操作步骤 登录管理控制台。 在页面左上角单击,选择“存储
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 否 String 租户token。 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 locations Array of strings OBS路径列表 total
单击“创建数据库”,配置相关参数。 在“基本信息”区域配置以下信息。 表1 创建数据库 参数 参数说明 库名称 填写待创建数据库名称。 只能包含中文、字母、数字、下划线,长度为1~128个字符。 所属Catalog 待创建数据库所属Catalog。 选择位置 数据库信息存储在OBS并行文件系统中的位置。
r将会拥有元数据的操作权限。 前提条件 已参考元数据迁移完成元数据迁移。 当前用户具有OBS相关操作权限,且已创建用于存储数据的OBS并行文件系统。 需将待迁移的权限策略文件导出,并上传至OBS并行文件系统中。权限导出操作可联系对应服务支持人员。 权限策略中授权主体(除角色外)需
<name>fs.obs.impl</name> <value>org.apache.hadoop.fs.obs.OBSFileSystem</value> </property> <property> <name>fs.AbstractFileSystem.obs.impl</name>
线、中划线,且长度为1~128个字符。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 Array of strings 租户token。 表3 请求Body参数 参数 是否必选 参数类型 描述 function_name 是 String
AbstractFileSystem.obs.impl=org.apache.hadoop.fs.obs.OBS spark.hadoop.fs.obs.endpoint=obs.xxx.huawei.com # 指定访问OBS凭证获取类为LakeFormationObsCredentialProvider
CLICKHOUSE 选择位置 Catalog数据存储在OBS并行文件系统中的位置。可选参数。 单击“”,选择位置后,单击“确定”。 如果配置该参数,则所选位置只能以“obs://”开头,且必须包含一个存储对象,例如选择“obs://lakeformation-test/catal
如果迁移的数据来源中,元数据的存储路径前缀不为“obs://”,则需要单击“添加location规则”配置规则将前缀替换为“obs://”,并且确保存在对应的OBS存储路径。 例如,当前元数据的存储路径为“file:/a/b”,则“路径”填写“file:/”,“替换成”填写“obs://”,并确保OBS并行文件系统
> 元数据发现”。 单击“创建发现任务”,配置相关参数后,单击“提交”。 表1 创建发现任务 参数 参数说明 任务名称 填写待创建元数据发现任务名称。 描述 所创建元数据发现任务的描述信息。 数据存储位置 发现的数据表存储在OBS并行文件系统中的位置。 单击“”,选择位置后,单击“确定”。
ion实例,选择“数据权限 > 数据授权”。 可以在右上方“OBS授权路径”、“授权主体”、“主体类型”、“主体来源”中搜索待查看权限的对应信息。 在列表中查看数据授权信息。 相关字段说明如下: 表1 数据授权参数 参数 说明 权限策略类型 包含以下类型: DEFAULT:默认权限策略。
ReadOnlyAccess:实例运行的过程中需要有获取用户的用户组和用户信息的权限。 OBS OperateAccess:实例的存储功能,需要获取访问对象存储等服务的权限。 OBS AccessLabel:实例的权限控制功能,需要有打标签的能力。 OBS Bucket Lifecycle:实例的生命周期管理功能,需要有操作生命周期的权限。
job_id 是 String 任务ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 否 String 租户token。 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 log String 日志内容。 状态码: