检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
其中位置是Catalog所映射的OBS并行文件系统的文件目录。
请求示例 GET https://{endpoint}/v1/{project_id}/instances/{instance_id}/lf-jobs/{job_id}/history 响应示例 状态码: 200 查询任务列表成功 { "total" : 1, "jobs"
请求示例 GET https://{endpoint}/v1/{project_id}/instances/{instance_id}/lf-jobs 响应示例 状态码: 200 查询任务列表成功 { "total" : 1, "jobs" : [ { "id" :
已在OBS服务中创建一个并行文件系统,并在文件系统中创建用于映射数据表的文件夹。 已创建对接LakeFormation所需的相关委托。例如,如果执行MRS对接LakeFormation,则参考MRS准备工作创建相关委托等。 创建LakeFormation实例 登录管理控制台。
bucket:ListAllMyBuckets", "obs:bucket:ListBucket", "obs:bucket:HeadBucket", "obs:object:GetObject" ], "Effect": "Allow"
服务协议查看/授权/取消,以及OBS、TMS等周边依赖服务的基础权限集合。
事件通知主题:选择需要通知的主题,可以在管理控制台选择“消息通知服务 SMN”进行配置。 事件:需要通知的主题状态,可选择“任务成功”、“任务失败”。 创建完成后,单击“操作”列的“运行”即可运行当前迁移任务。 单击“停止”即可停止正在运行的任务。
</name> <value>org.apache.hadoop.fs.obs.OBSFileSystem</value> </property> <property> <name>fs.AbstractFileSystem.obs.impl</name> <value>org.apache.hadoop.fs.obs.OBS
删除元数据时如果同步删除文件,数据将移入对应OBS桶的回收站(“lake-formation-trash-dir/table_id”OBS路径)目录下。 父主题: 管理元数据
数据存储位置 表所映射的OBS并行文件系统的文件目录。 单击“”,选择表存储在OBS并行文件系统中的位置,单击“确定”。
选择位置 数据库信息存储在OBS并行文件系统中的位置。 单击“”,选择位置后,单击“确定”。 所选位置只能以“obs://”开头,且必须包含一个存储对象,例如选择“obs://lakeformation-test/catalog1/database1”。
spark.hadoop.fs.AbstractFileSystem.obs.impl=org.apache.hadoop.fs.obs.OBS spark.hadoop.fs.obs.endpoint=obs.xxx.huawei.com # 指定访问OBS凭证获取类为LakeFormationObsCredentialProvider
对象存储服务(Object Storage Service,OBS) LakeFormation服务的元数据所映射的实际业务数据,存储在OBS并行文件系统的目录和文件。
LakeFormation针对界面下发的HTTPS请求中IAM Token进行认证,识别出委托方租户(本租户)、委托、被委托方租户(ECS云服务账号)、被委托方IAM用户(ECS云服务内置用户)等身份。认证失败则拒绝请求。
Location 向LakeFormation服务授权OBS路径 查询已授权给LakeFormation服务的obs路径列表 从LakeFormation服务中批量取消授权OBS路径 父主题: Console
服务授权管理 协议授权管理接口,包括系统协议查询、已授权协议查询、协议授权等接口。 用户开通使用LakeFormation服务前,需要提前了解并接受相关的协议与授权。 OBS管理 OBS桶管理接口,包括OBS桶、对象等查询接口。
LakeFormation依赖OBS服务的并行文件系统,OBS需要基于大数据存算分离场景进行分离部署;LakeFormation元数据的存储位置对应OBS路径,与存算分离架构的MRS等大数据集群对接。OBS并行文件系统需要支持AccessLabel特性。
Console 实例管理 任务管理 服务授权管理 OBS管理 接入管理 规格管理 配额管理服务 标签管理服务 委托管理 元数据事件管理 Location 父主题: API
RangerAdmin WebUI界面的OBS模块,禁止执行添加、删除权限非默认策略的操作,统一在LakeFormation实例的数据权限界面进行OBS路径授权操作。 MRS集群取消对接LakeFormation后,RangerAdmin的非默认策略不会清理,需要人工进行清理。
创建存储元数据的OBS路径 登录管理控制台。 在页面左上角单击,选择“存储 > 对象存储服务”,进入对象存储服务页面。 选择“并行文件系统 > 创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。