检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询OBS桶对象列表 功能介绍 查询OBS桶对象列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/obs/buckets/{bucket_name}
OBS管理 查询OBS桶列表 查询OBS桶对象列表 父主题: Console
BucketDetail objects OBS桶列表。 total Integer OBS桶总数。 表6 BucketDetail 参数 参数类型 描述 id String OBS桶ID。 name String OBS桶名称。 creation_date String OBS桶创建时间。 location
向LakeFormation服务授权OBS路径 功能介绍 将OBS路径授权给LakeFormation服务,LakeFormation服务对于已授权的OBS路径具有读写权限 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成
查询已授权给LakeFormation服务的obs路径列表 功能介绍 查询已授权给LakeFormation服务的obs路径列表 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
从LakeFormation服务中批量取消授权OBS路径 功能介绍 从LakeFormation服务中批量取消授权OBS路径,已经有元数据使用的OBS路径无法取消授权 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK
ReadOnlyAccess:实例运行的过程中需要有获取用户的用户组和用户信息的权限。 OBS OperateAccess:实例的存储功能,需要获取访问对象存储等服务的权限。 OBS AccessLabel:实例的权限控制功能,需要有打标签的能力。 OBS Bucket Lifecycle:实例的生命周期管理功能,需要有操作生命周期的权限。
ion不感知具体账号信息。 API映射表:请参见API参考。 LakeFormation云服务需要访问的租户资源包括:租户的用户组和用户信息的读取,对象存储文件目录的创建/删除等,对象存储标签权限接口的访问。 推荐的安全配置 不涉及。 基础设施安全性 LakeFormation实
录存储在OBS并行文件系统中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统,可跳过该章节操作。 操作步骤 登录管理控制台。 在页面左上角单击,选择“存储 > 对象存储服务”,进入对象存储服务页面。 选择“并行文件系统
如果需要删除函数,可以选择“更多 > 删除”,确认操作影响后,单击“确定”。 删除元数据时如果同步删除文件,数据将移入对应OBS桶的回收站(“lake-formation-trash-dir/table_id”OBS路径)目录下。 父主题: 管理元数据
权限。 前提条件 已参考元数据迁移完成元数据迁移。 当前用户具有OBS相关操作权限,且已创建用于存储数据的OBS并行文件系统。 需将待迁移的权限策略文件导出,并上传至OBS并行文件系统中。权限导出操作可联系对应服务支持人员。 权限策略中授权主体(除角色外)需要提前创建,且名称需保
如果迁移的数据来源中,元数据的存储路径前缀不为“obs://”,则需要单击“添加location规则”配置规则将前缀替换为“obs://”,并且确保存在对应的OBS存储路径。 例如,当前元数据的存储路径为“file:/a/b”,则“路径”填写“file:/”,“替换成”填写“obs://”,并确保OBS并行文件系统
云审计服务记录LakeFormation服务相关的操作事件,方便用户日后的查询、审计和回溯。 对象存储服务(Object Storage Service,OBS) LakeFormation服务的元数据所映射的实际业务数据,存储在OBS并行文件系统的目录和文件。 MapReduce服务(MapReduce
LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例,选择“数据权限 > 数据授权”。 可以在右上方“OBS授权路径”、“授权主体”、“主体类型”、“主体来源”中搜索待查看权限的对应信息。 在列表中查看数据授权信息。 相关字段说明如下: 表1 数据授权参数
PermissionMigrationParameter 参数 参数类型 描述 migrate_existing_obs_acl Boolean 是否进行存量OBS路径权限迁移 location String 用于获取权限迁移的obs文件路径。 file_name String 权限json文件,文件名中不得包含
等)执行SQL实现元数据的定义、修改、查询,对用户有一定的技能要求,缺少提升易用性的可视化界面。 一个完整的授权活动,需要针对计算引擎、对象存储执行两次授权操作,对用户操作带来不便,易用性差。 LakeFormation服务优势 一站式可视化湖仓构建:提供数据湖元数据统一定义和授
已创建LakeFormation实例,且实例处于正常运行状态。 Catalog数据存储到OBS中,当前用户需具有OBS相关操作权限。 已参考创建元数据存储路径提前创建了用于存储Catalog数据的OBS并行文件系统。 管理Catalog 登录管理控制台。 在左上角单击“”,选择“大数据
表所映射的OBS并行文件系统的文件目录。 单击“”,选择表存储在OBS并行文件系统中的位置,单击“确定”。 可选参数,如果不配置,则数据表存储路径为“上层数据库存储路径/表名” 如果配置该参数,则所选位置只能以“obs://”开头,且必须包含一个存储对象,例如选择“obs://la
eter 参数 是否必选 参数类型 描述 migrate_existing_obs_acl 否 Boolean 是否进行存量OBS路径权限迁移 location 否 String 用于获取权限迁移的obs文件路径。 file_name 否 String 权限json文件,文件名中不得包含
数据库内包含两个数据表“table_A”、“table_B”,并进行授权。 创建存储元数据的OBS路径 登录管理控制台。 在页面左上角单击,选择“存储 > 对象存储服务”,进入对象存储服务页面。 选择“并行文件系统 > 创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。