检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
删除Catalog对象 功能介绍 删除空的catalog对象。 删除前需要保证catalog下只有默认的数据库,且默认数据库下没有表对象,否则删除失败。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
查询OBS桶对象列表 功能介绍 查询OBS桶对象列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/obs/buckets/{bucket_name}
录存储在OBS并行文件系统中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统,可跳过该章节操作。 操作步骤 登录管理控制台。 在页面左上角单击,选择“存储 > 对象存储服务”,进入对象存储服务页面。 选择“并行文件系统
OBS管理 查询OBS桶列表 查询OBS桶对象列表 父主题: Console
ion不感知具体账号信息。 API映射表:请参见API参考。 LakeFormation云服务需要访问的租户资源包括:租户的用户组和用户信息的读取,对象存储文件目录的创建/删除等,对象存储标签权限接口的访问。 推荐的安全配置 不涉及。 基础设施安全性 LakeFormation实
如果迁移的数据来源中,元数据的存储路径前缀不为“obs://”,则需要单击“添加location规则”配置规则将前缀替换为“obs://”,并且确保存在对应的OBS存储路径。 例如,当前元数据的存储路径为“file:/a/b”,则“路径”填写“file:/”,“替换成”填写“obs://”,并确保OBS并行文件系统
元数据的参数描述中,1个中文字符对应3个字节。 LakeFormation依赖OBS服务的并行文件系统,OBS需要基于大数据存算分离场景进行分离部署;LakeFormation元数据的存储位置对应OBS路径,与存算分离架构的MRS等大数据集群对接。OBS并行文件系统需要支持AccessLabel特性。 L
数据湖权限支持配置数据库、数据表、函数等维度的权限。 云服务管理员可针对不同的管理对象配置不同用户组的权限,统一对数据湖资源进行管理。 用户可通过LakeFormation管理控制台对数据湖内的资源进行统一权限管理,对于IAM用户/用户组,也可以通过关联LakeFormation服务的细粒度权限策略进行特性权
PermissionMigrationParameter 参数 参数类型 描述 migrate_existing_obs_acl Boolean 是否进行存量OBS路径权限迁移 location String 用于获取权限迁移的obs文件路径。 file_name String 权限json文件,文件名中不得包含
eter 参数 是否必选 参数类型 描述 migrate_existing_obs_acl 否 Boolean 是否进行存量OBS路径权限迁移 location 否 String 用于获取权限迁移的obs文件路径。 file_name 否 String 权限json文件,文件名中不得包含
CLICKHOUSE 选择位置 Catalog数据存储在OBS并行文件系统中的位置。可选参数。 单击“”,选择位置后,单击“确定”。 如果配置该参数,则所选位置只能以“obs://”开头,且必须包含一个存储对象,例如选择“obs://lakeformation-test/catal
度访问控制,为业务数据的安全性提供有力保障。 建议搭配服务 MapReduce服务(MRS) 数据仓库服务 GaussDB(DWS) 数据治理中心 DataArts Studio 数据湖探索(DLI) 支持情况请咨询对应服务。 父主题: 应用场景
eter 参数 是否必选 参数类型 描述 migrate_existing_obs_acl 否 Boolean 是否进行存量OBS路径权限迁移 location 否 String 用于获取权限迁移的obs文件路径。 file_name 否 String 权限json文件,文件名中不得包含
用户(USER):华为云IAM用户 用户组(GROUP):华为云IAM用户组 角色(ROLE):LakeFormation角色 授权对象 LakeFormation中管理的元数据对象,包含Catalog、Database、Table等数据资源,如某一数据库、某些数据表的列等。允许授权的资源类型包括
配置云服务授权 首次使用LakeFormation服务需要进行服务授权,授权相关云资源的权限。 云服务授权操作 使用注册华为云账号创建的用户登录管理控制台。 在服务列表中选择“大数据 > 湖仓构建 LakeFormation”,进入“服务授权”页面。 IAM ReadOnlyAc
ase、Table等数据资源,授予用户组等主体细粒度的数据访问权限。 经过以上授权操作,形成一条或多条权限策略,权限策略包含授权主体、授权对象、权限、授权权限等。 表1介绍了不同元数据类型的LakeFormation权限: 表1 不同授权类型的操作权限 授权类型 操作类型 权限说明
权限。 前提条件 已参考元数据迁移完成元数据迁移。 当前用户具有OBS相关操作权限,且已创建用于存储数据的OBS并行文件系统。 需将待迁移的权限策略文件导出,并上传至OBS并行文件系统中。权限导出操作可联系对应服务支持人员。 权限策略中授权主体(除角色外)需要提前创建,且名称需保
数据库内包含两个数据表“table_A”、“table_B”,并进行授权。 创建存储元数据的OBS路径 登录管理控制台。 在页面左上角单击,选择“存储 > 对象存储服务”,进入对象存储服务页面。 选择“并行文件系统 > 创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。
n内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 可用区(AZ,Availability
与其他服务的关系 LakeFormation服务与其他服务的关系如下表所示。 表1 LakeFormation服务与其他服务的关系 服务名称 LakeFormation服务与其他服务的关系 统一身份认证(Identity and Access Management,IAM) 通过