检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API映射表:请参见API参考。 LakeFormation云服务需要访问的租户资源包括:租户的用户组和用户信息的读取,对象存储文件目录的创建/删除等,对象存储标签权限接口的访问。 推荐的安全配置 不涉及。 基础设施安全性 LakeFormation实例运行在跨AZ部署集群,单A
向LakeFormation服务授权OBS路径 功能介绍 将OBS路径授权给LakeFormation服务,LakeFormation服务对于已授权的OBS路径具有读写权限 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成
ReadOnlyAccess:实例运行的过程中需要有获取用户的用户组和用户信息的权限。 OBS OperateAccess:实例的存储功能,需要获取访问对象存储等服务的权限。 OBS AccessLabel:实例的权限控制功能,需要有打标签的能力。 OBS Bucket Lifecycle:实例的生命周期管理功能,需要有操作生命周期的权限。
录存储在OBS并行文件系统中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统,可跳过该章节操作。 操作步骤 登录管理控制台。 在页面左上角单击,选择“存储 > 对象存储服务”,进入对象存储服务页面。 选择“并行文件系统
度访问控制,为业务数据的安全性提供有力保障。 建议搭配服务 MapReduce服务(MRS) 数据仓库服务 GaussDB(DWS) 数据治理中心 DataArts Studio 数据湖探索(DLI) 支持情况请咨询对应服务。 父主题: 应用场景
Functions)。 用户自定义函数分为以下几类: 普通的UDF,用于操作单个数据行,且产生一个数据行作为输出。 用户定义聚集函数UDAF(User-Defined Aggregating Functions),用于接受多个输入数据行,并产生一个输出数据行。 用户定义表生成函数UDTF(User-Defined
个Catalog,用于不同外部集群的元数据隔离。 前提条件 已创建LakeFormation实例,且实例处于正常运行状态。 Catalog数据存储到OBS中,当前用户需具有OBS相关操作权限。 已参考创建元数据存储路径提前创建了用于存储Catalog数据的OBS并行文件系统。 管理Catalog
与其他服务的关系 LakeFormation服务与其他服务的关系如下表所示。 表1 LakeFormation服务与其他服务的关系 服务名称 LakeFormation服务与其他服务的关系 统一身份认证(Identity and Access Management,IAM) 通过
审计 云审计服务(Cloud Trace Service,简称CTS),是华为云安全解决方案中专业的日志审计服务。 CTS可以提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可用于对LakeFormation实例、元数据等权限的管理。
数据库内包含两个数据表“table_A”、“table_B”,并进行授权。 创建存储元数据的OBS路径 登录管理控制台。 在页面左上角单击,选择“存储 > 对象存储服务”,进入对象存储服务页面。 选择“并行文件系统 > 创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。
mation实例下可以创建多个Catalog,包含名称、描述、位置等信息,支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。 数据库(Database) LakeFormation实例的数据目录(Catalog)的下级资源,即在一个Cat
Hudi表创建前,需要先在LakeFormation上添加Hudi表目录的路径授权,赋予OBS读写权限。 Hudi表不支持在LakeFormation管理面编辑表的字段,只能通过Hudi客户端增删改表的字段。 Flink读写Hudi场景下同步Hive表,仅支持使用hive_sync.mode=jdbc,不支持hms方式。
授权主体支持IAM用户和用户组以及LakeFormation角色。 授权对象支持Catalog、数据库、表及列、函数等元数据对象,也支持OBS并行文件系统路径。 授权操作包含元数据对象的相关操作,以及OBS路径的读写操作。 Console支持实例管理、元数据管理、数据权限管理、接入管理、任务管理等操作。 API层提
r将会拥有元数据的操作权限。 前提条件 已参考元数据迁移完成元数据迁移。 当前用户具有OBS相关操作权限,且已创建用于存储数据的OBS并行文件系统。 需将待迁移的权限策略文件导出,并上传至OBS并行文件系统中。权限导出操作可联系对应服务支持人员。 权限策略中授权主体(除角色外)需
于正常运行状态。 已创建待添加函数的数据库及其所属Catalog。 如果配置“函数位置”参数,需已参考创建元数据存储路径提前创建了用于存储函数的OBS并行文件系统。 创建函数 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。
所属Catalog 待创建数据库所属Catalog。 选择位置 数据库信息存储在OBS并行文件系统中的位置。 单击“”,选择位置后,单击“确定”。 所选位置只能以“obs://”开头,且必须包含一个存储对象,例如选择“obs://lakeformation-test/catalog1/dat
表所映射的OBS并行文件系统的文件目录。 单击“”,选择表存储在OBS并行文件系统中的位置,单击“确定”。 可选参数,如果不配置,则数据表存储路径为“上层数据库存储路径/表名” 如果配置该参数,则所选位置只能以“obs://”开头,且必须包含一个存储对象,例如选择“obs://la
程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云
eter 参数 是否必选 参数类型 描述 migrate_existing_obs_acl 否 Boolean 是否进行存量OBS路径权限迁移 location 否 String 用于获取权限迁移的obs文件路径。 file_name 否 String 权限json文件,文件名中不得包含
eter 参数 是否必选 参数类型 描述 migrate_existing_obs_acl 否 Boolean 是否进行存量OBS路径权限迁移 location 否 String 用于获取权限迁移的obs文件路径。 file_name 否 String 权限json文件,文件名中不得包含