检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Regio
待创建函数的所属Catalog。 所属数据库 待创建函数的所属数据库。 类型 待创建函数的类型,目前支持“JAVA”类型。 函数类名 填写函数类名。 (可选)单击“函数位置”区域中的“添加函数位置”,按照需求手动添加函数包类型和函数位置,单击“确定”。支持添加多条。 “函数位置”为可选参数。
只能包含中文、字母、数字、下划线,长度为1~256个字符。 所属Catalog 待创建表所属的Catalog。 所属数据库 待创建表所属的数据库。 表类型 待创建表的类型,目前支持以下类型: MANAGED_TABLE:管理表。如果删除管理表或分区,则与该表或分区关联的数据和元数据将删除。 EXTERNAL_
IAM用户:选择待授权的IAM用户。 委托用户:选择待授权的委托用户。 授权类型 资源:表示对LakeFormation实例中的资源进行授权。 路径:表示对OBS文件系统中的路径进行授权。该授权类型用于给外表或函数授权。 资源类型 选择待授权资源类型。“授权类型”选择“资源”时配置该参数。 并需要根据实际需求
如果数据存储位置下的文件后缀为同一类型,建议选择对应发现类型。 如果数据存储位置下的文件后缀为多种类型,建议选择“自动发现”。 如果数据存储位置下的文件不带后缀,建议选择对应类型。如果选择“自动发现”,则系统默认以Parquet类型文件进行发现,其他类型文件将会发现失败。 日志存储位置
待迁移元数据JDBC链接的URL。“数据源类型”不为“DLF”时配置该参数。 说明: 例如: MySQL数据源类型JDBC URL为:jdbc:mysql://IP地址:端口/数据库名称?useSSL=false&permitMysqlScheme PostgreSQL数据源类型JDBC URL为:j
表1 创建权限迁移任务 参数 参数说明 任务名称 填写待创建权限迁移任务名称。 描述 所创建迁移任务的描述信息。 权限策略类型 选择待迁移权限策略类型。 DLF:第三方数据湖构建(Data Lake Formation,DLF)权限策略 RANGER:MRS集群中Ranger权限策略
ion实例则显示为“购买实例”。 按照需求配置以下参数。 表1 创建LakeFormation实例参数配置 参数 参数说明 样例 类型 选择实例类型。 共享 独享 独享 区域 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。
rmation实例则显示为“购买实例”。 按照需求配置以下参数。 表1 购买LakeFormation实例 参数 参数说明 样例 类型 选择实例类型。 共享:共享型实例之间,通过资源复用换取CCE集群或GaussDB(for MySQL)实例等资源的使用率最大化。 独享:按照每秒
可能造成操作失败。 授权类型 数据湖中管理的资源: 数据目录(Catalog) 数据库(Database) 数据表(Table) 数据列(Column) 函数(Function) OBS路径。 操作类型 主体对授权类型的访问权限,不同授权类型支持的操作类型各不相同,可参见表2。 赋予授权权限
请求消息头 附加请求头字段,如指定的URI和HTTP方法所要求的字段。例如定义消息体类型的请求头“Content-Type”,请求鉴权信息等。 如下公共消息头需要添加到请求中。 Content-Type:消息体的类型(格式),必选,默认取值为“application/json”,有其他取值时会在具体接口中专门说明。
参数说明 Catalog名称 填写待创建Catalog名称。 只能包含字母、数字和下划线,长度为1~256个字符。 Catalog类型 选择Catalog类型: DEFAULT CLICKHOUSE 选择位置 Catalog数据存储在OBS并行文件系统中的位置。可选参数。 单击“”,选择位置后,单击“确定”。
有云的域名所在的行,单击对应“操作”列的“管理解析”。 单击“添加记录集”,填写以下参数后,单击“确定”。 表1 添加记录集 参数 说明 类型 选择“A – 将域名指向IPv4地址”。 TTL(秒) 解析记录在本地DNS服务器的缓存时间,根据需要填写。 值 填写客户端接入IP,可以通过7获取。
持取消本条权限策略的操作。 授权主体 使其具备针对某数据资源的指定访问权限的用户/用户组/角色等身份,如某一用户组、某一角色等。 授权主体类型包括“GROUP”、“ROLE”、“USER”等。 用户(USER):华为云IAM用户 用户组(GROUP):华为云IAM用户组 角色(R
API概览 类型 子类型 说明 Console 实例管理 实例管理接口,包括LakeFormation实例的创建、删除、编辑、查询等接口。 通过这些接口,您可以创建实例、获取已创建实例的信息等。 任务管理 任务管理接口,包括创建任务、列举任务信息等接口。 通过这些可口,您可以创建并管理任务。
相关操作事件,方便您日后的查询、审计和回溯。 支持审计日志的操作 表1 云审计服务支持的LakeFormation服务操作 操作名称 资源类型 事件名称 创建Catalog Catalog createCatalog 删除Catalog Catalog dropCatalog 修改Catalog
定该资源类型。 关于LakeFormation定义的资源类型的详细信息请参见资源类型(Resource)。 “条件键”列包括了可以在策略语句的Condition元素中支持指定的键值。 如果该操作项资源类型列存在值,则表示条件键仅对列举的资源类型生效。 如果该操作项资源类型列没有值(-),则表示条件键对整个操作项生效。
选择位置:单击“”,选择存储位置,例如选择“obs://lakeformation-test/catalog1”,单击“确定”。 Catalog类型:DEFAULT 其他参数保持默认。 创建完成后,即可在“Catalog”页面查看相关信息。 创建数据库 登录管理控制台。 在左上角单击“”,选择“大数据
管理数据库 LakeFormation的一个Catalog下可以创建多个数据库,通过集中式的元数据管理,可以有效提升数据资产价值。 前提条件 已创建LakeFormation实例,且实例处于正常运行状态。 已创建待添加数据库的Catalog。 已参考创建元数据存储路径提前创建了用于存储数据库的OBS并行文件系统。
参考样例 在准备好开发和运行环境后,用户可根据需求开发样例。 例如使用LakeFormation Java SDK开发程序的参考代码如下: (如下代码介绍了初始化SDK、创建LakeFormationClient实例、创建请求,添加参数、查询Catalogs列表的相关代码。) package