检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 instance_id 是 String LakeFormation实例ID。创建实例时自动生成。例如:2180518f-42b8-4947-b20b-adfc53981a25。
00011088 租户面数据库连接池连接数过高。 请检查租户面数据库连接情况。 500 00011089 管控面数据库连接池连接数过高。 请检查管控面数据库连接情况。 500 00011090 数据库使用容量稍高。 请检查租户面实例数据库容量。 500 00011091 数据库使用容量中等。
hive_sync.mode=jdbc,不支持hms方式。 Spark使用小权限用户登录客户端创建数据库时,如果用户没有default库的OBS路径权限,将提示缺少权限,实际创建数据库成功。 MRS对接LakeFormation后,权限策略约束限制: 通过LakeFormatio
管理元数据 创建元数据存储路径 管理Catalog 管理数据库 管理数据表 管理函数
委托管理接口,包括创建、查询、删除委托等接口。 LakeCat 函数管理 函数管理接口,包括创建、删除函数等接口。 通过这些接口,您可以创建函数、获取已创建函数的信息等。 目录管理 目录管理接口,包括创建、删除目录等接口。 通过这些接口,您可以创建目录、删除目录等。 数据库管理 数据库管理接口,包括创建、删除数据库等接口。
单击“创建发现任务”,配置相关参数后,单击“提交”。 表1 创建发现任务 参数 参数说明 任务名称 填写待创建元数据发现任务名称。 描述 所创建元数据发现任务的描述信息。 数据存储位置 发现的数据表存储在OBS并行文件系统中的位置。 单击“”,选择位置后,单击“确定”。 发现文件类型 选择所发现文件的类型。目前支持以下类型:
metadata_action_type String 元数据操作类型:CREATE_CATALOG-创建Catalog、CREATE_DATABASE-创建数据库、 CREATE_TABLE-创建表、CREATE_FUNCTION-创建函数、CREATE_PARTITION-添加分区、UPDATE_CATA
资源类型 事件名称 创建Catalog Catalog createCatalog 删除Catalog Catalog dropCatalog 修改Catalog Catalog alterCatalog 创建数据库 Database createDatabase 删除数据库 Database
按照用户创建实例时的选择不同。 功能对比 表2 功能对比 类型 描述 共享型实例 独享型实例 Catalog管理 LakeFormation提供数据湖中Catalog的元数据创建、修改、删除、查看等功能。 √ √ 数据库管理 LakeFormation提供数据湖中数据库的元数据创建、修改、删除、查看等功能。
建库时路径不能为所在Catalog父路径或相同路径,不能为同一Catalog下其他数据库(除default外)路径的父路径、子路径或相同路径。 创建数据库的存储位置必须在所属Catalog的存储位置之下。 用户自定义创建的Catalog对象及其子元数据对象,暂不支持授权和细粒度权限控制。 L
e等数据资源,如某一数据库、某些数据表的列等。允许授权的资源类型包括“CATALOG”、“DATABASE”、“TABLE”、“COLUMN”、“FUNC”等。 数据目录(CATALOG):LakeFormation管理的数据目录,可以包含多个数据库。 数据库(DATABASE)
参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 instance_id 是 String LakeFormation实例ID。创建实例时自动生成。例如:2180518f-42b8-4947-b20b-adfc53981a25。
在使用LakeFormation之前,首先需要创建一个实例,后续的操作,如管理元数据、设置元数据权限等,都是基于您创建的实例进行的。 LakeFormation提供实例的创建、配置、删除等基本功能,帮助您便捷地进行实例管理,加速实现数据湖承载的业务的规划和部署。 已发布区域:以控制台实际上线区域为准。 创建LakeFormation实例
切换数据库(切换时需要指定catalog名称,database_name对应数据库需要在LakeFormation中存在): use spark_catalog_name.database_name; 查看表信息: show tables; 创建数据库(无法直接创建与cata
ATION、MRS_LOCAL_GAUSSDB对应mrs本地高斯数据库、MRS_RDS_FOR_PG对应mrs对接RDS POSTGRESQL数据库、MRS_RDS_FOR_MYSQL对应mrs对接MYSQL数据库 枚举值: DLF HDFS RANGER LAKEFORMATION
ATION、MRS_LOCAL_GAUSSDB对应mrs本地高斯数据库、MRS_RDS_FOR_PG对应mrs对接RDS POSTGRESQL数据库、MRS_RDS_FOR_MYSQL对应mrs对接MYSQL数据库 枚举值: DLF HDFS RANGER LAKEFORMATION
参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 instance_id 是 String LakeFormation实例ID。创建实例时自动生成。例如:2180518f-42b8-4947-b20b-adfc53981a25。
eate 创建Catalog元数据。 lakeformation:catalog:drop 删除Catalog元数据。 lakeformation:database:alter 修改数据库元数据。 lakeformation:database:create 创建数据库元数据。 l
例。 例如使用LakeFormation Java SDK开发程序的参考代码如下: (如下代码介绍了初始化SDK、创建LakeFormationClient实例、创建请求,添加参数、查询Catalogs列表的相关代码。) package com.huawei.cloud.dalf
参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 instance_id 是 String LakeFormation实例ID。创建实例时自动生成。例如:2180518f-42b8-4947-b20b-adfc53981a25。