检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
环境准备 在配置开源Hive组件对接LakeFormation前,需要提前准备以下信息: 准备可用的开源Hive环境,目前支持Hive 2.3以及Hive 3.1两个版本,并安装Git环境。 准备LakeFormation实例,详细操作请参考创建LakeFormation实例。
配置开源Hive组件对接LakeFormation 环境准备 配置Hive对接LakeFormation 对接后二次开发
管理元数据 创建元数据存储路径 管理Catalog 管理数据库 管理数据表 管理函数
配额管理服务 查询配额 父主题: Console
管理数据迁移 任务授权 元数据迁移 权限迁移 元数据发现
配置管理 获取所有用户可见的租户面配置 父主题: LakeCat
管理数据权限 数据权限概述 新增授权 取消授权 查询授权 管理角色
委托管理 创建委托 删除委托 委托查询 创建委托 删除委托 委托查询 父主题: Console
环境准备 在配置开源Spark组件对接LakeFormation前,需要提前准备以下信息: 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备Lake
根据对接方式不同,补充以下配置: 使用SparkCatalogPlugin方式对接时,在spark-default.conf配置文件中补充以下配置: # 可选参数,认证管理器实现类,用于获取当前用户,此处配置值仅作为参考 spark.sql.catalog.catalog_name.lakeformation
资产识别与管理 资产识别 资产信息:元数据信息、数据权限策略信息。 账号信息:不涉及,用户在LakeFormation不感知具体账号信息。 API映射表:请参见API参考。 LakeFormation云服务需要访问的租户资源包括:租户的用户组和用户信息的读取,对象存储文件目录的创
用户组管理 获取租户的用户组 父主题: LakeCat
元数据事件管理 新增元数据事件订阅者 删除元数据事件订阅者 父主题: Console
管理LakeFormation实例 创建LakeFormation实例 配置LakeFormation实例 删除LakeFormation实例
元数据事件管理 获取元数据事件 父主题: LakeCat
标签管理服务 查询资源标签集合 批量更新标签 父主题: Console
查询当前系统协议 功能介绍 查询当前系统协议。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/agreement-rule
数据库管理 列举数据库信息 创建数据库 获取数据库 修改数据库属性 删除数据库 列举数据库名称信息 父主题: LakeCat
数据表管理 分页获取表的描述信息 根据表名列举表信息 根据条件分页列举表信息 创建表 获取表信息 修改表信息 删除表 列举库下所有表名 父主题: LakeCat