检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
端后重试。”该如何处理? 答: 当前实例包含客户端时,将无法进行删除。请先删除所有接入管理客户端后再执行删除实例操作。详细操作如下: 登录LakeFormation管理控制台,在左侧导航栏单击“接入管理”。 依次单击列表中所有客户端“操作”列的“删除”,直到删除所有客户端。(删除前请确保客户端已不再使用)
此外还需配置以下参数: 用户名:访问数据源所使用的用户。 密码:访问数据源所使用的用户密码。 如果所使用用户存在密码,则必须填写;如果用户无密码,则为空即可。 服务接入点 配置待迁移元数据服务接入点。 “数据源类型”为“DLF”时配置该参数。此外还需配置以下参数: Access Key:联系DLF服务运维人员获取AK信息。
任务授权 元数据迁移 权限迁移 接入客户端管理 通过接入管理页面,可以简单快速地创建并管理接入客户端,在客户端详情中可以查看接入IP、接入域名等信息,用于多种服务接入LakeFormation实例。 已发布区域:以控制台实际上线区域为准。 管理接入客户端
00010012 输入的接入域名不存在。 请检查输入的接入域名。 400 00010013 接入客户端不存在。 请检查输入的接入客户端。 400 00010014 接入客户端名称重复。 请检查输入的接入客户端名称。 400 00010015 接入客户端数量达到上限。 请删除空闲的接入客户端后重新创建或联系运维人员提高数量上限。
只需为您所使用的服务付费。 如果您已有一个华为云账户,请跳到下一个任务。如果您还没有华为云账户,请参考以下步骤创建。 操作步骤 打开华为云网站。 单击“注册”,根据提示信息完成注册。详情请参考注册华为账号并开通华为云。 注册成功后,系统会自动跳转至您的个人信息界面。 个人或企业账号实名认证请参考实名认证。
服务授权管理 接入服务授权 查询租户当前的接入服务授权 注册租户协议 查询租户是否注册协议 删除租户协议 注册租户协议 查询租户是否注册协议 删除租户协议 查询当前系统协议 父主题: Console
授权接入服务。 lakeformation:accessTenant:grant 授权接入租户。 lakeformation:accessAgency:describe 查询接入委托信息。 lakeformation:accessService:describe 查看接入服务。
授权接入服务。 lakeformation:accessTenant:grant 授权接入租户。 lakeformation:accessAgency:describe 查询接入委托信息。 lakeformation:accessService:describe 查看接入服务。
创建LakeFormation接入客户端,并与Hive在相同的虚拟私有云、子网下,详细操作请参考管理接入客户端。 准备开发环境,详细操作请参考准备开发程序环境中“准备开发环境”部分,其中“安装和配置IntelliJ IDEA”为可选。 准备LakeFormation客户端。 方式一:下载客户端发行版
应用示例 外部服务接入LakeFormation
OBS桶管理接口,包括OBS桶、对象等查询接口。 通过这些接口,您可以获取用于设置元数据的存储路径OBS相关信息。 接入管理 服务接入管理接口,包括获取接入信息,申请接入等接口。 开通服务并创建实例以后,LakeFormation即可对外提供元数据管理相关能力,但周边服务需要通过该接
Lifecycle:实例的生命周期管理功能,需要有操作生命周期的权限。 VPCEndpoint Administrator:实例的接入管理功能,需要有操作VPC终端节点的权限。 DNS FullAccess:实例的接入管理功能,需要有操作DNS内网域名的权限。 勾选“同意LakeFormation服务声明”,并单击“同意授权”,完成服务授权。
Console 实例管理 任务管理 服务授权管理 OBS管理 接入管理 规格管理 配额管理服务 标签管理服务 委托管理 元数据事件管理 Location 父主题: API
管理Catalog 管理数据库 管理数据表 管理函数 数据权限授权 数据权限授权简介 新增授权 取消授权 查询授权 角色授权 创建接入管理客户端 接入管理 管理数据迁移 元数据迁移 权限迁移 常见问题 了解更多常见问题、案例和解决方案 热门案例 什么是区域和可用区? 什么是项目?
对接LakeFormation元数据 Spark对接LakeFormation有以下两种对接方式,建议根据需要选择其中一种方式进行对接。 使用SparkCatalogPlugin方式对接:SparkCatalogPlugin方式对接基于Spark SessionCatalogV2,支持对接多个Cat
准备LakeFormation实例 在LakeFormation控制台创建实例,或者使用已有LakeFormation实例。 创建客户端 在LakeFormation控制台接入管理界面创建客户端。 修改DNS信息 在云解析服务中,修改linux环境所在子网的内网域名信息。 父主题: 环境准备
下约束限制: MRS集群和LakeFormation实例必须同在一个云账户下且属于同一个Region。 LakeFormation侧创建的接入客户端所在虚拟私有云,必须与MRS集群在同一虚拟私有云下。 MRS集群仅支持对接LakeFormation实例中名称为hive的Catalog。
系统进入“服务配额”页面。 图2 我的配额 单击“申请扩大配额”。 在“新建工单”页面,根据您的需求,填写相关参数。 其中,“问题描述”项请填写需要调整的内容和申请原因。 填写完毕后,勾选协议并单击“提交”。
查询LakeFormation接入客户端的权限。 read - - lakeformation:instance:access 查询或申请接入LakeFormation实例的权限。 write - - lakeformation:access:create 创建LakeFormation接入客户端的权限。
代码通过Maven打包后将jar包放置在“spark/jars”目录下。 根据对接方式不同,补充以下配置: 使用SparkCatalogPlugin方式对接时,在spark-default.conf配置文件中补充以下配置: # 认证信息获取类,根据实现类路径填写,此处配置值仅作为参考 spark.sql.catalog