检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 任务ID,创建任务时自动生成。例如:03141229-84cd-4b1b-9733-dd124320c125。 name String 任务名称,只能包含中文、字母、数字和下划线,且长度为4到255个字符。 description String 用户创建任务时写的描述信息。
例。 例如使用LakeFormation Java SDK开发程序的参考代码如下: (如下代码介绍了初始化SDK、创建LakeFormationClient实例、创建请求,添加参数、查询Catalogs列表的相关代码。) package com.huawei.cloud.dalf
授予权限以给湖仓构建服务创建委托。 write - - lakeformation::showAgency 授予权限以查询给湖仓构建服务创建的委托。 read - - lakeformation::dropAgency 授予权限以删除给湖仓构建服务创建的委托。 write - -
数据目录(Catalog) LakeFormation实例的元数据资源中的最顶层资源,即在一个LakeFormation实例下可以创建多个Catalog,包含名称、描述、位置等信息,支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。 数据库(Database)
进行任务管理操作前,需要为当前用户委托访问LakeFormation的相关权限,用于元数据、权限迁移时写入相关数据。 前提条件 已提前参考创建用户并授权使用LakeFormation章节创建用户,并加入admin用户组。 操作步骤 使用加入admin用户组的用户登录管理控制台。 在左上角单击“”,选择“大数据
生命周期是指LakeFormation实例从创建到删除(或释放)历经的各种状态。LakeFormation各状态说明请参考表1。 表1 LakeFormation状态说明 状态 说明 资源准备中 创建LakeFormation实例后,LakeFormation实例状正在进行资源准备。 资源准备失败 创建LakeF
如果与LakeFormation实例对接的服务需要使用角色授权,则在创建对接LakeFormation权限的委托时必须包含角色的相关权限。 例如,LakeFormation与MRS集群对接后,需要使用角色的查询权限,则在准备工作创建LakeFormation委托时需要勾选“lakeform
在左侧下拉框中选择待操作的LakeFormation实例,在左侧导航栏选择“接入管理”。 单击“创建客户端”,在弹出的窗口中填写以下参数后,单击“确定”。 如果没有合适的虚拟私有云或子网,可以单击“前往VPC创建”。 表1 创建接入管理客户端参数 参数 说明 客户端名称 自定义接入客户端的名称。 虚拟私有云
元数据权限授权 参数 参数说明 主体类型 用户组:选择待授权的用户组,例如IAM用户组,可提前到IAM服务管理控制台创建。 角色:选择待授权的角色。可提前参考创建角色并绑定用户章节创建角色。 IAM用户:选择待授权的IAM用户。 委托用户:选择待授权的委托用户。 授权类型 资源:表示对La
LIST_TABLE 查看数据库下资源列表。 LIST_FUNC 查看某一数据库下的函数。 CREATE_TABLE 在数据库中创建表。 CREATE_FUNC 在数据库中创建函数。 表 ALL 表的所有操作权限。 ALTER 修改表。 DROP 删除表。 DESCRIBE 查看表的元数据信息。
什么是区域和可用区 通常用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region)指物理的数据中心。每个区域完全独立,这样可以实现一定程度的容错能力和稳定性。资源创建成功后不能更换区域。 可用区(AZ,Availability Zone)是同一区域
区域与可用区 通常用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region)指物理的数据中心。每个区域完全独立,这样可以实现一定程度的容错能力和稳定性。资源创建成功后不能更换区域。 可用区(AZ,Availability Zone)是同一区域内
securitytoken可参考通过token获取临时访问密钥和securitytoken获取。 重启Hive服务。 进入Hive客户端执行以下命令进行验证。 show tables; 父主题: 配置开源Hive组件对接LakeFormation
在使用LakeFormation之前,首先需要创建一个实例,后续的操作,如管理元数据、设置元数据权限等,都是基于您创建的实例进行的。 LakeFormation提供实例的创建、配置、删除等基本功能,帮助您便捷地进行实例管理,加速实现数据湖承载的业务的规划和部署。 已发布区域:以控制台实际上线区域为准。 创建LakeFormation实例
MRS对接LakeFormation实例 MRS对接前准备 MRS对接LakeFormation实例前准备请参考准备工作章节创建委托、配置LakeFormation数据连接等操作。 MRS对接LakeFormation实例 当前仅MRS 3.3.0-LTS版本集群支持对接LakeFormation。
单击“创建发现任务”,配置相关参数后,单击“提交”。 表1 创建发现任务 参数 参数说明 任务名称 填写待创建元数据发现任务名称。 描述 所创建元数据发现任务的描述信息。 数据存储位置 发现的数据表存储在OBS并行文件系统中的位置。 单击“”,选择位置后,单击“确定”。 发现文件类型 选择所发现文件的类型。目前支持以下类型:
t instance_id:1响应信息中的“instance_id”参数值。 调用创建服务接入客户端接口,选择客户端对应的VPC相关信息创建接入客户端,LakeFormation服务将自动为其创建终端节点和DNS内网域名,用于打通网络连接。 请求示例: POST https://
dalf.lakecat.examples.ExampleAuthenticationManager # 可选参数,是否开启owner指定,开启后创建资源时将使用当前用户作为资源owner,默认为false spark.sql.catalog.catalog_name.lakeformation
获取服务接入信息 功能介绍 根据LakeFormation实例获取服务实例相关的接入信息,此接口已不推荐使用,推荐使用创建服务接入客户端的方式。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
查询实例列表 功能介绍 查询用户创建的实例列表信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/instances 表1