检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建元数据存储路径 LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统,可跳过该章节操作。 操作步骤 登录管理控制台。 在页面左上角单击,选择“存储
环境准备 在配置开源Hive组件对接LakeFormation前,需要提前准备以下信息: 准备可用的开源Hive环境,目前支持Hive 2.3以及Hive 3.1两个版本,并安装Git环境。 准备LakeFormation实例,详细操作请参考创建LakeFormation实例。
环境准备 在配置开源Spark组件对接LakeFormation前,需要提前准备以下信息: 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备Lake
删除任务 功能介绍 删除任务,已提交或者运行中的任务,需要停止后操作删除。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v1/{project_i
删除Catalog对象 功能介绍 删除空的catalog对象。 删除前需要保证catalog下只有默认的数据库,且默认数据库下没有表对象,否则删除失败。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
将鼠标移动到右上角用户名,在下拉列表中单击“我的凭证”。 在“我的凭证”页面中选择“访问密钥”。 单击“新增访问密钥”,进入“新增访问密钥”页面。 根据提示输入对应信息,单击“确定”,在弹出的提示页面单击“立即下载”。 下载成功后,打开凭证文件,获取AK/SK信息。 为保证访问密钥的安全,访问密钥
MRS集群仅支持对接LakeFormation实例中名称为hive的Catalog。 MRS存量集群需要先完成元数据库和权限策略向LakeFormation实例上迁移,再配置对接。 如果需要迁移多个MRS集群中的元数据到同一个LakeFormation实例,MRS集群之间的Database名称不能重复。
确认并勾选操作影响后,单击“确定”。 如果发生报错,请根据报错详情进行处理。 删除后,实例会放在回收站,并继续计费直到从回收站删除。 如果需要恢复已删除的实例,可在左侧导航栏单击“回收站”,单击“操作”列的“还原”,单击“确定”。 实例在回收站存放超过1天后,会自动删除,无法恢复。
LakeFormation适用于以下场景: 数据湖建设和持续运营:数据湖建设和持续运营,是指数据湖的初始化建设及后续日常的海量元数据及权限管理,因此客户需要便捷高效的建设和管理方式。 多计算引擎共享元数据:多计算引擎共享元数据,是指客户的多种计算引擎(Hive、Spark等)均使用统一的元数据
事件通知主题:选择需要通知的主题,可以在管理控制台选择“消息通知服务 SMN”进行配置。 事件:需要通知的主题状态,可选择“任务成功”、“任务失败”。 创建完成后,单击“操作”列的“运行”即可运行当前迁移任务。 单击“查看日志”可以查看任务运行产生的日志。 在运行迁移任务前,需要已对用户进行任务授权,详情请参考任务授权。
description 否 String 实例描述。用户输入的描述,最长为255个字符。 shared 是 Boolean false为独享型;true为共享型。默认为true。 order_id 否 String 订单ID。已废弃,无需填写 specs 否 Array of CreateSpec
READ 路径下文件的读权限。 WRITE 路径下文件的写权限。 权限管理员通常分为系统权限管理员与业务权限管理员,需要具备的IAM权限与权限管理范围不同 系统权限管理员 需要拥有以下IAM操作权限:lakeformation:policy:describe、lakeformation
在左侧下拉框中选择待操作的LakeFormation实例。 单击页面右上角“规格变更”,进入“规格变更”页面。如果当前实例为共享型,则不支持该操作。 选择需要变更的QPS规格,单击“下一步”。 确认当前实例的信息,及变更前后的实例规格后,单击“提交”。 设置默认实例 登录管理控制台。 在左上角单击“”,选择“大数据
Ranger权限模型,支持对接多种计算引擎及大数据云服务 本文档提供LakeFormation服务应用开发流程、环境准备及程序编写介绍,供需要进行业务应用开发的开发人员使用。 父主题: 服务介绍
自定义 用户自定义脱敏规则。 如果需要取消授权,单击“操作”列中的“取消授权”,单击“确认”。 取消授权后则无法恢复,请谨慎操作。 如果需要修改行过滤条件,单击“操作”列中的“更多”按钮,单击“编辑行过滤条件”。仅配置了行过滤条件时支持操作。 如果需要修改列脱敏配置,单击“操作”列中
选择当前迁移任务的执行策略。 手动执行:手动触发执行迁移任务。 选择该方式后,需要在任务创建完成后,单击“操作”列的“运行”运行当前迁移任务。 调度执行:周期性自动执行迁移任务。 选择该方式后,可根据实际需要选择调度执行的周期(“每月”、“每周”、“每日”、“每小时”)并配置对应参数。
通过这些可口,您可以创建并管理任务。 服务授权管理 协议授权管理接口,包括系统协议查询、已授权协议查询、协议授权等接口。 用户开通使用LakeFormation服务前,需要提前了解并接受相关的协议与授权。 OBS管理 OBS桶管理接口,包括OBS桶、对象等查询接口。 通过这些接口,您可以获取用于设置元数据的存储路径OBS相关信息。
AGENTTENANT OTHER class_name 否 String 函数类名。长度为1~4000个字符。仅remoteUDF类型的函数不要求输入函数类名。 create_time 否 String 创建时间格式为yyyy-mm-ddThh:mm:sss。 resource_uris
AGENTTENANT OTHER class_name 否 String 函数类名。长度为1~4000个字符。仅remoteUDF类型的函数不要求输入函数类名。 create_time 否 String 创建时间格式为yyyy-mm-ddThh:mm:sss。 resource_uris
STATS_GENERATED:记录本次更新的发起者。可填:TASK/USET。具体作用未明确。 table 是 UpdateTableInput object 表输入模型。 表4 UpdateTableInput 参数 是否必选 参数类型 描述 table_name 是 String 表名称。只能包含中