检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
元数据对象数量 按照元数据对象使用量收费,元数据对象数量为Catalog、数据库、表、分区、索引、函数数量之和。 前100万个不计费,后续按照万个/小时计费,不足万个按照万个计算。 API调用次数 按照元数据相关API的调用次数收费,每个月前100万次不收费,后续按每次计费。 计费模式 L
创建完成后,即可在数据表页面查看表名称/ID、所属Catalog、所属数据库、类型、存储位置等信息。 单击“操作”列的“编辑”可以修改数据表配置信息。 在“更多”中可以为当前数据表进行授权、查看权限等操作。 单击数据表名称,可以查看当前数据表的详细元数据信息。 其中格式与序列化信息包含存储格式、输入格式、输出格式等。
事件通知主题:选择需要通知的主题,可以在管理控制台选择“消息通知服务 SMN”进行配置。 事件:需要通知的主题状态,可选择“任务成功”、“任务失败”。 创建完成后,单击“操作”列的“运行”即可运行当前迁移任务。 单击“停止”即可停止正在运行的任务。 单击“查看日志”可以查看任务运行产生的日志。
色名称勾选需要绑定的用户,单击“确定”。 也可以在左侧导航栏选择“数据权限 > 用户”,在待绑定角色的用户所在行“操作”列单击“加入角色”,选择绑定的角色名称,单击“确定”。 为该角色授权后,绑定的用户将同时拥有对应的权限。 您也可以在LakeFormation与MRS集群对接后,在Ranger
创建LakeFormation实例后,LakeFormation实例准备资源失败。 运行中 LakeFormation实例正常运行状态。在这个状态的实例可以运行您的业务。 资源释放中 执行删除LakeFormation实例操作后,资源正在进行释放。 删除中 触发删除LakeFormation实
est”。 在左侧导航栏选择“文件”,单击“新建文件夹”,填写待创建的文件夹名称,单击“确定”。继续单击该文件夹名称,单击“新建文件夹”,可以创建其子文件夹。 参考该步骤,依次创建用于存放元数据的路径,例如: Catalog存储路径:lakeformation-test/catalog1
获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。 响应示例如下,其中projects下的“id”即为项目ID。 { "projects":
LakeFormation入门教程,介绍如何创建一个LakeFormation实例并与MRS集群对接,实现统一的数据湖权限管理。 快速入门 使用流程简介 创建LakeFormation实例 规划数据湖 MRS对接LakeFormation实例 03 使用 通过使用LakeFormation可以实现跨AZ部署及高
public static void main(String[] args) { // getAk(),getSk()方法需自行实现,可以从配置项或其他位置获取AK/SK // 请勿在代码中硬编码AK/SK String ak = getAk();
支持将外部服务的元数据权限全量或增量迁移至当前LakeFormation实例中,对元数据的权限进行统一管理。 √ √ 接入客户端管理 提供统一的接入管理能力,用户可以通过创建接入客户端的方式为指定的客户端环境建立网络连接通道,用于其他云服务接入LakeFormation实例。 √ √
未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。 414
est”。 在左侧导航栏选择“文件”,单击“新建文件夹”,填写待创建的文件夹名称,单击“确定”。继续单击该文件夹名称,单击“新建文件夹”,可以创建其子文件夹。 参考该步骤,依次创建用于存放元数据的路径,例如: Catalog存储路径:lakeformation-test/catalog1
在配置开源Hive组件对接LakeFormation前,需要提前准备以下信息: 准备可用的开源Hive环境,目前支持Hive 2.3以及Hive 3.1两个版本,并安装Git环境。 准备LakeFormation实例,详细操作请参考创建LakeFormation实例。 创建LakeFormati
息: 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备LakeFormation实例,详细操作请参考创建LakeFormation实例。 创建Lak
spark.hadoop.fs.obs.impl.disable.cache=true Endpoint:不同服务不同区域的Endpoint不同。您可以从地区和终端节点中获取。 将上述配置添加到core-site.xml文件中亦可生效,添加时需要去除“spark.hadoop”前缀。 对接LakeFormation元数据