检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
成长地图 | 华为云 湖仓构建 LakeFormation 湖仓构建 LakeFormation提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接多种计算引擎及大数据云服务。 产品介绍 立即使用 成长地图 由浅入深,带您玩转LakeFormation
如果数据存储位置下的文件后缀为多种类型,建议选择“自动发现”。 如果数据存储位置下的文件不带后缀,建议选择对应类型。如果选择“自动发现”,则系统默认以Parquet类型文件进行发现,其他类型文件将会发现失败。 日志存储位置 运行元数据发现任务时,产生的日志存储位置。
LakeFormation实例会定期自动更新SSL证书,确保提供持续稳定的HTTPS服务。 父主题: 安全
同意授权后,LakeFormation将自动创建名为lakeformation_job_trust的委托,在任务运行期间,请勿删除该委托。 父主题: 管理数据迁移
实例在回收站存放超过1天后,会自动删除,无法恢复。 为防止您的业务受到影响,实例在回收站中放置15分钟后,才能强制删除。
联动授权:支持在元数据授权的同时,自动化完成元数据所映射的文件目录的授权,使用户授权操作更便捷和高效。 细粒度访问控制:实现针对数据湖的库、表、列级元数据的细粒度访问控制,为业务数据的安全性提供有力保障。
如果自动创建委托失败,则需要您登录到“统一身份认证服务”管理控制台,对委托进行删除或联系管理员增加限额并确认当前用户是否有委托创建权限。 父主题: 准备工作
如果其他服务对接LakeFormation实例时,没有指定具体的LakeFormation实例ID,系统将自动访问默认实例,变更默认实例后,可能对使用LakeFormation的周边服务产生影响,请谨慎操作。 父主题: 管理LakeFormation实例
调用创建服务接入客户端接口,选择客户端对应的VPC相关信息创建接入客户端,LakeFormation服务将自动为其创建终端节点和DNS内网域名,用于打通网络连接。
实例创建失败 如果实例创建失败,失败任务会自动转入“创建失败的实例”页面。 选择“大数据 > 湖仓构建 LakeFormation”,在“总览”页面单击左上方“创建失败的实例”,在打开的窗口中查看创建失败的实例信息。 父主题: 管理LakeFormation实例
LakeFormation提供了默认的认证信息获取类,通过从配置文件中获取AKSK生成认证信息。 除LakeFormation提供的默认认证信息获取类外,可选择自行实现默认认证信息获取类。 代码开发。
用户定义表生成函数UDTF(User-Defined Table-Generating Functions),用于操作单个输入行,产生多个输出行。 分区(Partition) 分区是对数据表按照行维度进行分割,目的是为了在特定SQL操作中减少数据读写的总量以缩减响应时间。
如果迁移类型为DLF,其对应关系及迁移策略如下: RAM用户:IAM用户(如果对应的IAM用户不存在,该权限策略不进行迁移) RAM角色:IAM用户组(如果对应的IAM用户组不存在,该权限策略不进行迁移) DLF角色:LakeFormation角色(不存在会自动创建) 如果迁移类型为
当前API同时支持使用AK/SK认证,AK/SK认证是使用SDK对请求进行签名,签名过程会自动往请求中添加Authorization(签名认证信息)和X-Sdk-Date(请求发送的时间)请求头。 AK/SK认证的详细说明请参见AK/SK认证。
LakeFormation提供了默认的认证信息获取类,通过从配置文件中获取AKSK生成认证信息。 除LakeFormation提供的默认认证信息获取类外,可选择自行实现默认认证信息获取类。 代码开发。
LakeFormation使用流程简介 该LakeFormation入门教程介绍了如何创建一个LakeFormation实例并与MRS集群对接,实现统一的数据湖元数据及权限管理。 使用流程简介 MRS与LakeFormation对接的使用流程如下图所示: 图1 LakeFormation
500 00011109 实例的话单生成异常。 请检查实例的话单。 500 00011110 创建OBS桶失败。 请检查是否支持OBS服务、OBS服务权限是否正确或联系运维人员。 500 00011111 OBS写入数据失败。
返回结果 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于获取用户Token接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求消息头
例如,当前元数据的存储路径为“file:/a/b”,则“路径”填写“file:/”,“替换成”填写“obs://”,并确保OBS并行文件系统中存在“obs://a/b”路径,则生成元数据时新的元数据存储路径为“obs://a/b”。
准备开发程序环境 准备开发环境 在进行LakeFormation Java SDK开发程序前,要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 安装Java和JDK环境 已安装Java环境,Java版本要求使用JDK1.8或更高版本。 安装和配置IntelliJ IDEA