检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户定义聚集函数UDAF（User-Defined Aggregating Functions），用于接受多个输入数据行，并产生一个输出数据行。 用户定义表生成函数UDTF（User-Defined Table-Generating Functions），用于操作单个输入行，产生多个输出行。 分区（Partition）
/SK，临时AK/SK+securityToken）。 LakeFormation提供了默认的认证信息获取类，通过从配置文件中获取AKSK生成认证信息。 除LakeFormation提供的默认认证信息获取类外，可选择自行实现默认认证信息获取类。 代码开发。 实现工程参考如下，在M
例如，当前元数据的存储路径为“file:/a/b”，则“路径”填写“file:/”，“替换成”填写“obs://”，并确保OBS并行文件系统中存在“obs://a/b”路径，则生成元数据时新的元数据存储路径为“obs://a/b”。 可以同时创建多条规则，当规则发生冲突时，以排在界面最上方的规则为准。 网络连接 选择网络连接方案。
LakeFormation使用流程简介 该LakeFormation入门教程介绍了如何创建一个LakeFormation实例并与MRS集群对接，实现统一的数据湖元数据及权限管理。 使用流程简介 MRS与LakeFormation对接的使用流程如下图所示： 图1 LakeFormation使用流程
返回结果 状态码 请求发送以后，您会收到响应，包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码，状态码表示了请求响应的状态，完整的状态码列表请参见状态码。 对于获取用户Token接口，如果调用后返回状态码为“201”，则表示请求成功。 响应消息头 对应请求
请检查列数据类型是否是string、timestamp中一个。 500 00000100 获取本地IP失败。 请联系运维人员。 500 00000101 时间戳位耗尽，生成唯一UID失败。 请稍后再重试。 500 00000102 Hive服务出现异常。 请检查Hive服务的状态。 400 00000103
准备开发程序环境 准备开发环境 在进行LakeFormation Java SDK开发程序前，要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 安装Java和JDK环境 已安装Java环境，Java版本要求使用JDK1.8或更高版本。 安装和配置IntelliJ IDEA
什么是配额 什么是配额？ 为防止资源滥用，平台限定了各服务资源的配额，对用户的资源数量和容量做了限制。如您最多可以创建多少台弹性云服务器、多少块云硬盘。 如果当前资源配额限制无法满足使用需要，您可以申请扩大配额。 怎样查看我的配额？ 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。
获取账号ID 在调用接口的时候，部分URL中需要填入账号ID，所以需要先在管理控制台上获取到账号ID。账号ID获取步骤如下： 登录管理控制台。 单击用户名，在下拉列表中单击“我的凭证”。 在“API凭证”页面中查看账号ID。 图1 获取账号ID 父主题： 附录
调测程序 配置完样例代码后，参考该章节操作导出Jar包并将jar包上传到接入LakeFormation客户端所在节点。 导出Jar包。 选择“Maven > 样例工程名称 > Lifecycle > clean”，双击“clean”运行maven的clean命令。 选择“Maven
什么是区域和可用区 通常用区域和可用区来描述数据中心的位置，您可以在特定的区域、可用区创建资源。 区域（Region）指物理的数据中心。每个区域完全独立，这样可以实现一定程度的容错能力和稳定性。资源创建成功后不能更换区域。 可用区（AZ，Availability Zone）是同一
区域与可用区 通常用区域和可用区来描述数据中心的位置，您可以在特定的区域、可用区创建资源。 区域（Region）指物理的数据中心。每个区域完全独立，这样可以实现一定程度的容错能力和稳定性。资源创建成功后不能更换区域。 可用区（AZ，Availability Zone）是同一区域内
什么是LakeFormation 湖仓构建（DataArts Lake Formation，简称LakeFormation）是企业级数据湖一站式构建服务，在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接Ma
获取项目ID 从控制台获取项目ID 项目ID表示租户的资源，账号ID对应当前账号。用户可在对应页面下查看不同Region对应的项目ID和账号ID。 登录管理控制台。 单击用户名，在下拉列表中单击“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 图1 查看项目ID 多
管理数据表 用户在数据目录（Catalog）中可对元数据库和元数据表进行管理，按照业务规划创建对应数据表。 前提条件 已创建LakeFormation实例，且实例处于正常运行状态。 已创建待创建数据表的数据库及其所属Catalog。 已参考创建元数据存储路径提前创建了用于存储数据表的OBS并行文件系统。
基本概念 账号 用户的账号对其所拥有的资源及云服务具有完全的访问权限，可以重置用户密码、分配用户权限等。为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建用户并使用用户进行日常管理工作。 用户 由账号在IAM中创建的用户，是云服务的使用人员，具有身份凭证（密码和访问密钥）。
构造请求 本节介绍REST API请求的组成，并以调用IAM服务的获取用户Token接口说明如何调用API，该API获取用户的Token，Token可以用于调用其他API时鉴权。 您还可以通过视频教程了解如何构造请求调用API：https://bbs.huaweicloud.com/videos/102987
创建用户并授权使用LakeFormation 如果需要对LakeFormation服务进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），通过IAM，您可以： 根据企业的业务组织，在您的账号中，给企业中不同职
环境准备 在配置开源Hive组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Hive环境，目前支持Hive 2.3以及Hive 3.1两个版本，并安装Git环境。 准备LakeFormation实例，详细操作请参考创建LakeFormation实例。
环境准备 在配置开源Spark组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备Lake
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
